JP4803883B2 - Position information processing apparatus and method and program thereof. - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、指、ペンまたは指示棒等で入力された座標位置及びその軌跡を検出する位置情報処理装置及びその方法及びそのプログラムに関するものである。更に、軌跡で表わされたユーザの指示を解釈して操作を行なう操作装置及びその方法及びそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、例えば、タッチパネルにおける操作において、複数の接触点の位置座標を検知することができた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置は、固定された一点に対してもう一つの入力を未知の入力データとして検知するものであり、同時に移動する２個所以上の指示位置の軌跡をそれぞれ検知することはできなかった。
【０００４】
従って、このような同時に移動する複数の指示位置の軌跡の組合せにより表現された指示を解釈することはできなかった。
【０００５】
本発明は上述した課題を解決するためになされたものであり、同時に移動する２個所以上の指示位置の軌跡をそれぞれ検知することのできる位置情報処理装置及びその方法を提供することを目的とする。
【０００６】
また、本発明の他の目的は、２個所以上の指示位置の軌跡の組み合わせで表現されたユーザの指示を解釈して、指示された操作を実行できる操作装置及びその方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明の１態様によれば、位置情報処理装置に、複数個所の指示位置を同時に検知可能な指示位置検知手段と、前記指示位置検知手段で検知される指示位置の面積を検知可能な指示面積検知手段と、前記指示位置検知手段及び前記指示面積検知手段により検知された複数個所の指示位置及び指示位置の面積を組み合わせて記憶する記憶手段と、前記指示位置検知手段によって直前に検知された複数個所の指示位置と、前記指示位置検知手段により検知された現在の複数個所の指示位置とに基づいて、複数個所の指示位置の移動の軌跡を識別する移動軌跡識別手段とを具え、前記移動軌跡識別手段は、前記現在の複数個所の指示位置のそれぞれについて、前記指示面積検知手段で検知された指示位置の面積と、前記指示面積検知手段で検知された直前の複数個所の指示位置の面積の中で最も近い面積の指示位置を、現在の指示位置に対する直前の指示位置として、前記複数個所の移動の軌跡を識別して、前記現在の複数個所の指示位置毎に前記記憶手段に記憶された直前の複数個所の指示位置と指示面積に対応させて前記記憶手段に指示位置と指示面積を記憶する。
【００１３】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明に係る好適な一実施例を詳細に説明する。
【００１４】
図１は、本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【００１５】
同図において、入力部１は、指示位置により情報を入力するためのタッチパネルなどである。ＣＰＵ２は、各種処理のための演算、論理判断等を行ない、バス６に接続された各構成要素を制御する。出力部３は、情報を表示するディスプレイや情報を印刷するプリンタ、情報を送信するモデムなどである。
【００１６】
プログラムメモリ４は、フローチャートにつき後述する処理手順を含む、ＣＰＵ２による制御のためのプログラムを格納するメモリである。プログラムメモリ４は、ＲＯＭであってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭであってもよい。
【００１７】
データメモリ５は、各種処理で生じたデータを格納するほか、後述する知識ベースの知識を格納する。データメモリ５は、例えばＲＡＭとしてよいが、知識ベースの知識は、不揮発な外部記憶媒体から、処理に先立ってロードしておく、あるいは、必要があるごとに参照するものとする。
【００１８】
バス６は、ＣＰＵ２の制御の対象とする構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成機器相互間でやりとりされるデータの転送を行なう。
【００１９】
〔実施形態１〕
図２は、タッチパネルを用いた指による位置入力の例を示す図である。同図に示すように、指の接触した２点A、Bのそれぞれの始点から終点までの軌跡により、２点の関係を取得して入力を理解する。
【００２０】
例１（平行方向）のように、各点の距離が変化せず、軌跡が平行になる場合がある。このような入力の例としては、対象物の平行移動などが考えられる。
【００２１】
例２（内側方向）のように、各点の軌跡が他方の点に向っている場合がある。このような入力の例としては、対象物の縮小または最小化などが考えられる。
【００２２】
逆に、例３（外側方向）のように、各点の軌跡が他方から離れていく場合がある。このような入力の例としては、対象物の拡大または最大化などが考えられる。
【００２３】
図３は、カメラなどの撮影装置を用いた指による位置入力の例を示す図である。ここでは、上述したタッチパネルに直接触れて指示を与える代わりに、カメラ301の有効領域302内で303及び304に示すように指先を動かすことにより、撮像した指示先（指先）位置を認識することで、指示位置を検知している。
【００２４】
図４は、指示位置の軌跡を用いる処理の手順を示すフローチャートである。同図において、ステップS401で入力が検知されると、次のステップS402で終了が検知されない場合には、ステップS403に進み、軌跡検知処理が起動される。続いてステップS404において、検知した軌跡を入力情報として対応した処理が起動される。
【００２５】
図５は、ステップS403の軌跡検知処理の手順を示すフローチャートである。ステップS501で指示位置検知処理が実行され、現在の指示位置の座標データが取得される。次にステップS502で組合せ特定処理が実行され、現在の各指示位置とそれぞれに最も近い直前の指示位置との組合せが特定される。続くステップS503で指示位置記憶処理が実行され、現在の指示位置を最適な指示位置データテーブル（最も近い直前の位置と同じテーブル）に格納する。
【００２６】
図６は、ステップS502の組合せ特定処理の手順を示すフローチャートである。同図において、ステップS601で、現在の指示位置の１つと直前の指示位置のそれぞれとの距離を求める処理が起動され、次のステップS602で、現在の指示位置と最も距離の短い直前の指示位置との組合せを特定する。続くステップS603で、該当する組合せがあった場合にはステップS604に進み、組となる直前の指示位置と同じテーブルに、現在の指示位置を追加する。これをステップS603において該当する組合せが無くなるまで繰り返す。
【００２７】
図７は、軌跡検知処理により記憶された指示位置データの例を示す図である。同図において、グラフ7０１のように時刻t1における点At1のXY座標は(3,3)であり、時刻t5における点At5のXY座標は(7,5)であり、この間t1からt5に対応する点A、Bの座標データがそれぞれテーブル7０２、７０３に格納されている。
【００２８】
図８は、軌跡検知処理により取得される現在の指示位置データの例を示す図である。同図において、グラフ８０１のように、現在の時刻t6において、複数箇所の指示位置として、XY座標(8,6)である点aと、XY座標(8,8)である点bが存在し、取得された現在(t6)の位置データがテーブル802に格納されている。
【００２９】
図９は、複数指示位置の軌跡検知処理で利用されるデータの流れを示す図である。同図において、テーブル901に、現在の指示位置データとして点a(8,6)及び点b(8,8)が取得されており、この現在の指示位置データを参照し、テーブル902に、現在の指示位置である各点に対して、直前の各指示位置との距離を取得する。この場合、例えば、点aに対して直前の指示位置At5との距離1.414、直前の指示位置Bt5との距離4.123が取得される。
【００３０】
その結果、点aは、最も距離の近い直前の指示位置Aｔ５と同じテーブル903に格納される。点bにも同様に、直前の指示位置Bｔ５と同じテーブル904に格納される。
【００３１】
図１０は、指示面積の大きさを利用した軌跡検知処理の手順を示すフローチャートである。上述の例では、現在の各指示位置が、直前の複数の指示位置の中で距離の最も近い位置に対応するとして軌跡を求めたが、ここでは、現在の各指示位置が、直前の複数の指示位置の中で指示面積(例えば、タッチパネルにおける指の接触面積)が最も近位置に対応するとして軌跡を求める。
【００３２】
同図において、ステップS1001で指示面積検知処理が起動され、現在の指示面積が取得される。次にステップS1002で組合せ特定処理が起動され、直前の指示面積との差分より現在の指示面積に最も近い直前の指示面積との組合せが特定される。続いてステップS1003で、指示面積記憶処理が起動され、現在の指示面積データが最適なテーブル(現在の指示面積に最も近い直前の指示面積が格納されたテーブル)に格納される。
【００３３】
図１１は、ステップS1002における、指示面積の大きさを利用した組合せ特定処理の手順を示すフローチャートである。同図において、ステップS1101で、現在の指示位置の面積と直前の各指示位置の面積との差分を求める処理が起動され、次のステップS1102で、現在の指示位置と最も面積の近い直前の指示位置との組合せを特定する。続くステップS1103で該当する組合せがあった場合にはステップS1104に進み、最も面積の近い直前の指示位置と指示面積とのテーブルに、現在の指示位置と指示面積とを追加する。これをステップS1103において該当する組合せが無くなるまで繰り返す。
【００３４】
図１２は、取得される現在の指示位置の面積の例を示す図である。グラフ1201において、現在の指示位置が点a(8,6)にあり、点aを指示した時のタッチパネルの接触の様子を示したのが拡大図１２02である。その結果、指示位置の面積が求められる。
【００３５】
図１３は、記憶された指示位置の面積データの例を示す図である。同図において、グラフ1301のように、時刻t1における指示位置点At1のXY座標は(3,3)、指示位置点Bt1のXY座標は(12,14)であり、時刻t5における指示位置点At5のXY座標は(7,5)、指示位置点Bt5のXY座標は(8,8)である。更に、現在の時刻t6において、現在の指示面積として点a(8,6)を含む指示面積１と、点b(8,8)を含む指示面積2とが存在する。
【００３６】
また、テーブル1302において、時刻t1における点Aの面積は12.5であり、続いて時刻t2からt5に対応する点Aの面積データが格納されている。同様に、テーブル1303に、点Bの各時刻の面積データが格納されている。更に、テーブル1304に、取得された現在時刻t6の指示面積データとして点aを含む面積データ11.5、及び点bを含む面積データ20.0が格納されている。
【００３７】
図１４は、指示面積の大きさを利用した軌跡取得処理で利用されるデータの流れを示す図である。同図において、テーブル1401に、現在の指示面積データとして、点a(8,6)を含む面積11.5と、点b(8,8)を含む面積20.0とが取得されており、現在の指示位置の面積データを参照し、テーブル1402に、各面積データと直前の各指示位置の面積データとの差分を取得する。ここでは、点aを含む指示面積11.5に対して、直前の指示面積Aとの差分0.5、及び直前の指示面積Bとの差分9.0が取得される。
【００３８】
その結果、点aを含む指示面積データ11.5は、最も差分の小さい直前の指示面積Aと同じテーブル1403に格納される。また、点bを含む指示面積データも同様にして、直前の指示面積Bと同じテーブル1404に格納される。
【００３９】
〔実施形態２〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから、行うべき操作を解釈する処理について具体的に説明する。
【００４０】
図１５は、複数指示位置の軌跡を用いた操作手順を示すフローチャートである。同図において、ステップS1501で入力が検知されると、次のステップS1502で終了が検知されない場合には、ステップS1503に進み、移動軌跡検知処理が起動される。次に、ステップS1504で指示解釈処理が起動され、続いてステップS1505において指示に対応した処理が起動される。
【００４１】
図１６は、ステップS1504における指示解釈処理の手順を示すフローチャートである。同図において、ステップS1601で指示位置間距離測定処理が起動され、現在の指示位置間の距離が測定される。次に、ステップS1602に進み、指示位置間の距離変化の取得処理が起動され、指示位置間の距離の変化を取得する。続いてステップS1603で、距離変化に基づく指示解釈処理が起動され、取得された距離変化に応じて行なうべき操作を解釈する。
【００４２】
図１７は、ステップS1602における指示位置間の距離変化の取得処理の手順を示すフローチャートである。同図において、ステップS1701で移動開始時の指示位置間の距離が測定され、続いてステップS1702で移動終了時の指示位置間の距離が測定される。次にステップS1703に進み、移動開始時の指示位置間の距離と、移動終了時の指示位置間の距離との差分が取得される。
【００４３】
図１８は、ステップS1603における距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS1801において、変化量が0より小さかった場合には縮小操作と解釈される（ステップS1802）。同様に変化量が0より大きかった場合には、拡大操作と解釈され（ステップS1803）、変化量が0に等しい場合には、縮小または拡大操作以外であると解釈される（ステップS1804）。
【００４４】
図１９は、距離変化に基づく指示解釈処理の別の手順を示すフローチャートである。同図において、ステップS1901において、指示位置間の距離変化の取得処理により取得された距離変化より操作倍率が取得される。次に、s1902において変化率が取得され、続いてステップS1903で操作倍率と変化率データより実倍率が取得される。
【００４５】
計算式：実倍率= 100 - (100 - 操作倍率Ｘ)×変化率α
図２０は、縮小操作として解釈される操作例を示す図である。同図において、移動開始時ｔ1における指示位置点A及び点Bから、移動終了時ｔ5における指示位置点A'及び点B'へと変化した場合、縮小操作であると解釈される。
【００４６】
図２１は、縮小操作として解釈されるデータの例を示す図である。同図において、グラフ2101の各指示位置のXY座標は、移動開始時ｔ1では点At1(3,3), 点Bt1(12,10)、移動終了時ｔ5では点At5(7,5)、点Bt5(8,6)である。この時、テーブル2102に示すように、指示位置A,B間の距離は移動開始時t1では15.000、移動終了時t6では1.118であり、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の距離の変化量は-13.882である。また、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の距離変化の倍率は7％である。
【００４７】
図２２は、拡大操作として解釈される操作例を示す図である。同図において、移動開始時ｔ1の指示位置点A及び点Bから、移動終了時ｔ5の指示位置点A'及び点B'へと変化した場合、拡大操作であると解釈される。
【００４８】
図２３は、拡大操作として解釈されるデータの例を示す図である。同図において、グラフ2301のように各指示位置のXY座標は、移動開始時ｔ1では点At1(7,5)、点Bt1(8,6)、移動終了時ｔ5では点At5(3,3)、点Bt5(12,10)である。この時、テーブル2302に示すように、指示位置A,B間の距離は移動開始時t1では1.118、移動終了時t6では11.402であり、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の距離の変化量は+13.586である。また、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の距離変化の倍率は1020％である。
【００４９】
〔実施形態３〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから、行うべき操作を解釈する際に、２つの指示位置を結ぶ線と基準線とのなす角の角度（以下、単に指示位置の角度と称する）の変化に着目した例について具体的に説明する。
【００５０】
図２４は、指示位置の角度変化を利用する指示解釈処理の流れを示す図である。同図において、ステップS2401で指示位置の角度の測定処理が起動され、各時点において、指示位置の角度が測定される。次に、ステップS2402に進み、指示位置角度変化取得処理が起動され、指示位置を結ぶ線の角度の変化を取得する。続いて、ステップS2403で角度変化に基づく指示解釈処理が起動され、取得された角度変化に応じて行なうべき操作を解釈する。
【００５１】
図２５は、指示位置の角度変化の測定処理の手順を示すフローチャートである。同図において、ステップS2501で移動開始時の指示位置を結ぶ線の角度が測定され、続いてステップS2502で移動終了時の指示位置を結ぶ線の角度が測定される。次に、ステップS2503に進み、移動開始時の指示位置を結ぶ線の角度と、移動終了時の指示位置を結ぶ線の角度との差分が取得される。
【００５２】
図２６は、角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS2601で、変化量が0°より大きかった場合には、左回転操作として解釈される（ステップS2602）。同様に変化量が0°より小さかった場合には右回転操作として解釈され（ステップS2603）、変化量が0°に等しい場合には回転操作以外であると解釈される（ステップS2604）。
【００５３】
図２７は、右回転操作として解釈される操作例を示す図である。同図において、移動開始時ｔ1の指示位置点A及び点Bから、移動終了時ｔ5の指示位置点A'及び点B'へと変化した場合、右回転操作であると解釈される。
【００５４】
図２８は、指示位置を結ぶ線の角度及びその変化データのうち、右回転操作として解釈されるデータ例を示す図である。同図において、グラフ2801のように指示位置AB間の角度は、移動開始時ｔ1では、Ｘ軸に対して60度であり、移動終了時ｔ5では26度である。この時、テーブル2802のように、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の角度の変化量は−34°である。
【００５５】
図２９は、左回転操作として解釈される操作例を示す図である。移動開始時ｔ1の指示位置点A及び点Bから、移動終了時ｔ5の指示位置点A'及び点B'へと変化した場合、左回転操作であると解釈される。
【００５６】
図３０は、指示位置を結ぶ線の角度及びその変化を示すデータのうち、左回転操作として解釈されるデータの例を示す図である。同図において、グラフ3001のように指示位置AB間の角度は、移動開始時ｔ1では、Ｘ軸に対して60度であり、移動終了時ｔ5では87度である。この時、テーブル3002のように、移動開始時ｔ1から移動終了時ｔ5の間の指示位置間の角度の変化量は＋27°である。
【００５７】
〔実施形態４〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との関係の変化に着目した例について具体的に説明する。
【００５８】
図３１は、固定指示位置と移動指示位置の関係を利用する指示解釈処理の手順を示すフローチャートである。同図において、ステップS3101で固定指示位置検出処理が起動され、固定指示位置が検出される。次に、ステップS3102に進み、固定指示位置に基づく指示解釈処理が起動され、行なうべき操作を解釈する。
【００５９】
図３２は、ステップS3101における固定指示位置検出処理の手順を示すフローチャートである。同図において、固定指示位置検出処理が起動されると、ステップS3201で時刻ｔの指示位置が検出され、続くステップS3202で位置データが存在する場合には、次のステップS3203に進み、指示位置の初期値と比較する。その結果、位置データが一致しなかった場合には、ステップS3204で指示位置は移動していると判断される。位置データが一致した場合にはステップS3205に進み、時刻ｔを進めて、再びステップS3201から繰り返す。そして、ステップS3202において位置データが存在しない場合にはステップS3206で指示位置は固定と判断され、固定指示位置が検出される。
【００６０】
図３３は、移動方向に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS3301で指示位置移動方向判定処理が起動され、移動指示位置の移動方向が判定される。次にステップS3302で、判定された移動方向に基づき指示操作を解釈する。
【００６１】
移動方向が上であった場合には、ステップ3303に進み、次項目操作として解釈する。また、この他に次ページ操作、または次画面操作、または末尾行操作、または上画面移動操作、または上下方向のみの拡大操作、または上下方向のみの縮小操作、として解釈される場合もある。移動方向が下であった場合には、ステップ3304に進み、前項目操作として解釈する。また、この他に前ページ操作、または前画面操作、または先頭行操作、または下画面移動操作、または上下方向のみの拡大操作、または上下方向のみの縮小操作、として解釈される場合もある。
【００６２】
移動方向が左であった場合には、ステップ3305に進み、次項目操作として解釈する。また、この他に次ページ操作、または次画面操作、または末尾行操作、または左画面移動操作、または左右方向のみの拡大操作、または左右方向のみの縮小操作、として解釈される場合もある。移動方向が右であった場合には、ステップ3306に進み、前項目操作として解釈する。また、この他に前ページ操作、または前画面操作、または先頭行操作、または右画面移動操作、または左右方向のみの拡大操作、または左右方向のみの縮小操作、として解釈される場合もある。
【００６３】
図３４は、ステップS3301の指示位置移動方向判定処理の手順を示すフローチャートである。同図において、ステップS3401で指示位置の移動量が取得され、次のステップS3402で、移動指示位置の現在座標より移動方向が判定される。その際、移動指示位置の現在座標(X,Y)のarctangentを求め、単位をラジアンから度数に変換する。
【００６４】
図３５は、指示位置移動方向判定処理で利用される角度の解釈について表す図である。同図において、3501のように、X軸を基準に360°をY軸正方向 0°〜180、Y軸負方向 −1°〜−179°に分けている。
【００６５】
これに従い、０°を中心として±35°(−35°〜35°)を右方向として解釈し、90°を中心として±35°（65°〜135°）を上方向として解釈し、180°を中心として±35°(155°〜180°及び−179°〜-145°)を左方向として解釈し、−90°を中心として±35°（−65°〜−135°）を下方向として解釈する。また、それぞれ45°,135°,-135°,-45°を中心とした±10°の範囲については、それ以外の操作であると解釈する。
【００６６】
図３６は、左移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、左移動操作であると解釈される。
【００６７】
図３７は、左移動操作として解釈されるデータの例を示す図である。同図において、グラフ3701のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(6,3)、移動終了時ｔ5では点Bt5(4,2)である。テーブル3702は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。3703は、指示位置移動データを示すものであり、移動終了時ｔ5の指示位置の移動量は固定指示位置点Aが０、移動指示位置点Bが2.236であり、また移動方向は−153.43°である。
【００６８】
図３８は、上移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、上移動操作であると解釈される。
【００６９】
図３９は、上移動操作として解釈される場合のデータの例を示す図である。同図において、グラフ3901のように固定指示位置の座標は点A(6,6)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(5,1)、移動終了時ｔ5では点Bt5(7,4)である。テーブル3902は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル3903は、指示位置移動データを示すものであり、移動終了時ｔ5の指示位置の移動量は固定指示位置点Aが０、移動指示位置点Bが3.606であり、また移動方向は56.31°である。
【００７０】
図４０は、下移動操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から点Bt5へと移動した場合、下移動操作であると解釈される。
【００７１】
図４１は、下移動操作として解釈されるデータの例を示す図である。同図において、グラフ4101のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(5,8)、移動終了時ｔ5では点Bt5(5,5)である。テーブル4102は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4103は、指示位置移動データを示すものであり、移動終了時ｔ5の時点での指示位置の移動量は固定指示位置点Aが０、移動指示位置点Bが3.000であり、また移動方向は-90°である。
【００７２】
図４２は、右移動操作として解釈される操作例を示す図である。同図において、固定指示位置Aが固定されており、移動指示位置点Bが4201のようにBt1から4202のように点Bt5へと移動した場合、右移動操作であると解釈される。
【００７３】
図４３は、右移動操作として解釈されるデータの例を示す図である。同図において、グラフ4301のように固定指示位置の座標は点A(6,6)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(2,6)、移動終了時ｔ5では点Bt5(5,5)である。テーブル4302は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4303は、指示位置移動データを示すものであり、移動終了時ｔ5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが3.162であり、また移動方向は-18.43°である。
【００７４】
〔実施形態５〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との距離変化に着目した例について具体的に説明する。
【００７５】
図４４は、固定指示位置と移動指示位置との距離変化を利用する指示解釈処理の手順を示すフローチャートである。同図において、指示解釈処理が起動されると、ステップS4401で指示位置間距離測定処理が起動され、固定指示位置と移動指示位置との各時点の距離が測定される。次にステップS4402に進み、指示位置間距離変化取得処理によって、指示位置間の距離変化が取得される。続くステップS4403で、指示位置距離変化に基づく指示解釈処理が起動され、取得された指示位置間の距離変化に対応して、行なうべき操作を解釈する。
【００７６】
図４５は、ステップS4403の指示位置間距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS4501で変化量が判断され、変化量が減少傾向にある場合には縮小操作として解釈し(ステップS4502)、変化量が増加傾向にある場合には拡大操作として解釈する(ステップS4503)。
【００７７】
図４６は、縮小操作として解釈される操作例を示す図である。同図において、固定指示位置(点A)が固定されており、移動指示位置(点B)が、点Bt1から固定指示位置(点A)の方向にある点Bt5へと移動した場合、縮小操作であると解釈される。
【００７８】
図４７は、縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ4701のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(6,3)、移動終了時ｔ5では点Bt5(4,2)である。テーブル4702は、時刻t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4703は、指示位置間の距離変化データを示すものであり、移動開始時ｔ1の指示位置AB間の距離は3.000であり、移動終了時ｔ5の指示位置AB間の距離は1.414であり、指示位置AB間の距離のｔ1からｔ5に対する倍率は47％である。
【００７９】
図４８は、拡大操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点BがBt1から固定指示位置点Aとは反対の方向にある点Bt5へと移動した場合、拡大操作であると解釈される。
【００８０】
図４９は、縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ4901のように固定指示位置の座標は点A(3,3)であり、移動指示位置の座標は移動開始時ｔ1では点Bt1(4,2)、移動終了時ｔ5では点Bt5(6,3)である。テーブル4902は、t1からt5における、固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル4903は、固定指示位置間の距離変化データを示すものであり、移動開始時ｔ1の指示位置AB間の距離は1.414であり、移動終了時ｔ5の指示位置AB間の距離は3.000であり、指示位置AB間の距離のｔ1からｔ5に対する倍率は212％である。
【００８１】
図５０は、固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、5001のように移動指示位置１点Bt1及び移動指示位置２点Ct1があり、5002のように固定指示位置点Aの方向に向かって、移動指示位置１点Bt1がBt5へ、移動指示位置２点Ct1が点Ct5へと移動した場合、それぞれ固定指示位置点A方向への縮小操作であると解釈される。
【００８２】
図５１は、固定指示位置を中心とした縮小操作として解釈される場合のデータの例を示す図である。同図において、グラフ5101のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時ｔ1では点Bt1(4,8)、移動終了時ｔ5では点Bt5(5,5)であり、移動指示位置２である点Cの座標は移動開始時ｔ1では点Ct1(2,2)、移動終了時ｔ5では点Ct5(4,3.5)である。テーブル5102は、t1からt5における、固定指示位置点A及び、移動指示位置１点B、移動指示位置２点Cの位置データを示すものである。
【００８３】
テーブル5103は、固定指示位置間の距離変化データを示すものであり、指示位置間距離変化データ１において、移動開始時ｔ1の指示位置AB間の距離は5.099であり、移動終了時ｔ5の指示位置AB間の距離は2.828であり、指示位置AB間の距離のｔ1からｔ5に対する倍率は55％である。また、指示位置間距離変化データ２において、移動開始時ｔ1の指示位置AC間の距離は1.414であり、移動終了時ｔ5の指示位置AC間の距離は1.118であり、指示位置AC間の距離のｔ1からｔ5に対する倍率は79％である。
【００８４】
〔実施形態６〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置の存在と、その他の移動指示位置間の距離変化に着目した例について具体的に説明する。
【００８５】
図５２は、移動指示位置間の距離を利用する処理の手順を示すフローチャートである。同図において、固定指示位置対応指示解釈処理が起動されると、ステップS5201で移動指示位置間距離測定処理が起動され、現在の移動指示位置間の距離が測定される。次に、ステップS5202に進み、移動指示位置間距離変化取得処理が起動され、取得された距離の変化量を取得する。続いて、ステップS5203で移動指示位置間の距離変化に基づく指示解釈処理が起動され、取得された移動指示位置間距離の変化量に基づいて行なうべき操作を解釈する。
【００８６】
図５３は、移動指示位置間の距離変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS5301で固定指示位置が存在する場合には、ステップS5302に進み、変化量が0より小さい場合には、ステップS5303で固定指示位置に対する縮小操作として解釈される。変化量が0より大きい場合には、ステップS5304で固定指示位置に対する拡大操作として解釈される。変化量が0に等しい場合には、ステップS5305で縮小または拡大操作以外であると解釈する。ステップS5301において、固定指示位置の存在が確認されない場合には、ステップS5306に進み、全体に対する操作であると解釈する。
【００８７】
図５４は、固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、２つの移動指示位置点Bt1及び移動指示位置点Ct1があり、それらが固定指示位置点Aの方向に向かって、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へと移動した場合、移動指示位置間の距離の変化量に応じて、固定指示位置点Aを中心とした縮小操作であると解釈される。
【００８８】
図５５は、固定指示位置を中心とした縮小操作として解釈される場合のデータ例を示す図である。同図において、グラフ5501のように固定指示位置の座標は点A(3,3)であり、移動指示位置点Bの座標は移動開始時ｔ1では点Bt1(4,8)、移動終了時ｔ5では点Bt5(5,5)であり、移動指示位置点Cの座標は移動開始時ｔ1では点Ct1(3,2)、移動終了時ｔ5では点Ct5(4,2.8)である。
【００８９】
テーブル5502は、t1からt5における固定指示位置点A及び、移動指示位置点B、移動指示位置点Cの位置データを示すものである。テーブル5503は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データにおいて、移動開始時ｔ1の指示位置BC間の距離は6.083であり、移動終了時ｔ5の指示位置BC間の距離は2.417であり、指示位置BC間の距離のｔ1からｔ5に対する変化量は40％である。
【００９０】
図５６は、固定指示位置を中心とした拡大操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置１点Bt1及び移動指示位置２点Ct1があり、それらが固定指示位置点Aの方向に向かって、移動指示位置１点Bt1がBt5へ、移動指示位置２点Ct1が点Ct5へと移動した場合、移動指示位置間の距離の比に応じて、固定指示位置点Aを中心とした拡大操作であると解釈される。
【００９１】
図５７は、固定指示位置を中心とした拡大操作として解釈される場合のデータ例を示す図である。同図において、グラフ5701のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時ｔ1では点Bt1(5,5)、移動終了時ｔ5では点Bt5(4,8)であり、移動指示位置２である点Cの座標は移動開始時ｔ1では点Ct1(4,2.8)、移動終了時ｔ5では点Ct5(2,2)である。
【００９２】
テーブル5702は、t1からt5における固定指示位置点A及び、移動指示位置１点B、移動指示位置２点Cの位置データを示すものである。テーブル5703は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データ１において、移動開始時ｔ1の指示位置BC間の距離は2.417であり、移動終了時ｔ5の指示位置BC間の距離は6.325であり、指示位置BC間の距離のｔ1からｔ5に対する変化量は262％である。
【００９３】
図５８は、固定指示位置を中心とした複数移動指示操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、5801のように移動指示位置１点Bt1及び移動指示位置２点Ct1、移動指示位置３点Dt1、があり、5802のように固定指示位置点Aの方向に向かって、移動指示位置１点Bt1がBt5へ、移動指示位置２点Ct1が点Ct5へ、移動指示位置３点Dt1が点Dt5へと移動した場合、移動指示位置間の距離の変化量に応じて、固定指示位置点Aを中心とした複数移動指示操作であると解釈される。
【００９４】
図５９は、固定指示位置を中心とした複数移動指示操作として解釈される場合のデータ例を示す図である。同図において、グラフ5901のように固定指示位置の座標は点A(3,3)であり、移動指示位置1である点Bの座標は移動開始時ｔ1では点Bt1(5,5)、移動終了時ｔ5では点Bt5(4,8)であり、移動指示位置２である点Cの座標は移動開始時ｔ1では点Ct1(4,3.5)、移動終了時ｔ5では点Ct5(2,2)であり、移動指示位置３である点Dの座標は移動開始時ｔ1では点Dt1(5.5,4.5)、移動終了時ｔ5では点Dt5(6,9)である。
【００９５】
テーブル5902は、t1からt5における、固定指示位置点A及び、３つの移動指示位置点B、移動指示位置点C、移動指示位置点Dの位置データを示すものである。テーブル5903は、移動指示位置間の距離変化データを示すものであり、指示位置間距離変化データ１において、移動開始時ｔ1の指示位置BC間の距離は1.803であり、移動終了時ｔ5の指示位置BC間の距離は6.325であり、指示位置BC間の距離のｔ1からｔ5に対する変化量は352％である。指示位置間距離変化データ２において、移動開始時ｔ1の指示位置BD間の距離は0.707であり、移動終了時ｔ5の指示位置BD間の距離は2.236であり、指示位置BC間の距離のｔ1からｔ5に対する変化量は316％である。指示位置間距離変化データ3において、移動開始時ｔ1の指示位置CD間の距離は1.803であり、移動終了時ｔ5の指示位置CD間の距離は8.062であり、指示位置BC間の距離のｔ1からｔ5に対する変化量は447％である。
【００９６】
〔実施形態７〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置とを結ぶ線の水平方向に対する角度（以下、指示位置間の角度と称する）の変化に着目した例について具体的に説明する。
【００９７】
図６０は、指示位置間の角度変化を利用する処理の手順を示すフローチャートである。同図において、ステップS6001で指示位置間角度測定処理が起動され、指示位置間の角度が測定される。次に、ステップS6002に進み、固定指示位置間角度変化取得処理が起動され、取得された角度の変化量を取得する。続いて、ステップS6003で指示位置間の角度変化に基づく指示解釈処理が起動され、取得された角度変化に応じて行なうべき操作を解釈する。
【００９８】
図６１は、指示位置間の角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS6101で固定指示位置が存在しない場合には、ステップS6106に進み、全体に対する操作として解釈する。ステップS6101で固定指示位置が存在する場合にはステップS6102に進み、変化量が0°より小さい場合にはステップS6104に進み、固定指示位置を中心とする右回転操作として解釈する。変化量が0°より大きい場合には、ステップS6103に進み、固定指示位置を中心とする左回転操作として解釈する。変化量が0°に等しい場合には、ステップS6105で回転操作以外、または固定指示位置を固定した状態での回転方向への変形操作として解釈する。
【００９９】
図６２は、右回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動開始時ｔ1の移動指示位置点Bt1から、移動終了時ｔ5の移動指示位置点Bt5へと変化したので、右回転操作であると解釈される。
【０１００】
図６３は、右回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6301のように固定指示位置点Aと移動指示位置点Bとを結ぶ直線の水平線に対する角度は、移動開始時ｔ1では、71.57°であり、移動終了時ｔ5では18.43°である。テーブル6302A、Bは、t1からt5における固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル6303は、指示位置間の角度変化データを示すものであり、指示位置間角度変化データにおいて、移動終了時ｔ5の固定指示位置間角度の変化量は-53.13°である。
【０１０１】
図６４は、左回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動開始時ｔ1の移動指示位置点Bt1から、移動終了時ｔ5の移動指示位置点Bt5へと変化した場合、左回転操作であると解釈される。
【０１０２】
図６５は、左回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6501のように固定指示位置点Aに対する移動指示位置点Bの角度は、移動開始時ｔ1では、71.57°であり、移動終了時ｔ5では108.43°である。テーブル6502A、Bは、t1からt5における固定指示位置点A及び、移動指示位置点Bの位置データを示すものである。テーブル6503は、固定指示位置間の角度変化データを示すものであり、固定指示位置間角度変化データにおいて、移動終了時ｔ5の固定指示位置間角度の変化量は+36.87°である。
【０１０３】
〔実施形態８〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、２つの移動指示位置を結ぶ線の水平線に対する角度（以下、移動指示位置の角度と称する）の変化に着目した例について具体的に説明する。
【０１０４】
図６６は、移動指示位置の角度変化を利用する処理の手順を示すフローチャートである。同図において、ステップS6601で移動指示位置の角度測定処理が起動され、固定指示位置以外の指示位置の角度を測定する。次に、ステップS6602で、移動指示位置の角度変化の取得処理が起動され、角度の変化量を取得する。続いてステップS6603で、移動指示位置の角度変化に基づく指示解釈処理が起動され、取得された角度変化に基づいて行なうべき操作を解釈する。
【０１０５】
図６７は、移動指示位置の角度変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS6701で固定指示位置が存在しない場合には、ステップS6706に進み、全体に対する操作として解釈する。ステップS6701で固定指示位置が存在する場合には、ステップS6702で変化量を調べ、変化量が0°より小さい場合にはステップS6704に進み、固定指示位置を中心とする右回転操作として解釈する。変化量が0°より大きい場合には、ステップS6703に進み、固定指示位置を中心とする左回転操作として解釈する。変化量が0°に等しい場合には、ステップS6705に進み、回転操作以外であると解釈する。または、固定指示位置を固定した状態での移動指示位置の重心を中心とした回転方向への変形操作として解釈する。
【０１０６】
図６８は、右回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置１点Bt1及び移動指示位置点Ct1があり、移動指示位置１点Bt1がBt5へ、移動指示位置２点Ct1が点Ct5へと移動した場合、右回転操作であると解釈される。
【０１０７】
図６９は、右回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ6901のように固定指示位置の座標は点A(3,3)であり、移動指示位置点Bの座標は移動開始時ｔ1では点Bt1(4,6)、移動終了時ｔ5では点Bt5(6,4)であり、移動指示位置点Cの座標は移動開始時ｔ1では点Ct1(2,1)、移動終了時ｔ5では点Ct5(1,2)である。テーブル6902は、t1からt5における固定指示位置点A及び、移動指示位置１点B、移動指示位置２点Cの位置データを示すものである。テーブル6903は、移動指示位置間の角度変化データを示すものであり、移動指示位置間角度変化データにおいて、移動指示位置間角度は移動開始時t1には68.20°、移動終了時ｔ5には36.87°であり、移動指示位置間角度の変化量は-31.33°である。
【０１０８】
図７０は、左回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点Bt1及びCt1があり、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へと移動した場合、左回転操作であると解釈される。
【０１０９】
図７１は、左回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ7101のように固定指示位置の座標は点A(3,3)であり、移動指示位置である点Bの座標は移動開始時ｔ1では点Bt1(4,6)、移動終了時ｔ5では点Bt5(2,5)であり、移動指示位置である点Cの座標は移動開始時ｔ1では点Ct1(2,1)、移動終了時ｔ5では点Ct5(2.5,2)である。テーブル7102は、t1からt5における固定指示位置点A及び、移動指示位置点B、Cの位置データを示すものである。テーブル7103は、移動指示位置間の角度変化データを示すものであり、移動指示位置間角度変化データにおいて、移動指示位置間角度は移動開始時t1には68.20°、移動終了時ｔ5には99.46°であり、移動指示位置間角度の変化量は+31.26°である。
【０１１０】
図７２は、３つの移動指示位置が重心を中心とした回転操作として解釈される操作例を示す図である。同図において、固定指示位置点Aが固定されており、移動指示位置点Bt1、Ct1及びDt1があり、移動指示位置点Bt1がBt5へ、移動指示位置点Ct1が点Ct5へ、移動指示位置点Dt1が点Dt5へと移動した場合、重心を中心とした回転操作であると解釈される。
【０１１１】
図７３は、重心を中心とした回転操作として解釈される場合のデータ例を示す図である。同図において、グラフ7301のように固定指示位置の座標は点A(3,3)であり、移動指示位置である点Bの座標は移動開始時ｔ1では点Bt1(5,5)、移動終了時ｔ5では点Bt5(4,8)であり、移動指示位置である点Cの座標は移動開始時ｔ1では点Ct1(4,3.5)、移動終了時ｔ5では点Ct5(2,2) であり、移動指示位置である点Dの座標は移動開始時ｔ1では点Dt1(5.5,4.5)、移動終了時ｔ5では点Dt5(6,9)である。テーブル7302は、t1からt5における固定指示位置点A及び、移動指示位置点B、C、Dの位置データを示すものである。テーブル7303は、移動指示位置間の距離変化データを示すものであり、移動指示位置BC間の距離は、移動開始時t1には1.803、移動終了時ｔ5には6.325であり、移動指示位置間距離の変倍率は351％である。また、移動指示位置BD間の距離は、移動開始時t1には0.707、移動終了時ｔ5には2.236であり、移動指示位置間距離の変倍率は316％である。移動指示位置CD間の距離は、移動開始時t1には1.803、移動終了時ｔ5には8.062であり、移動指示位置間距離の変倍率は447％である。
【０１１２】
〔実施形態９〕
本実施形態では、 取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数の指示位置間の位置関係に着目した例について具体的に説明する。
【０１１３】
図７４は、指示位置間の位置関係を利用する処理の手順を示すフローチャートである。同図において、ステップS7401で指示位置の位置関係判定処理が起動され、指示位置間の位置関係を判定する。次に、ステップS7402に進み、指示位置間の位置関係に基づく指示解釈処理が起動され、判定された位置関係に応じて行なうべき操作を解釈する。
【０１１４】
図７５は、ステップS7401の指示位置間の位置関係判定処理の手順を示すフローチャートである。同図において、ステップS7501で指示位置間の角度が取得される。続いて、ステップS7502において、取得された角度が90°を中心として45°から135°の間、または-90°を中心として-45°から−135°の間であった場合には、指示位置間位置関係は上下関係であると解釈する。0°を中心として45°から‐45°の間、または180°を中心として135°から‐135°の間であった場合には、指示位置間位置関係は左右関係であると解釈する。角度の解釈については、図３５に示した通りである。
【０１１５】
図７６は、ステップS7402の、指示位置の位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS7601で指示位置移動範囲取得処理が起動され、指示位置の移動対象範囲が取得される。次に、ステップS7602で位置関係を判断し、位置関係が上下関係であった場合は、ステップS7603に進み、カット操作指示または削除操作指示として解釈する。位置関係が左右であった場合には、ステップS7604に進み、コピー操作指示として解釈する。
【０１１６】
図７７は、上下関係移動操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、上下関係移動操作であると解釈する。
【０１１７】
図７８は、上下関係移動操作として解釈される場合のデータ例を示す図である。同図において、グラフ7801のように移動開始時t1の各指示位置の座標が点At1(4,5)及び点Bt1(3,8)である時、指示位置間の位置関係を表す角度t1は108.43°であり、移動終了時t5の各指示位置の座標が点At5(8,5)及び点Bt5(7,8)である時、指示位置間の位置関係を表す角度t5は108.43°である。テーブル7802は、t1からt5における指示位置点A及び、指示位置点Bの位置データを示すものである。テーブル7803は、指示位置間の位置関係を表す角度データを示すものであり、指示位置間位置関係データにおいて、t1からt5までの指示位置間角度が格納されている。
【０１１８】
図７９は、左右関係移動操作として解釈される操作例を示す図である。同図において、各指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、左右関係移動操作であると解釈する。
【０１１９】
図８０は、左右移動操作として解釈される場合のデータ例を示す図である。同図において、グラフ8001のように、移動開始時t1の各指示位置の座標が点At1(3,8)及び点Bt1(5,9)である時、指示位置間の位置関係を表す角度t1は26.57°であり、移動終了時t5の各指示位置の座標が点At5(7,8)及び点Bt5(9,9)である時、指示位置間の位置関係を表す角度t5は26.57°である。テーブル8002は、t1からt5における指示位置点A及び、指示位置点Bの位置データを示すものである。
【０１２０】
テーブル8003は、指示位置間位置関係を表す角度データを示すものであり、指示位置間位置関係データにおいて、t1からt5における指示位置間角度が格納されている。
【０１２１】
〔実施形態１０〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示位置間の位置関係変化に着目した例について具体的に説明する。
【０１２２】
図８１は、指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS8101で指示位置間の位置関係変化判定処理が起動され、指示位置間の位置関係変化を判定する。次に、ステップS8102に進み、位置関係変化に基づく指示解釈処理が起動され、判定された位置関係変化データに応じて行なうべき操作を解釈する。
【０１２３】
図８２は、位置関係変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS8201で反転角度変化量がチェックされ、取得された角度変化量が反転角度変化量であった場合には、ステップS8202に進み、任意反転操作、または削除、またはカット指示操作として解釈する。ステップS8201で角度変化量が反転角度変化量でなかった場合には、ステップS8203に進み、Ｘ方向位置変化がチェックされ、各指示位置が左右逆転であった場合には、ステップS8204に進み、左右反転操作、または削除、またはカット指示操作として解釈する。
【０１２４】
ステップS8203で、左右逆転でなかった場合には、ステップS8205でＹ方向位置変化がチェックされ、取得された各指示位置が上下逆転であった場合には、ステップS8206に進み、上下反転操作、または削除、またはカット指示操作として解釈する。ステップS8205で、上下逆転でなかった場合には、ステップS8207に進み、拡大、または縮小指示操作として解釈する。
【０１２５】
図８３は、指示位置間関係変化取得処理の手順を示すフローチャートである。
同図において、ステップS8301で指示位置間角度測定処理が起動され、指示位置間の角度が測定される。次にステップS8302で指示位置間角度変化取得処理が起動され、指示位置間の角度変化を取得し、続くステップS8303において、取得された角度変化が180°対称の一定範囲内にある場合には、ステップS8304に進み、指示位置間位置関係変化を逆転と解釈する。
【０１２６】
ステップS8303において、取得された角度変化が180°対称の一定範囲内に無い場合には、ステップS8305に進み、指示位置間水平位置関係判定処理が起動され、指示位置間の水平方向の位置関係が取得される。次のステップS8306で指示位置間水平位置関係変化判定処理が起動され、指示位置間の水平位置関係変化が取得され、続くステップS8307において、取得された水平位置関係が負であった場合には、ステップS8308に進み、指示位置間位置関係変化を左右逆転として取得する。
【０１２７】
ステップS8307において、取得された水平位置関係変化が正であった場合には、ステップS8309に進み、指示位置間垂直位置関係判定処理が起動され、指示位置間の垂直方向の位置関係が取得される。次のステップS8310で指示位置間垂直位置関係変化判定処理が起動され、指示位置間の垂直位置関係変化が取得され、続くステップS8311において、取得された垂直位置関係が負であった場合には、ステップS8312に進み、指示位置間位置関係変化を上下逆転として取得する。一方、ステップS8311において、取得された垂直位置関係変化が正であった場合には、ステップS8313に進み、指示位置間位置関係を変化無しとして取得する。
【０１２８】
図８４は、反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、指示位置点At1から点At5へ、指示位置点Bt1から点Bt5へと移動する場合、反転操作であると解釈する。
【０１２９】
図８５は、反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8501のように移動開始時t1の各指示位置の座標が点At1(4,10)及び点Bt1(8,11)である時、点Aの点B対する角度t1は14.04°であり、移動終了時t5の各指示位置の座標が点At5(8,4)及び点Bt5(4,3)である時、角度t5は-165.96である。テーブル8502は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8503は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のＸ方向位置変化、Ｙ方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、位置関係変化量が180°となり、指示位置点Ａと指示位置点Ｂの位置は逆転している。
【０１３０】
図８６は、左右反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、点At1から点At5へ、点Bt1から点Bt5へと移動する場合、左右反転操作であると解釈する。
【０１３１】
図８７は、左右反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8701のように移動開始時t1の各指示位置の座標が点At1(10,10)及び点Bt1(11,13)である時、点Aの点B対する角度t1は71.57°であり、移動終了時t5の各指示位置の座標が点At5(9,3)及び点Bt5(8,5)である時、角度t5は116.57°である。テーブル8702は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8703は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のＸ方向位置変化、Ｙ方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、Ｘ方向位置関係が負から正へ変化しており、指示位置点ＡとＢの位置は左右反転している。
【０１３２】
図８８は、上下反転操作として解釈される操作例を示す図である。同図において、指示位置がそれぞれ、点At1から点At5へ、点Bt1から点Bt5へと移動する場合、上下反転操作であると解釈する。
【０１３３】
図８９は、上下反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ8901のように移動開始時t1の各指示位置の座標が点At1(5,12)及び点Bt1(7,15)である時、点Aの点B対する角度t1は56.31°であり、移動終了時t5の各指示位置の座標が点At5(5,2)及び点Bt5(6,1)である時、角度t5は-45.00°である。テーブル8902は、t1からt5における指示位置点A及びBの位置データを示すものである。テーブル8903は、指示位置間の位置関係を示すものであり、位置関係変化データにおいて、t1からt5における指示位置間のＹ方向位置変化、Ｙ方向位置変化、及び指示位置間角度に基づく位置関係変化量が格納されている。この場合、Ｙ方向位置関係が負から正へ変化しており、指示位置点ＡとＢの位置は上下反転している。
【０１３４】
〔実施形態１１〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置と移動指示位置との位置関係に着目した例について具体的に説明する。
【０１３５】
図９０は、指示位置間位置関係の取得処理の手順を示すフローチャートである。同図において、ステップS9001で固定指示位置検出処理が起動され、固定指示位置を検出する。次に、ステップS9002に進み、固定指示位置に対する位置関係判定処理が起動され、検出された固定指示位置と移動指示位置との位置関係が取得される。
【０１３６】
図９１は、固定指示位置に対する位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS9101で対固定指示位置間位置関係対応指示解釈処理が起動され、判定された位置関係データに応じて行なうべき操作を解釈する。
【０１３７】
図９２は、固定指示位置に対する位置関係に基づく指示解釈処理の詳細手順を示すフローチャートである。同図において、ステップS9201で指示位置移動方向取得処理が起動され、移動指示位置の移動方向が取得される。続くステップS9202において移動方向を判定する。移動方向が左であった場合には、ステップS9203に進む。
【０１３８】
ステップS9203において、固定指示位置に対する位置関係が右側であった場合には、ステップS9207に進み、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または左右方向のみの縮小操作であると解釈する。ステップS9203において、位置関係が左側であった場合には、ステップS9208に進み、行うべき操作左画面移動操作、または左右方向のみの拡大操作であると解釈する。ステップS9203において、位置関係が上側であった場合には、ステップS9209に進み、行うべき操作左回転操作として解釈する。ステップS9203において、位置関係が下側であった場合には、ステップS9210に進み、行うべき操作を右回転操作として解釈する。
【０１３９】
一方、ステップS9202において、移動方向が上であった場合には、ステップS9204に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9211に進み、行うべき操作を左回転操作として解釈する。ステップS9204において、位置関係が左側であった場合には、ステップS9212に進み、行うべき操作を右回転操作として解釈する。ステップS9204において、位置関係が上側であった場合には、ステップS9213に進み、、行うべき操作を上画面移動操作、または上下方向のみの拡大操作として解釈する。ステップS9204において、位置関係が下側であった場合には、ステップS9214に進み、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または上下方向のみの縮小操作として解釈する。
【０１４０】
また、ステップS9202において、移動方向が下であった場合には、ステップS9205に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9215に進み、行うべき操作を右回転操作として解釈する。ステップS9205において、位置関係が左側であった場合には、ステップS9216に進み、行うべき操作を左回転操作として解釈する。ステップS9205において、位置関係が上側であった場合には、ステップS9217に進み、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または上下方向のみの縮小操作として解釈する。ステップS9205において、位置関係が下側であった場合には、ステップS9218に進み、行うべき操作を下画面移動操作として解釈する。
【０１４１】
また、ステップS9202において、移動方向が右であった場合には、ステップS9206に進み、固定指示位置に対する位置関係が右側であった場合には、ステップS9219に進み、行うべき操作右画面移動操作、または左右方向のみの拡大操作として解釈する。ステップS9206において、位置関係が左側であった場合には、ステップS9220に進み、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または左右方向のみの縮小操作として解釈する。ステップS9206において、位置関係が上側であった場合には、ステップS9221に進み、行うべき操作を右回転操作として解釈する。ステップS9206において、位置関係が下側であった場合には、ステップS9222に進み、行うべき操作を左回転操作として解釈する。
【０１４２】
図９３は、固定指示位置に対する位置関係判定処理の手順を示すフローチャートである。同図において、ステップS9301で、指示位置間角度取得処理が起動され、指示位置間の角度が取得される。続くステップS9302において、取得された角度が上方向の一定範囲内にある場合、ステップS9303で位置関係を上と判定する。またステップS9302において、取得された角度が下方向の一定範囲内にある場合、ステップS9304で位置関係を下と判定する。またステップS9302において、取得された角度が左方向の一定範囲内にある場合、ステップS9305で位置関係を左と判定する。またステップS9302において、取得された角度が右方向の一定範囲内にある場合、ステップS9306で位置関係を右と判定する。
【０１４３】
図９４は、指示位置移動方向取得処理の手順を示すフローチャートである。同図において、ステップS9401で、指示位置移動角度取得処理が起動され、指示位置の移動角度が取得される。続くステップS9402において、取得された角度が上方向の一定範囲内にある場合、ステップS9403で移動方向を上と判定する。ステップS9402において、取得された角度が下方向の一定範囲内にある場合、ステップS9404で移動方向を下と判定する。ステップS9402において、取得された角度が左方向の一定範囲内にある場合、ステップS9405で移動方向を左と判定する。ステップS9402において、取得された角度が右方向の一定範囲内にある場合、ステップS9406で移動方向を右と判定する。
【０１４４】
図９５は、移動指示位置の移動方向が同一である時に、位置関係により、次項目操作、または左画面移動操作として解釈される二つの操作例を示す図である。同図において、移動指示位置点Bは、移動方向が左方向であり、かつ位置関係が固定指示位置点Aの右側であるので、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または左右方向のみの縮小操作であると解釈する。一方、移動指示位置点Dは、移動方向が左方向であり、かつ位置関係が固定指示位置点Cの左側であるので、行うべき操作を左画面移動操作、または左右方向のみの拡大操作であると解釈する。
【０１４５】
同様に、移動方向が左方向で、位置関係が固定指示位置の上側の場合には、行うべき操作を左回転操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を右回転操作として解釈する。
【０１４６】
また、移動方向が上方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を左回転操作として解釈し、位置関係が固定指示位置の左側の場合には、行うべき操作を右回転操作として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を上画面移動操作、または上下方向のみの拡大操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を次項目操作、または次ページ操作、または次画面操作、または末尾行操作、または上下方向のみの縮小操作、として解釈する。
【０１４７】
また、移動方向が下方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を右回転操作、として解釈し、位置関係が固定指示位置の左側の場合、行うべき操作を左回転操作、として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または上下方向のみの縮小操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を下画面移動操作、または上下方向のみの拡大操作として解釈する。
【０１４８】
また、移動方向が右方向で、位置関係が固定指示位置の右側の場合には、行うべき操作を右画面移動操作、または左右方向のみの拡大操作、として解釈し、位置関係が固定指示位置の左側の場合には、行うべき操作を前項目操作、または前ページ操作、または前画面操作、または先頭行操作、または左右方向のみの縮小操作として解釈し、位置関係が固定指示位置の上側の場合には、行うべき操作を右回転操作として解釈し、位置関係が固定指示位置の下側の場合には、行うべき操作を左回転操作として解釈する。
【０１４９】
図９６は、次項目操作として解釈される場合のデータ例を示す図である。同図において、グラフ9601のように固定指示位置点A(3,3)があり、移動指示位置は移動開始時ｔ1では点Bt1(6,2.8)、移動終了時ｔ5では点Bt5(4,2)である。テーブル9602は、t1からt5における、固定指示位置点A及び移動指示位置点Bの位置データを示すものである。テーブル9603は、固定指示位置と移動指示位置の位置関係を示すものであり、指示位置移動データにおいて、移動終了時ｔ5の指示位置の移動量は固定指示位置点Aが0、移動指示位置点Bが2.236であり、固定指示位置点Aと移動指示位置点Bの関係はt1の時176.19°であり、t5の時には135.00°へと変化している。また移動指示位置点Bの移動方向は−153.43°である。
【０１５０】
〔実施形態１２〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置２個所と移動指示位置の位置関係変化に着目した例について具体的に説明する。
【０１５１】
図９７は、固定指示位置と移動指示位置との位置関係に基づく処理の手順を示すフローチャートである。同図において、ステップS9701で、固定指示位置と移動指示位置との位置関係判定処理が起動され、検出された２個所の固定指示位置に対する移動指示位置の位置関係が取得される。ステップS9702で、固定指示位置と移動指示位置との位置関係に基づく指示解釈処理が起動され、取得された指示位置関係に応じて行うべき操作を解釈する。
【０１５２】
図９８は、固定指示位置と移動指示位置との位置関係判定処理の手順を示すフローチャートである。同図において、ステップS9801で、固定指示位置間角度取得処理が起動され、２つの固定指示位置間の角度を取得する。次にステップS9802で、移動指示位置間角度取得処理が起動され、２つの固定指示位置間のうちの任意の一方と移動指示位置との間の角度を取得する。次にステップS9803で、指示位置間関係判定処理が起動され、取得された固定指示位置間角度と、移動指示位置間角度との関係を判定する。次にステップS9804で、指示位置間関係変化取得処理が起動され、関係の変化を取得する。
【０１５３】
図９９は、指示位置間関係判定処理の手順を示すフローチャートである。同図において、ステップS9901で、取得された固定指示位置間角度が移動指示位置間角度より小さかった場合には、ステップS9902に進み、指示位置関係を右回転方向と判定する。固定指示位置間角度と移動指示位置間角度が一致する場合には、ステップS9903に進み、指示位置関係を一致と判定する。固定指示位置間角度が移動指示位置間角度より大きかった場合には、ステップS9904に進み、指示位置関係を左回転方向と判定する。
【０１５４】
図１００は、指示位置間関係変化取得処理の手順を示すフローチャートである。同図において、ステップS10001で、初期位置と最新位置が一致しなかった場合には、ステップS10002に進み、さらに初期位置関係が一致でなかった場合には、ステップS10003に進み、さらに最新位置関係が一致でなかった場合には、ステップS10004に進み、位置関係を逆転として解釈する。
【０１５５】
図１０１は、固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS10101で、判定された位置関係変化が逆転であった場合には、ステップS10102に進み、行うべき操作を固定指示位置間を挟んだ対象反転として解釈する。
【０１５６】
図１０２は、対称反転として解釈される操作例を示す図である。同図において、固定指示位置である点A及びBに対して移動指示位置点Ct1があり、この点が移動指示位置点Ct5へと移動する場合、対称反転操作であると解釈する。
【０１５７】
図１０３は、対称反転操作として解釈される場合のデータ例を示す図である。同図において、グラフ10301のように固定指示位置点A(3,1)及び、固定指示位置点B(4,6)があり、固定指示位置間角度は78.69°であり、移動開始時t1において、移動指示位置が点Ct1(5,3)であり、固定指示位置点Aに対する移動指示位置間角度t1は45.00°である。この時、移動指示位置点Ct1は、固定指示位置間線分ABの右側にある。移動終了時t5において移動指示位置点がCt5(3,3)であり、固定指示位置点１Aに対する移動指示位置間角度t5は90.00°であり、移動指示位置点Ct5は、固定指示位置間線分ABの左側にある。
【０１５８】
テーブル10302は、t1からt5における固定指示位置点A、点B、及び移動指示位置点Cの位置データを示すものである。テーブル10303は、２つの固定指示位置と移動指示位置の位置関係を示すものであり、固定指示位置と移動指示位置の位置関係データにおいて、固定指示位置間角度はt1からt5の間78.69°と一定であり、移動指示位置間角度はt1において45.00°であり、以後増加を続け、t5において固定指示位置間角度より大きい90.00°となっている。
【０１５９】
〔実施形態１３〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、固定指示位置３個所と移動指示位置との位置関係変化に着目した例について具体的に説明する。
【０１６０】
図１０４は、固定指示位置が三個所以上ある場合の処理の流れを示す図である。同図において、ステップS10401で固定指示位置が三個所以上であった場合には、ステップS10402に進み、複数固定指示位置に対する移動指示位置の位置関係判定処理が起動され、既に検出された三個所以上の固定指示位置に対する移動指示位置の位置関係を判定する。ステップS10403で、複数固定指示位置に対する移動指示位置の位置関係に基づく指示解釈処理が起動され、判定された位置関係に応じて行なうべき操作を解釈する。
【０１６１】
図１０５は、複数固定指示位置に対する移動指示位置の位置関係判定処理の手順を示すフローチャートである。同図において、ステップS10501で固定指示位置間角度取得処理が起動され、固定指示位置間の角度を取得し、次にステップS10502で、移動指示位置間角度取得処理が起動され、取得された固定指示位置のうち任意の固定指示位置と移動指示位置との角度を取得する。次に、ステップS10503で、指示位置間関係判定処理が駆動され、取得された固定指示位置間角度と移動指示位置間角度の関係を判定する。次に、ステップS10504で指示位置間関係変化取得処理が起動され、取得された関係の変化を取得する。
【０１６２】
図１０６は、固定指示位置が三個所以上ある場合の指示位置間位置関係判定処理の手順を示すフローチャートである。同図において、ステップS10601で、取得対象固定指示位置を、固定指示位置テーブルの固定指示位置リストより取得し、次にステップS10602で、取得した固定指示位置リストより先頭固定指示位置を取得する。次に、ステップS10603において、取得対象固定指示位置が、固定指示位置リストの末尾固定指示位置よりリスト順位が小さい場合には、ステップS10604に進み、固定指示位置を取得する。続いて、ステップS10605において、移動指示位置間角度が、取得された固定指示位置に対して最大角を作る固定指示位置間角度以下である場合には、ステップS10606に進み、取得された固定指示位置に対して最小角を作る固定指示位置間角度以上である場合には、ステップS10607に進み、固定指示位置リストを次に進める。
【０１６３】
ステップS10603において、取得対象固定指示位置が、固定指示位置リストが末尾固定指示位置に達した場合には、ステップS10608に進み、領域内であるとして解釈する。ステップS10605において、移動指示位置間角度が、取得された固定指示位置に対して最大角を作る固定指示位置間角度より大きい場合、または、ステップS10606において、取得された固定指示位置に対して最小角を作る固定指示位置間角度より小さい場合には、ステップS10609に進み、領域外であるとして解釈する。
【０１６４】
図１０７は、複数固定指示位置に対する移動指示位置の位置関係が固定指示位置間領域内として解釈される操作例を示す図である。同図において、10701のように固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1の位置関係は固定指示位置間領域内でとして解釈される。
【０１６５】
図１０８は、指示位置間位置関係判定処理により、複数固定指示位置に対する移動指示位置の位置関係が固定指示位置間領域内として解釈される操作のデータ例を示す図である。同図において、グラフ10801のように、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(4,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の間にあり、同時に、固定指示位置点Bに対する点Dt1の角度O'BD -90.00°は、固定指示位置点Bを中心とした角度O'BA 101.31°と角度O'BC 14.04°の間にある。
【０１６６】
テーブル10802は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル10803は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO71.57°は、固定指示位置間角度BAO７８．６９°と固定指示位置間角度CAO56.31°の間にあり、また、固定指示位置点Bに対する移動指示位置点Dの角度O'BD 90.00°は、固定指示位置間角度O'BA-101.31°と固定指示位置間角度O'BC-14.04°の間にある。
【０１６７】
図１０９は、指示位置間の位置関係変化の取得処理の手順を示すフローチャートである。同図において、ステップS10901で、判定された位置関係変化が領域内から領域外への移動であった場合は、ステップS10902に進み、領域外移動として解釈する。ステップS10901において、位置関係変化が領域内から領域外への移動でなかった場合には、ステップS10903に進み、位置関係変化が領域外から領域内への移動であった場合には、ステップS10904に進み、領域内移動として解釈する。
【０１６８】
図１１０は、指示位置間位置関係変化判定処理により、固定指示位置間領域外移動として解釈される操作例を示す図である。同図において、固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1が、点Dt5へと移動する場合、複数固定指示位置に対する移動指示位置の位置関係を固定指示位置間の領域外移動として解釈する。
【０１６９】
図１１１は、指示位置間位置関係変化判定処理により、固定指示位置間領域外移動として解釈される操作のデータ例を示す図である。同図において、グラフ11101のように移動開始時t1において、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(4,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の間にあり、同時に、固定指示位置点Bに対する点Dt1の角度O'BD -90.00°は、固定指示位置点Bを中心とした角度O'BA 101.31°と角度O'BC 14.04°の間にある。移動終了時t5において、移動指示位置点Dt5(3,4)があり、固定指示位置点Aに対する点Dt5の角度DAO 90.00°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 59.04°の外にあり、同時にまた、固定指示位置点Bに対する点Dt5の角度O'BD -116.57°は、固定指示位置点Bを中心とした角度O'BA 101.31°と角度O'BC 14.04°の外にある。
【０１７０】
テーブル11102は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル11103は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO、及び、固定指示位置点Bに対する移動指示位置点Dの角度O'BD は、t1からt3の間は固定指示位置領域内に存在し、t4において領域外に移動している。
【０１７１】
図１１２は、複数固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS11201で、判定された位置関係変化が領域外移動であった場合は、ステップS11202に進み、行うべき操作を固定指示位置間領域内の削除として解釈する。ステップS11201において、位置関係変化が領域外移動でなかった場合には、ステップS11203に進み、さらに位置関係変化が領域内移動であった場合には、ステップS11204に進み、行うべき操作を固定指示位置間領域内への属性付与として解釈する。なお、この場合の固定指示位置間領域内への属性付与とは、固定指示位置間領域内への色付けを含む。
【０１７２】
図１１３は、固定指示位置間領域内への属性付与として解釈されるもののうち、固定指示位置間領域内への色付けとして解釈される操作例を示す図である。同図において、固定指示位置点A、点B、点Cで囲まれた領域に対して、移動指示位置点Dt1が点Dt5へと移動する場合、行うべき操作を固定指示位置間領域内への色付けとして解釈する。
【０１７３】
図１１４は、対複数固定指示位置間位置関係対応指示解釈処理により、固定指示位置間領域内への属性付与として解釈されるもののうち、固定指示位置間領域内への色付けとして解釈される場合の操作のデータ例を示す図である。同図において、11431のように移動開始時t1において、固定指示位置点A(3,1)、固定指示位置点B(4,6)、固定指示位置点C(6,5.5)、及び移動指示位置点Dt1(3,4)があり、固定指示位置点Aに対する点Dt1の角度DAO 90.00°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 56.31°の外にあり、同時に、固定指示位置点Bに対する点Dt1の角度O'BD 116.57°は、固定指示位置点Bを中心とした角度O'BA 101.31°と角度O'BC 14.04°の外にある。移動終了時t5において、移動指示位置点Dt5(4,4)があり、固定指示位置点Aに対する点Dt5の角度DAO 71.57°は、固定指示位置点Aを中心とした角度BAO 78.69°と角度CAO 59.04°の間にあり、同時にまた、固定指示位置点Bに対する点Dt5の角度O'BD 90.00°は、固定指示位置点Bを中心とした角度O'BA 101.31°と角度O'BC 14.04°の間にある。
【０１７４】
テーブル11432は、t1からt5における固定指示位置点A、点B、点C、及び移動指示位置点Dの位置データを示すものである。テーブル11433は、固定指示位置と移動指示位置の位置関係変化を示すものであり、位置関係変化データにおいて、固定指示位置点Aに対する移動指示位置点Dの角度DAO、及び、固定指示位置点Bに対する移動指示位置点Dの角度O'BD は、t1からt3の間は固定指示位置領域外に存在し、t4において領域内に移動している。
【０１７５】
〔実施形態１４〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の指示位置数変化に着目した例について具体的に説明する。
【０１７６】
図１１５は、複数指示位置の指示位置数変化を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS11401で指示位置数取得処理が起動されて、指示位置数が取得され、続くステップS11402で、指示位置数変化取得処理が起動し、指示位置数変化が取得される。次にステップS11403で、指示位置数変化に基づく指示解釈処理が起動され、取得された指示位置数に応じて行なうべき操作を解釈する。
【０１７７】
図１１６は、初期指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS11601で、初期指示位置数と現在指示位置数を比較し、ステップS11602において、初期指示位置数より増加している場合には、ステップS11603に進み、操作対象指定途中であると解釈する。
【０１７８】
図１１７は、初期指示位置数変化に基づく指示解釈処理により、操作対象指定途中であると解釈される場合の操作例を示す図である。時刻t1において、初期指示位置点At1とBt1があり、指示位置数は２つであり、時刻t2において、指示位置点At2とBt2とCｔ2とがあり、指示位置数は３つで、時刻t1より１つ増加している。
【０１７９】
図１１８は、操作対象指定途中であると解釈される場合の操作のデータ例を示す図である。グラフ11801のように、時刻t1において、指示位置点At1と、指示位置点Bt1があり、指示位置数は２つであり、時刻t2において、指示位置点At2と、指示位置点Bt2と、指示位置点Ct2があり、指示位置数は3つである。テーブル11802は、t1からt3における指示位置点A及び、指示位置点B及び、指示位置点Cの位置データを示すものである。テーブル11803は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、指示位置数は２であり、初期指示位置数変化は0である。時刻t2の時、指示位置数は３であり、初期指示位置数変化は１である。
【０１８０】
図１１９は、初期指示位置を基準にした指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、初期指示位置数変化対応指示解釈処理が起動されると、ステップS11901で、初期指示位置取得処理が起動され、最初の指示位置を取得する。続いて、ステップS11902において、取得された指示位置数が初期指示位置数より増加している場合には、ステップS11903に進み、初期指示位置基準指示解釈処理が起動され、取得された初期指示位置を基準として、行なうべき操作を解釈する。
【０１８１】
図１２０は、初期指示位置を基準にした指示解釈処理の手順を示すフローチャートである。同図において、ステップS12001で、指示位置数が一個所であった場合には、ステップS12002に進み、行うべき操作を、取得された指示位置を中心とした回転操作であると解釈する。
【０１８２】
図１２１は、指示位置を中心とした回転操作であると解釈される場合の操作例を示す図である。時刻t1において初期指示位置点Aがあり、時刻t5において、指示位置点Aがあり、指示位置点Bt5が指示位置点Bt3から移動してきた場合、指示位置点Aを中心とした回転操作であると解釈される。
【０１８３】
図１２２は、指示位置を中心とした回転操作として解釈される場合のデータ例を示す図である。グラフ12201のように、指示位置点Aが時刻t1からt6の間同一座標(3,3)にあり、指示位置点Bは、時刻t3の時には点Bt3(6,2.8)にあり、時刻t4の時には点Bt4(5.6,3.5)にあり、時刻t5の時には点Bt5(5.2,4.2)にあり、時刻t6の時には点Bt6(5,5)へと移動している。テーブル12202は、時刻t1からt6における指示位置点A及びBの位置データを示すものである。テーブル12203は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1及びt2の時、指示位置数は１であり、初期指示位置数変化は0である。時刻t3の時、指示位置数は2であり、初期指示位置数変化は１である。以後、時刻t6まで指示位置数は変化していない。
【０１８４】
〔実施形態１５〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の最終指示位置数変化に着目した例について具体的に説明する。
【０１８５】
図１２７は、最終指示位置数変化を用いた処理の手順を示すフローチャートである。同図において、ステップS12301で最終指示位置数変化取得処理が起動し、最終指示位置数変化が取得される。ステップS12302で最終指示位置数変化に基づく指示解釈処理を行う。
【０１８６】
図１２４は、最終指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。同図において、ステップS12401で、指示位置数が減少していた場合には、ステップS12402に進み、直前の操作に対するキャンセル指示として解釈する。ステップS12401で、指示位置数が減少していない場合には、ステップS12403に進み、直前の操作に対する了承指示として解釈する。
【０１８７】
図１２５は、最終指示位置数変化に基づく指示解釈処理において、キャンセル指示操作として解釈される場合の操作例を示す図である。時刻t1において、初期指示位置点At1とBt1とCｔ1があり、指示位置数は３つであり、時刻t2において、指示位置点At2とBt2とがあり、指示位置数は2つであり、時刻t1より１つ減少している。
【０１８８】
図１２６は、最終指示位置数変化に基づく指示解釈処理において、キャンセル指示操作として解釈される場合の操作のデータ例を示す図である。グラフ12601のように、時刻t1において、指示位置点At1とBt1とCt1があり、指示位置数は3つであり、時刻t2において、指示位置点At2とBt2があり、指示位置数は２つである。テーブル12602は、時刻t1からt2における指示位置点A、B、Cの位置データを示すものである。テーブル12603は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、指示位置数は3であり、初期指示位置数変化は0である。時刻t2の時、指示位置数は2であり、初期指示位置数変化は−１である。
【０１８９】
〔実施形態１６〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置数に着目した例について具体的に説明する。
【０１９０】
図１２７は、指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである。同図において、ステップS12701で指示情報取得処理が起動され、指示軌跡以外の指示情報が取得される。次にステップS12702において、操作が繰り返されていない場合には、ステップS12703に進み、指示情報に基づく指示解釈処理が起動され、取得した指示情報に基づいて行うべき操作を解釈する。ステップS12702において、操作が繰り返されている場合には、ステップS12703に進み、中断操作解釈処理が起動され、操作を中断するよう解釈し、ステップS12703に進む。
【０１９１】
図１２８は、指示軌跡以外の指示情報を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS12801で指示情報が最大判定値以上であった場合には、ステップS12802に進み、最大操作量として解釈する。ステップS12801において、指示情報が最大判定値に満たない場合には、ステップS12803に進み、さらに指示情報が繰り返し判定値以上であった場合は、ステップS12804に進み、操作量を大きくするよう解釈し、次にステップS12805に進み、繰り返し間隔を減少するよう解釈する。ステップS12803において、指示情報が繰り返し判定値に満たない場合には、ステップS12806に進み、操作量を大きくするよう解釈する。
【０１９２】
図１２９は、全指示位置数を用いた処理の手順を示すフローチャートである。同図において、ステップS12901で、全指示位置数取得処理が起動され、全指示位置数を取得する。
【０１９３】
図１３０は、指示軌跡以外の指示情報として指示位置数を用いた処理の手順を示すフローチャートである。同図において、ステップS13001で指示位置数が最大判定値以上であった場合には、ステップS13002に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13001において、指示位置数が最大判定値に満たない場合には、ステップS13003に進み、さらに指示位置数が繰り返し判定値以上であった場合は、ステップS13004に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13005に進み、繰り返し間隔を減少するよう解釈する。ステップS13003において、指示位置数が繰り返し判定値に満たない場合には、ステップS13006に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13007に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【０１９４】
図１３１は、ページめくり操作として解釈される場合の操作例を示す図である。時刻t1において、指示位置点At1及び点Bt1があり、全指示位置数が２である場合と、時刻t2において、指示位置点At2及び点Bt2の他に、指示位置点Ct2と点Dt2があり、全指示位置数が４の場合とでは、全指示位置数が多い時刻t2の方が、ページめくり操作における操作対象ページ数が大であると解釈する。
【０１９５】
図１３２は、ページめくり操作として解釈される場合の操作のデータ例を示す図である。グラフ13201のように、時刻t1において、指示位置点At1とBt1があり、全指示位置数は２つであり、時刻t2において、指示位置点At2とBt2とCt2とDt2とがあり、全指示位置数は4つである。テーブル13202は、時刻t1からt2における指示位置点A、B、C、Dの位置データを示すものである。テーブル13203は、指示位置数の変化を示すものであり、指示位置数データにおいて、時刻t1の時、増加指示位置数は２であり、全指示位置数は３である。時刻t2の時、増加指示位置数は２であり、全指示位置数は５である。
【０１９６】
〔実施形態１７〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置移動速度に着目した例について具体的に説明する。
【０１９７】
図１３３は、指示軌跡以外の情報として、指示位置移動速度を用いる処理の手順を示すフローチャートである。同図において、ステップS13301で指示位置移動速度取得処理が起動され、指示位置の移動速度が取得される。ステップS13302で指示位置移動速度に基づく指示解釈処理が起動され、指示位置の移動速度に基づいて指示が解釈される。
【０１９８】
図１３４は、指示位置移動速度取得処理の手順を示すフローチャートである。同図において、ステップS13401で直前の指示位置からの移動距離を取得し、次にステップS13042で、取得した距離と時間より速度を算出する。
【０１９９】
図１３５は、指示軌跡以外の指示情報として指示位置移動速度を用いた指示解釈処理の手順を示すフローチャートである。同図において、ステップS13501で指示位置速度が最大判定値以上であった場合には、ステップS13502に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13501において、指示位置速度が最大判定値に満たない場合には、ステップS13503に進み、さらに指示位置速度が繰り返し判定値以上であった場合は、ステップS13504に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13505に進み、繰り返し間隔を減少するよう解釈する。ステップS13503において、指示位置速度が繰り返し判定値に満たない場合には、ステップS13506に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13507に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【０２００】
図１３６は、指示位置移動速度を用いてページめくり操作として解釈される場合の操作例を示す図である。指示位置点A及び点Bが、時刻t1から時刻t5のように移動する場合と、指示位置点A'及び点B'が、時刻t1から時刻t5のように移動する場合、同じ時間内における移動速度は後者の方が大きいとして解釈する。
【０２０１】
図１３７は、指示位置移動速度を用いてページめくり操作として解釈される場合の操作のデータ例を示す図である。グラフ13701のように、時刻t1において、指示位置点Aと指示位置点Bの組み合わせが、指示位置点At1と指示位置点A't1が同一座標(4,2)にあり、また指示位置点Bt1と指示位置点B't1が同一座標(5,3)にあり、時刻t5において、それぞれの座標が指示位置点At5（3,3）、指示位置点Bt5(4,4)に、指示位置点A't5(3,4)、指示位置点B't5(4,5)に移動している。
【０２０２】
テーブル13702は、t1からt5における指示位置点A、B、A'、B'の位置データを示すものである。テーブル13703は、指示位置の移動速度を示すものであり、指示位置移動速度データにおいて、各指示位置の移動速度及び速度増加量により、指示位置点A'の移動速度0.559及び指示位置点B'の移動速度0.559は、指示位置点Aの移動速度0.354及び指示位置点Bの移動速度0.283より大きい。
【０２０３】
〔実施形態１８〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として指示位置の接触圧力に着目した例について具体的に説明する。
【０２０４】
図１３８は、指示軌跡以外の情報として、指示位置接触圧力を用いた処理の手順を示すフローチャートである。同図において、ステップS13801で指示位置接触圧力取得処理が起動され、指示位置の接触圧力が取得される。ステップS13802で指示位置接触圧力に基づく指示解釈処理が起動され、指示位置の接触圧力に基づいて指示が解釈される。
【０２０５】
図１３９は、指示位置接触圧力に基づく指示解釈処理の手順を示すフローチャートである。同図において、指示情報対応指示解釈処理が起動されると、ステップS13901で指示位置接触圧力が最大判定値以上であった場合には、ステップS13902に進み、最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS13901において、指示位置接触圧力が最大判定値に満たない場合には、ステップS13903に進み、さらに指示位置接触圧力が繰り返し判定値以上であった場合は、ステップS13904に進み、画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS13905に進み、繰り返し間隔を減少するよう解釈する。ステップS13903において、指示位置接触圧力が繰り返し判定値に満たない場合には、ステップS13906に進み、画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS13907に進み、画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【０２０６】
図１４０は、指示位置接触圧力により画面移動操作として解釈される場合の操作例を示す図である。指示位置点At1(3,3)及び点Bt1(4,4)と、指示位置点At5(3,3)及び点Bt5(4,4)では、後者の方が接触圧力が大きいとして解釈する。
【０２０７】
図１４１は、指示位置接触圧力により画面移動操作として解釈される操作のデータ例を示す図である。グラフ14101のように、時刻t1から時刻t5において、指示位置点At1(3,3)及び点Bt1(4,4)から指示位置点At5（3,1）及びBt5(4,2)へ、同様に指示位置点Ct1(3,3)及び点Dt1(4,4)から指示位置点Ct5（3,1）、Dt5(4,2)へと移動している。テーブル14102は、t1からt5における指示位置点A、指示位置点B、指示位置点C、指示位置点Dの位置データを示すものである。テーブル14103は、指示位置の接触圧力を示すものであり、指示位置接触圧力データにおいて、指示位置点A及び指示位置点Bの、時刻t1からt5における接触圧力変化より、指示位置点C及び指示位置点Dの接触圧力変化の方が大きい。
【０２０８】
〔実施形態１９〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、指示軌跡以外の指示情報として複数指示位置の移動距離に着目した例について具体的に説明する。
【０２０９】
図１４２は、指示軌跡以外の情報として、複数指示位置の移動距離を用いた処理の手順を示すフローチャートである。同図において、ステップS14201で指示位置移動距離取得処理が起動され、指示位置の移動距離が取得される。ステップS14202で指示位置移動距離に基づく指示解釈処理が起動され、指示位置の移動距離に基づいて指示が解釈される。
【０２１０】
図１４３は、複数指示位置の移動距離に基づく指示解釈処理の手順を示すフローチャートである。同図において、指示情報対応指示解釈処理が起動されると、ステップS14301で指示位置移動距離が最大判定値以上であった場合には、ステップS14302に進み、最大ページ数、または最大画面数、または最大項目数、または最大縮尺倍率として解釈する。ステップS14301において、指示位置移動距離が最大判定値に満たない場合には、ステップS14303に進み、さらに指示位置移動距離が繰り返し判定値以上であった場合は、ステップS14304に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈し、次にステップS14305に進み、繰り返し間隔を減少するよう解釈する。ステップS14303において、指示位置移動距離が繰り返し判定値に満たない場合には、ステップS14306に進み、ページ数増加、または画面数増加、または項目数増加、または縮尺倍率増加、を大きくするよう解釈する。次に、ステップS14307に進み、ページ移動操作、または画面移動操作、または項目移動操作、または拡大縮小操作として解釈する。
【０２１１】
図１４４は、ページめくり操作として解釈される場合の操作例を示す図である。時刻t1における指示位置点At1(4,2)及び点Bt1(5,3)が、時刻t5において指示位置点At5(3,3)及び点Bt5(4,4)のように移動する場合と、時刻t1における指示位置点A't1(4,2)及び点B't1(5,3)が、時刻t5において指示位置点A't5(3,6)及び点B't5(4,7)のように移動する場合とでは、後者の方が移動距離大きいとして解釈する。
【０２１２】
図１４５は、ページめくり操作として解釈される操作のデータ例を示す図である。グラフ14501のように、時刻t1において、指示位置点Aと指示位置点Bの組み合わせが、指示位置点At1と指示位置点A't1が同一座標(4,2)にあり、また指示位置点Bt1と指示位置点B't1が同一座標(5,3)にあり、時刻t5において、それぞれの座標が指示位置点At5（3,3）、指示位置点Bt5(4,4)に、指示位置点A't5(3,6)、指示位置点B't5(4,7)に移動している。テーブル14602は、時刻t1からt5における指示位置点A、B、A'、B'の位置データを示すものである。テーブル14603は、複数指示位置の移動距離を示すものであり、指示位置の移動距離データにおいて、各指示位置の移動距離及び移動距離増加量により、指示位置点A'の移動距離4.123及び指示位置点B'の移動距離4.123は、指示位置点Aの移動距離1.414及び指示位置点Bの移動距離1.131より大きい。
【０２１３】
〔実施形態２０〕
本実施形態では、取得された２個所以上の指示位置の移動軌跡の組み合わせから行うべき操作を解釈する際に、複数指示位置の不動時間に着目した例について具体的に説明する。
【０２１４】
図１４６は、複数指示位置の不動時間を用いた処理の手順を示すフローチャートである。同図において、ステップs14601で指示位置不動時間取得処理が起動され、指示位置の不動時間が取得される。次にステップs14602において、指示位置が一定時間不動であった場合には、ステップs14603に進み、範囲指定操作として解釈し、表示上で指定範囲を他と識別可能な形態で明示する。ステップs14602において、指示位置が不動でなかった場合には、ステップs14604に進み、指定範囲に対する操作として解釈する。
【０２１５】
図１４７は、複数指示位置の不動時間を用いた処理において、範囲指定操作として解釈される操作例を示す図である。時刻t1において、指示位置点At1とBt1が任意の文字列上にあり、時刻t5において、指示位置点At5及びBt5が同じ文字列上にある場合、指示位置間の領域を指定したと解釈される。
【０２１６】
図１４８は、複数指示位置の不動時間を用いた処理において、範囲指定操作として解釈される場合のデータ例を示す図である。グラフ14801のように、指示位置点A(3,3)は、時刻t1からt5の間、同一座標にあり、指示位置点B(4,4)もまた、時刻t1からt5の間、同一座標にある。テーブル14802は、指示位置の時刻t1からt5における指示位置点A及びBの位置データを示すものである。テーブル14803は、指示位置の移動量を示すものであり、指示位置移動データにおいて、指示位置点Aの移動量は、時刻t1には０であり、t2以降時刻ｔ5においても０である。指示位置点Bの移動量も同様に時刻t1からt5まで0であり、指示位置点Aと点Bが、時刻t1からt5において不動であることが分かる。
【０２１７】
図１４９は、複数指示位置の不動時間を用いた処理において、指定範囲に対する拡大操作として解釈される場合の操作例を示す図である。時刻t5において、指示位置点At5と、指示位置点Bt5が任意の文字列上にあり、時刻t6において、指示位置点At6及び、指示位置点Bt6がそれぞれt5の位置より移動した場合、指定された指定範囲に対する拡大操作であると解釈される。
【０２１８】
図１５０は、複数指示位置の不動時間を用いた処理において、指定範囲に対する拡大操作として解釈される場合のデータ例を示す図である。グラフ15001のように、指示位置点A(3,3)及びB(4,4)は、時刻t1からt5の間同一座標にあり、指示位置点At6(2,2.5)及びBt6(4,4)は、それぞれ時刻t5における位置から見て、他方の指示位置から遠ざかる方向に存在している。テーブル15002は、指示位置の時刻t1からt6における指示位置点A及び、指示位置点Bの位置データを示すものである。テーブル15003は、指示位置の時間変化を示すものであり、指示位置移動データにおいて、指示位置点A及び指示位置点Bの移動量は、時刻t1からｔ5の間０であり、指示位置AB間の距離変化倍率は100％であり、変化していない。また時刻t6において、点Aの移動量は1.118、点Bの移動量は2.236であり、指示位置AB間の距離変化倍率は285％と拡大している。
【０２１９】
尚、本発明は、上記実施形態の機能が実現できる範囲において、単一の機器からなる装置に適用しても、複数の機器（例えばコンピュータ本体、インターフェイス機器、ディスプレイなど）から構成されるシステムに適用してもよい。
【０２２０】
また、前述した実施形態の機能を実現するように各種デバイスを動作させることを目的として、該各種デバイスと接続された装置あるいはシステム内のコンピュータに、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を供給し、装置あるいはシステム内のコンピュータが記憶媒体に格納されたプログラムコードを読み出して実行することによって達成してもよい。
【０２２１】
かかるプログラムコードを供給する為の記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を使用できる。
【０２２２】
あるいは、通信回線を介して上記プログラムコードを外部から提供してもよい。
【０２２３】
更に、装置あるいはシステム内のコンピュータが記憶媒体に格納されたプログラムコードを読み出して実行することによって、上述した実施形態の機能を直接実現するばかりでなく、そのプログラムコードの指示に基づいて、コンピュータ上で稼動しているＯＳなどの処理により、上述の機能を実現される場合も含まれる。
【０２２４】
これらの場合、そのプログラムコードを記憶した記憶媒体及びプログラムコードそのものは本発明を構成することになる。
【０２２５】
【発明の効果】
以上説明したように、本発明によれば、同時に移動する２個所以上の指示位置の軌跡をそれぞれ検知することのできるできるという効果がある。
【図面の簡単な説明】
【図１】実施形態の情報処理装置のハードウェア構成を示すブロック図である。
【図２】タッチパネルを用いた指による位置入力の例を示す図である。
【図３】撮影装置を用いた指による位置入力の例を示す図である。
【図４】指示位置の軌跡を用いる処理の手順を示すフローチャートである。
【図５】軌跡検知処理の手順を示すフローチャートである。
【図６】組合せ特定処理の手順を示すフローチャートである。
【図７】記憶された指示位置データの例を示す図である。
【図８】取得される現在の指示位置データの例を示す図である。
【図９】複数指示位置の軌跡検知で利用されるデータの流れを示す図である。
【図１０】指示面積の大きさを利用した軌跡検知処理の手順を示すフローチャートである。
【図１１】指示面積を利用した組合せ特定処理の手順を示すフローチャートである。
【図１２】取得される現在の指示位置の面積を表した図である。
【図１３】記憶された指示位置の面積データの例を示す図である。
【図１４】指示面積の大きさを利用した処理で利用されるデータの流れを示す図である。
【図１５】複数指示位置の軌跡を用いた操作手順を示すフローチャートである。
【図１６】指示解釈処理の流れを示すフローチャートである。
【図１７】指示位置間の距離変化の取得処理の手順を示すフローチャートである。
【図１８】距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図１９】距離変化に基づく指示解釈処理の別の手順を示すフローチャートである。
【図２０】縮小操作として解釈される操作例を示す図である。
【図２１】縮小操作として解釈されるデータの例を示す図である。
【図２２】拡大操作として解釈される操作例を示す図である。
【図２３】拡大操作として解釈されるデータ例を示す図である。
【図２４】指示位置の角度変化を利用する指示解釈の手順を示すフローチャートである。
【図２５】指示位置の角度変化の取得処理の手順を示すフローチャートである。
【図２６】角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図２７】右回転操作として解釈される操作例を示す図である。
【図２８】右回転操作として解釈されるデータの例を示す図である。
【図２９】左回転操作として解釈される操作例を示す図である。
【図３０】左回転操作として解釈されるデータの例を示す図である。
【図３１】固定指示位置と移動指示位置の関係を利用する指示解釈処理の手順を示すフローチャートである。
【図３２】固定指示位置検出処理の手順を示すフローチャートである。
【図３３】移動方向に基づく指示解釈処理の手順を示すフローチャートである。
【図３４】指示位置移動方向判定処理の手順を示すフローチャートである。
【図３５】指示位置移動方向判定処理で利用される角度の解釈について示す図である。
【図３６】左移動操作として解釈される操作例を示す図である。
【図３７】左移動操作として解釈されるデータの例を示す図である。
【図３８】上移動操作として解釈される操作例を示す図である。
【図３９】上移動操作として解釈されるデータの例を示す図である。
【図４０】下移動操作として解釈される操作例を示す図である。
【図４１】下移動操作として解釈されるデータの例を示す図である。
【図４２】右移動操作として解釈される操作例を示す図である。
【図４３】右移動操作として解釈されるデータを示す図である。
【図４４】固定指示位置と移動指示位置との距離変化を利用する指示解釈処理の手順を示すフローチャートである。
【図４５】指示位置間距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図４６】縮小操作として解釈される操作例を示す図である。
【図４７】縮小操作として解釈されるデータの例を示す図である。
【図４８】拡大操作として解釈される操作例を示す図である。
【図４９】拡大操作として解釈されるデータの例を示す図である。
【図５０】固定指示位置を中心とした縮小操作として解釈される操作例を示す図である。
【図５１】固定指示位置を中心とした縮小操作として解釈されるデータの例を示す図である。
【図５２】移動指示位置間の距離を利用する処理の手順を示すフローチャートである。
【図５３】移動指示位置間の距離変化に基づく指示解釈処理の手順を示すフローチャートである。
【図５４】縮小操作として解釈される操作例を示す図である。
【図５５】縮小操作として解釈されるデータの例を示す図である。
【図５６】拡大操作として解釈される操作例を示す図である。
【図５７】拡大操作として解釈されるデータを示す図である。
【図５８】複数移動指示操作として解釈される操作例を示す図である。
【図５９】複数移動指示操作として解釈されるデータを示す図である。
【図６０】指示位置間の角度変化を利用する処理の手順を示すフローチャートである。
【図６１】指示位置間の角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図６２】右回転操作として解釈される操作例を示す図である。
【図６３】右回転操作として解釈されるデータの例を示す図である。
【図６４】左回転操作として解釈される操作例を示す図である。
【図６５】左回転操作として解釈されるデータの例を示す図である。
【図６６】移動指示位置の角度変化を利用する処理の手順を示すフローチャートである。
【図６７】移動指示位置の角度変化に基づく指示解釈処理の手順を示すフローチャートである。
【図６８】右回転操作として解釈される操作例を示す図である。
【図６９】右回転操作として解釈されるデータの例を示す図である。
【図７０】左回転操作として解釈される操作例を示す図である。
【図７１】左回転操作として解釈されるデータの例を示す図である。
【図７２】重心を中心とした回転操作として解釈される操作例を示す図である。
【図７３】重心を中心とした回転操作として解釈されるデータの例を示す図である。
【図７４】指示位置間の位置関係を利用する処理の手順を示すフローチャートである。
【図７５】指示位置間の位置関係判定処理の手順を示すフローチャートである。
【図７６】指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図７７】上下移動操作として解釈される操作例を示す図である。
【図７８】上下移動操作として解釈されるデータの例を示す図である。
【図７９】左右移動操作として解釈される操作例を示す図である。
【図８０】左右移動操作として解釈されるデータを示す図である。
【図８１】指示位置間の位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図８２】位置関係変化に基づく指示解釈処理の手順を示すフローチャートである。
【図８３】指示位置間関係変化取得処理の手順を示すフローチャートである。
【図８４】反転操作として解釈される操作例を示す図である。
【図８５】反転操作として解釈されるデータ例を示す図である。
【図８６】左右反転操作として解釈される操作例を示す図である。
【図８７】左右反転操作として解釈されるデータ例を示す図である。
【図８８】上下反転操作として解釈される操作例を示す図である。
【図８９】上下反転操作として解釈されるデータ例を示す図である。
【図９０】指示位置間の位置関係判定処理の手順を示すフローチャートである。
【図９１】固定指示位置に対する位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図９２】固定指示位置に対する位置関係に基づく指示解釈処理の詳細手順を示すフローチャートである。
【図９３】固定指示位置に対する位置関係判定処理の手順を示すフローチャートである。
【図９４】指示位置移動方向取得処理の手順を示すフローチャートである。
【図９５】移動方向が同一である時に、位置関係によりそれぞれ解釈が異なる二つの操作例を示す図である。
【図９６】次項目操作として解釈されるデータ例を示す図である。
【図９７】固定指示位置と移動指示位置との位置関係に基づく処理の手順を示すフローチャートである。
【図９８】固定指示位置と移動指示位置との位置関係判定処理の手順を示すフローチャートである。
【図９９】指示位置間関係判定処理の手順を示すフローチャートである。
【図１００】指示位置間関係変化取得処理の手順を示すフローチャートである。
【図１０１】固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図１０２】対称反転として解釈される操作例を示す図である。
【図１０３】対称反転操作として解釈される場合のデータ例を示す図である。
【図１０４】固定指示位置が三個所以上ある場合の処理の流れを示すフローチャートである。
【図１０５】複数固定指示位置に対する移動指示位置の位置関係判定処理の手順を示すフローチャートである。
【図１０６】指示位置間関係取得処理の手順を示すフローチャートである。
【図１０７】領域内であるとして解釈される操作例を示す図である。
【図１０８】領域内であるとして解釈される操作のデータ例を示す図である。
【図１０９】指示位置間の位置関係変化の取得処理の手順を示すフローチャートである。
【図１１０】領域外移動として解釈される操作例を示す図である。
【図１１１】領域外移動として解釈される操作のデータ例を示す図である。
【図１１２】複数固定指示位置と移動指示位置との位置関係に基づく指示解釈処理の手順を示すフローチャートである。
【図１１３】固定指示位置間領域内への属性付与として解釈される操作例を示す図である。
【図１１４】固定指示位置間領域内への属性付与として解釈される操作のデータ例を示す図である。
【図１１５】複数指示位置の指示位置数変化を用いた指示解釈処理の手順を示すフローチャートである。
【図１１６】初期指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図１１７】操作対象指定途中として解釈される場合の操作例を示す図である。
【図１１８】操作対象指定途中として解釈される場合の操作のデータ例を示す図である。
【図１１９】指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図１２０】初期指示位置を基準にした指示解釈処理の手順を示すフローチャートである。
【図１２１】指示位置を中心とした回転操作として解釈される場合の操作例を示す図である。
【図１２２】指示位置を中心とした回転操作として解釈される場合のデータ例を示す図である。
【図１２３】最終指示位置数変化を用いた処理の手順を示すフローチャートである。
【図１２４】最終指示位置数変化に基づく指示解釈処理の手順を示すフローチャートである。
【図１２５】直前の操作に対するキャンセル指示として解釈される場合の操作例を示す図である。
【図１２６】直前の操作に対するキャンセル指示として解釈される場合の操作のデータ例を示す図である。
【図１２７】指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである。
【図１２８】指示軌跡以外の指示情報を用いた処理の手順を示すフローチャートである
【図１２９】全指示位置数を用いた処理の手順を示すフローチャートである。
【図１３０】指示位置数を用いた指示解釈処理の手順を示すフローチャートである。
【図１３１】ページめくり操作として解釈される操作例を示す図である。
【図１３２】ページめくり操作として解釈されるデータ例を示す図である。
【図１３３】指示軌跡以外の指示情報として指示位置移動速度を取得する処理の手順を示すフローチャートである。
【図１３４】指示位置移動速度取得処理の手順を示すフローチャートである。
【図１３５】指示位置移動速度に基づく指示解釈処理の手順を示すフローチャートである。
【図１３６】指示位置移動速度を用いてページめくり操作として解釈される場合の操作例を示す図である。
【図１３７】指示位置移動速度を用いてページめくり操作として解釈される場合のデータ例を示す図である。
【図１３８】指示軌跡以外の指示情報として指示位置接触圧力を用いた処理の手順を示すフローチャートである。
【図１３９】指示位置接触圧力に基づく指示解釈処理の手順を示すフローチャートである。
【図１４０】指示位置接触圧力により画面移動操作として解釈される操作例を示す図である。
【図１４１】指示位置接触圧力により画面移動操作として解釈されるデータ例を示す図である。
【図１４２】複数指示位置の移動距離を用いた処理の手順を示すフローチャートである。
【図１４３】複数指示位置の移動距離に基づく指示解釈処理の手順を示すフローチャートである。
【図１４４】複数指示位置の移動距離を用いたページめくり操作として解釈される場合の操作例を示す図である。
【図１４５】複数指示位置の移動距離を用いたページめくり操作として解釈される場合のデータ例を示す図である。
【図１４６】複数指示位置の不動時間に着目した場合の処理の手順を示すフローチャートである。
【図１４７】範囲指定操作として解釈される場合の操作例を示す図である。
【図１４８】範囲指定操作として解釈される場合のデータ例を示す図である。
【図１４９】指定範囲に対する拡大操作として解釈される操作例を示す図である。
【図１５０】指定範囲に対する拡大操作として解釈されるデータ例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a position information processing apparatus, a method thereof, and a program thereof for detecting a coordinate position and its trajectory input with a finger, a pen, an indicator stick, or the like. Further, the present invention relates to an operating device, a method thereof, and a program thereof for performing an operation by interpreting a user instruction represented by a trajectory.
[0002]
[Prior art]
Conventionally, for example, the position coordinates of a plurality of contact points can be detected in an operation on a touch panel.
[0003]
[Problems to be solved by the invention]
However, the conventional apparatus detects another input as unknown input data for a fixed point, and cannot detect the trajectories of two or more designated positions that move simultaneously. It was.
[0004]
Therefore, it is impossible to interpret an instruction expressed by a combination of the trajectories of a plurality of instruction positions that move at the same time.
[0005]
The present invention has been made to solve the above-described problem, and an object of the present invention is to provide a position information processing apparatus and method capable of detecting the locus of two or more designated positions that move simultaneously. .
[0006]
Another object of the present invention is to provide an operation device and method capable of interpreting a user instruction expressed by a combination of trajectories of two or more designated positions and executing the designated operation. .
[0007]
[Means for Solving the Problems]
According to one aspect of the present invention, in the position information processing apparatus, the indicated position detecting means capable of simultaneously detecting a plurality of indicated positions, and the indicated area capable of detecting the area of the indicated position detected by the indicated position detecting means. Detection means; Storage means for storing a combination of designated positions and designated position areas detected by the designated position detecting means and the designated area detecting means; Based on the plurality of designated positions detected immediately before by the designated position detecting means and the current designated positions detected by the designated position detecting means, the locus of movement of the designated positions is identified. A moving locus identifying means for detecting, with respect to each of the current plurality of designated positions, an area of the designated position detected by the designated area detecting means and a detection by the designated area detecting means. The locus of movement of the plurality of places is identified with the designated position of the closest area among the designated positions of the immediately preceding designated positions as the designated position immediately before the current designated position. Then, the indication position and the indication area are stored in the storage means in association with the indication position and the indication area of the immediately preceding plurality of places stored in the storage means for each of the current indication positions of the plurality of places. .
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
[0014]
FIG. 1 is a block diagram illustrating a hardware configuration of the information processing apparatus according to the present embodiment.
[0015]
In the figure, an input unit 1 is a touch panel or the like for inputting information according to a designated position. The CPU 2 performs calculations for various processes, logical judgments, and the like, and controls each component connected to the bus 6. The output unit 3 is a display for displaying information, a printer for printing information, a modem for transmitting information, and the like.
[0016]
The program memory 4 is a memory for storing a program for control by the CPU 2 including processing procedures to be described later with reference to the flowchart. The program memory 4 may be a ROM or a RAM in which a program is loaded from an external storage device or the like.
[0017]
The data memory 5 stores data generated by various processes, and stores knowledge in the knowledge base described later. The data memory 5 may be a RAM, for example, but knowledge based knowledge is loaded from a nonvolatile external storage medium prior to processing or is referred to whenever necessary.
[0018]
The bus 6 transfers an address signal indicating a component to be controlled by the CPU 2, a control signal for controlling each component, and data exchanged between the components.
[0019]
[Embodiment 1]
FIG. 2 is a diagram illustrating an example of position input by a finger using a touch panel. As shown in the figure, the relationship between the two points is acquired and the input is understood from the trajectory from the start point to the end point of each of the two points A and B in contact with the finger.
[0020]
As in Example 1 (parallel direction), the distance between points does not change and the trajectory may be parallel. As an example of such input, a parallel movement of an object can be considered.
[0021]
As in Example 2 (inward direction), the locus of each point may be directed to the other point. Examples of such input include reduction or minimization of an object.
[0022]
Conversely, as in Example 3 (outward direction), the locus of each point may move away from the other. As an example of such input, enlargement or maximization of an object can be considered.
[0023]
FIG. 3 is a diagram illustrating an example of position input by a finger using a photographing apparatus such as a camera. Here, instead of directly touching the touch panel and giving an instruction, the fingertip is moved within the effective area 302 of the camera 301 as indicated by 303 and 304, thereby recognizing the picked-up instruction point (fingertip) position. The indicated position is detected.
[0024]
FIG. 4 is a flowchart showing a processing procedure using the locus of the designated position. In the figure, when an input is detected in step S401, if the end is not detected in the next step S402, the process proceeds to step S403, and the locus detection process is activated. Subsequently, in step S404, processing corresponding to the detected locus as input information is started.
[0025]
FIG. 5 is a flowchart showing the procedure of the locus detection process in step S403. In step S501, the designated position detection process is executed, and the coordinate data of the current designated position is acquired. Next, a combination specifying process is executed in step S502, and a combination of each current indicated position and the immediately preceding indicated position closest to each is specified. In the subsequent step S503, the designated position storage process is executed, and the current designated position is stored in the optimum designated position data table (the same table as the nearest previous position).
[0026]
FIG. 6 is a flowchart showing the procedure of the combination specifying process in step S502. In the figure, in step S601, a process for determining the distance between one of the current designated positions and the previous designated position is started. In the next step S602, the designated position immediately before the current designated position and the shortest distance. Specify the combination. In subsequent step S603, if there is a corresponding combination, the process proceeds to step S604, and the current designated position is added to the same table as the designated position immediately before the combination. This is repeated until there is no corresponding combination in step S603.
[0027]
FIG. 7 is a diagram illustrating an example of designated position data stored by the locus detection process. In the figure, the XY coordinate of the point At1 at time t1 is (3, 3) as shown in the graph 7001, and the XY coordinate of the point At5 at time t5 is (7, 5), corresponding to t1 to t5 during this time The coordinate data of points A and B are stored in tables 702 and 703, respectively.
[0028]
FIG. 8 is a diagram illustrating an example of the current designated position data acquired by the locus detection process. In the same figure, as shown in the graph 801, at the current time t6, there are a point a having the XY coordinates (8, 6) and a point b having the XY coordinates (8, 8) as designated positions. The acquired current (t6) position data is stored in the table 802.
[0029]
FIG. 9 is a diagram illustrating a flow of data used in the locus detection process for a plurality of designated positions. In the figure, a point a (8, 6) and a point b (8, 8) are acquired as the current indicated position data in the table 901. For each point that is the designated position, the distance to each previous designated position is acquired. In this case, for example, the distance 1.414 from the point a to the previous designated position At5 and the distance 4.123 from the previous designated position Bt5 are acquired.
[0030]
As a result, the point a is stored in the same table 903 as the designated position At5 immediately before the closest distance. Similarly, the point b is stored in the same table 904 as the previous designated position Bt5.
[0031]
FIG. 10 is a flowchart illustrating a procedure of trajectory detection processing using the size of the designated area. In the above-described example, the trajectory is obtained by assuming that each current designated position corresponds to the closest position among a plurality of immediately preceding designated positions, but here, each current designated position is a plurality of immediately preceding designated positions. The locus is obtained assuming that the designated area (for example, the contact area of the finger on the touch panel) corresponds to the nearest position among the designated positions.
[0032]
In the figure, the designated area detection process is activated in step S1001, and the current designated area is acquired. In step S1002, a combination specifying process is started, and a combination with the immediately preceding designated area closest to the current designated area is identified from the difference from the immediately preceding designated area. Subsequently, in step S1003, the designated area storage process is activated, and the current designated area data is stored in an optimum table (a table in which the designated area immediately before the current designated area is stored).
[0033]
FIG. 11 is a flowchart showing the procedure of the combination specifying process using the size of the designated area in step S1002. In the figure, in step S1101, a process for calculating the difference between the area of the current designated position and the area of each previous designated position is activated, and in the next step S1102, the instruction immediately before the current designated position closest to the area is started. Specify the combination with the position. If there is a corresponding combination in the subsequent step S1103, the process proceeds to step S1104, where the current designated position and designated area are added to the table of the designated position and designated area immediately before the closest area. This is repeated until there is no corresponding combination in step S1103.
[0034]
FIG. 12 is a diagram illustrating an example of the area of the current designated position acquired. In the graph 1201, the current designated position is at the point a (8, 6), and an enlarged view 1202 shows the touching state of the touch panel when the point a is designated. As a result, the area of the designated position is obtained.
[0035]
FIG. 13 is a diagram illustrating an example of the area data of the indicated position that is stored. In the same figure, as indicated by the graph 1301, the XY coordinate of the designated position point At1 at time t1 is (3, 3), the XY coordinate of the designated position point Bt1 is (12, 14), and the designated position point At5 at time t5 The XY coordinates of (7, 5) are XY coordinates of the designated position point Bt5 (8, 8). Furthermore, at the current time t6, there are a designated area 1 including the point a (8, 6) and a designated area 2 including the point b (8, 8) as the current designated area.
[0036]
In the table 1302, the area of the point A at time t1 is 12.5, and subsequently, area data of the point A corresponding to the time t2 to t5 is stored. Similarly, the area data of point B at each time is stored in the table 1303. Furthermore, the area data 11.5 including the point a and the area data 20.0 including the point b are stored in the table 1304 as the acquired instruction area data at the current time t6.
[0037]
FIG. 14 is a diagram illustrating a flow of data used in the trajectory acquisition process using the size of the designated area. In the same figure, an area 11.5 including the point a (8, 6) and an area 20.0 including the point b (8, 8) are acquired as the current indicated area data in the table 1401, and the current indicated position is obtained. The difference between each area data and the area data at each immediately preceding designated position is acquired in the table 1402. Here, with respect to the designated area 11.5 including the point a, a difference 0.5 from the previous designated area A and a difference 9.0 from the previous designated area B are acquired.
[0038]
As a result, the designated area data 11.5 including the point a is stored in the same table 1403 as the designated area A immediately before the smallest difference. Similarly, the designated area data including the point b is stored in the same table 1404 as the designated area B immediately before.
[0039]
[Embodiment 2]
In the present embodiment, a process for interpreting an operation to be performed based on a combination of movement trajectories of two or more designated positions acquired will be specifically described.
[0040]
FIG. 15 is a flowchart showing an operation procedure using a trajectory of a plurality of designated positions. In the figure, when an input is detected in step S1501, if the end is not detected in the next step S1502, the process proceeds to step S1503, and the movement locus detection process is activated. Next, in step S1504, instruction interpretation processing is activated, and in step S1505, processing corresponding to the instruction is activated.
[0041]
FIG. 16 is a flowchart showing a procedure of instruction interpretation processing in step S1504. In the figure, in step S1601, the distance measurement process between designated positions is started, and the distance between the current designated positions is measured. Next, proceeding to step S1602, the process for acquiring the distance change between the designated positions is activated, and the change in the distance between the designated positions is obtained. Subsequently, in step S1603, an instruction interpretation process based on the distance change is activated to interpret an operation to be performed in accordance with the acquired distance change.
[0042]
FIG. 17 is a flowchart showing the procedure for acquiring the change in distance between the designated positions in step S1602. In the figure, the distance between the designated positions at the start of movement is measured in step S1701, and then the distance between the designated positions at the end of movement is measured in step S1702. Next, proceeding to step S1703, the difference between the distance between the designated positions at the start of movement and the distance between the designated positions at the end of movement is acquired.
[0043]
FIG. 18 is a flowchart showing the procedure of the instruction interpretation process based on the distance change in step S1603. In the figure, if the amount of change is smaller than 0 in step S1801, it is interpreted as a reduction operation (step S1802). Similarly, when the change amount is larger than 0, it is interpreted as an enlargement operation (step S1803), and when the change amount is equal to 0, it is interpreted as other than the reduction or enlargement operation (step S1804).
[0044]
FIG. 19 is a flowchart showing another procedure of the instruction interpretation process based on the distance change. In the figure, in step S1901, the operation magnification is acquired from the distance change acquired by the distance change acquisition process between the designated positions. Next, the change rate is acquired in s1902, and then the actual magnification is acquired from the operation magnification and the change rate data in step S1903.
[0045]
Formula: Actual magnification = 100-(100-Operation magnification X) x Change rate α
FIG. 20 is a diagram illustrating an operation example that is interpreted as a reduction operation. In the figure, when the designated position points A and B at the start of movement t1 change to designated position points A 'and B' at the end of movement t5, it is interpreted as a reduction operation.
[0046]
FIG. 21 is a diagram illustrating an example of data interpreted as a reduction operation. In the figure, the XY coordinates of each indicated position on the graph 2101 are the point At1 (3,3) and the point Bt1 (12,10) at the start of movement t1, the point At5 (7,5) and the point at the end of movement t5. Bt5 (8,6). At this time, as shown in the table 2102, the distance between the designated positions A and B is 15.000 at the start of movement t1 and 1.118 at the end of movement t6. Between the designated positions between the start of movement t1 and the end of movement t5 The amount of change in the distance is -13.882. Further, the magnification of the change in distance between the designated positions between the movement start time t1 and the movement end time t5 is 7%.
[0047]
FIG. 22 is a diagram illustrating an operation example that is interpreted as an enlargement operation. In the figure, when the designated position point A and point B at the start of movement t1 change to the designated position point A 'and point B' at the end of movement t5, it is interpreted as an enlargement operation.
[0048]
FIG. 23 is a diagram illustrating an example of data interpreted as an enlargement operation. In the same figure, as indicated by graph 2301, the XY coordinates of each indicated position are point At1 (7,5), point Bt1 (8,6) at the start of movement t1, and point At5 (3,3) at the end of movement t5. , Point Bt5 (12, 10). At this time, as shown in the table 2302, the distance between the designated positions A and B is 1.118 at the start of movement t1 and 11.402 at the end of movement t6. Between the designated positions between the start of movement t1 and the end of movement t5 The amount of change in the distance is +13.586. Further, the magnification of the change in distance between the designated positions between the movement start time t1 and the movement end time t5 is 1020%.
[0049]
[Embodiment 3]
In the present embodiment, when an operation to be performed is interpreted from a combination of acquired movement loci of two or more designated positions, an angle between a line connecting the two designated positions and a reference line (hereinafter, simply referred to as “the operation path to be performed”). An example focusing on the change in the designated position angle will be described in detail.
[0050]
FIG. 24 is a diagram illustrating a flow of instruction interpretation processing using an angle change of the designated position. In the same figure, in step S2401, the angle measurement process of the designated position is started, and the angle of the designated position is measured at each time point. Next, proceeding to step S2402, the designated position angle change acquisition process is activated to obtain a change in the angle of the line connecting the designated positions. Subsequently, in step S2403, an instruction interpretation process based on the angle change is activated to interpret an operation to be performed according to the acquired angle change.
[0051]
FIG. 25 is a flowchart illustrating the procedure of the measurement process of the change in the angle of the designated position. In the figure, the angle of the line connecting the designated positions at the start of movement is measured in step S2501, and then the angle of the line connecting the designated positions at the end of movement is measured in step S2502. Next, proceeding to step S2503, the difference between the angle of the line connecting the designated positions at the start of movement and the angle of the line connecting the designated positions at the end of movement is acquired.
[0052]
FIG. 26 is a flowchart illustrating a procedure of instruction interpretation processing based on an angle change. In the figure, if the amount of change is greater than 0 ° in step S2601, it is interpreted as a left rotation operation (step S2602). Similarly, when the change amount is smaller than 0 °, it is interpreted as a right rotation operation (step S2603), and when the change amount is equal to 0 °, it is interpreted as other than the rotation operation (step S2604).
[0053]
FIG. 27 is a diagram illustrating an operation example that is interpreted as a clockwise rotation operation. In the figure, when the designated position point A and point B at the start of movement t1 change to the designated position point A 'and point B' at the end of movement t5, it is interpreted as a clockwise rotation operation.
[0054]
FIG. 28 is a diagram illustrating a data example that is interpreted as a right rotation operation among the angle of the line connecting the designated positions and the change data thereof. In the same figure, as shown in the graph 2801, the angle between the designated positions AB is 60 degrees with respect to the X axis at the movement start time t1, and is 26 degrees at the movement end time t5. At this time, as shown in the table 2802, the change amount of the angle between the designated positions between the movement start time t1 and the movement end time t5 is −34 °.
[0055]
FIG. 29 is a diagram illustrating an operation example interpreted as a left rotation operation. When the designated position point A and point B at the start of movement t1 change to the designated position point A 'and point B' at the end of movement t5, it is interpreted as a left rotation operation.
[0056]
FIG. 30 is a diagram illustrating an example of data interpreted as a left rotation operation among the data indicating the angle of the line connecting the designated positions and the change thereof. In the drawing, as shown in the graph 3001, the angle between the designated positions AB is 60 degrees with respect to the X axis at the movement start time t1, and is 87 degrees at the movement end time t5. At this time, as in the table 3002, the change amount of the angle between the designated positions between the movement start time t1 and the movement end time t5 is + 27 °.
[0057]
[Embodiment 4]
In the present embodiment, an example in which attention is paid to a change in the relationship between the fixed instruction position and the movement instruction position when interpreting an operation to be performed from a combination of movement trajectories of two or more acquired instruction positions will be specifically described. To do.
[0058]
FIG. 31 is a flowchart illustrating a procedure of instruction interpretation processing using the relationship between the fixed instruction position and the movement instruction position. In the figure, a fixed instruction position detection process is activated in step S3101, and a fixed instruction position is detected. Next, proceeding to step S3102, instruction interpretation processing based on the fixed instruction position is activated to interpret the operation to be performed.
[0059]
FIG. 32 is a flowchart showing the procedure of the fixed instruction position detection process in step S3101. In the figure, when the fixed designated position detection process is activated, the designated position at time t is detected in step S3201, and if position data exists in the subsequent step S3202, the process proceeds to the next step S3203, where the designated position is detected. Compare with the initial value. As a result, if the position data does not match, it is determined in step S3204 that the indicated position has moved. If the position data match, the process proceeds to step S3205, advances the time t, and repeats from step S3201. If position data does not exist in step S3202, it is determined in step S3206 that the designated position is fixed, and the fixed designated position is detected.
[0060]
FIG. 33 is a flowchart illustrating a procedure of instruction interpretation processing based on the moving direction. In the figure, in step S3301, designated position movement direction determination processing is activated, and the movement direction of the movement designated position is determined. In step S3302, the instruction operation is interpreted based on the determined moving direction.
[0061]
If the moving direction is up, the process proceeds to Step 3303 and is interpreted as the next item operation. In addition to this, there are cases where it is interpreted as a next page operation, a next screen operation, a last line operation, an upper screen moving operation, an enlargement operation only in the vertical direction, or a reduction operation only in the vertical direction. If the movement direction is down, the process proceeds to step 3304 and is interpreted as a previous item operation. In addition to this, there are cases where it is interpreted as a previous page operation, a previous screen operation, a first line operation, a lower screen moving operation, an enlargement operation only in the vertical direction, or a reduction operation only in the vertical direction.
[0062]
If the moving direction is left, the process proceeds to step 3305 and is interpreted as a next item operation. In addition to this, there are cases where it is interpreted as the next page operation, the next screen operation, the last line operation, the left screen movement operation, the enlargement operation only in the left-right direction, or the reduction operation only in the left-right direction. If the movement direction is right, the process proceeds to step 3306 and is interpreted as a previous item operation. In addition to this, there are cases where it is interpreted as a previous page operation, a previous screen operation, a first line operation, a right screen movement operation, an enlargement operation only in the horizontal direction, or a reduction operation only in the horizontal direction.
[0063]
FIG. 34 is a flowchart showing the procedure of the designated position movement direction determination process in step S3301. In the figure, the movement amount of the designated position is acquired in step S3401, and in the next step S3402, the movement direction is determined from the current coordinates of the movement designated position. At that time, the arctangent of the current coordinates (X, Y) of the movement instruction position is obtained, and the unit is converted from radians to degrees.
[0064]
FIG. 35 is a diagram illustrating the interpretation of the angles used in the designated position movement direction determination process. In the same figure, as indicated by 3501, 360 ° is divided into a Y-axis positive direction of 0 ° to 180 ° and a Y-axis negative direction of −1 ° to −179 ° with reference to the X axis.
[0065]
According to this, ± 35 ° (-35 ° to 35 °) is interpreted as the right direction with 0 ° as the center, ± 35 ° (65 ° to 135 °) is interpreted as the upward direction with 90 ° as the center, and 180 ° ± 35 ° (155 ° to 180 ° and -179 ° to -145 °) as the left direction with the center as the center, and ± 35 ° (-65 ° to -135 °) as the bottom direction from the center as -90 ° Interpret. Further, the range of ± 10 ° centered at 45 °, 135 °, -135 °, and -45 ° is interpreted as other operations.
[0066]
FIG. 36 is a diagram illustrating an operation example interpreted as a left movement operation. In the figure, when the fixed instruction position point A is fixed and the movement instruction position point B moves from Bt1 to point Bt5, it is interpreted as a left movement operation.
[0067]
FIG. 37 is a diagram illustrating an example of data interpreted as a left movement operation. In the same figure, the coordinates of the fixed designated position are point A (3, 3) as shown in graph 3701. The coordinates of the movement designated position are point Bt1 (6, 3) at the start of movement t1 and point at the end of movement t5. Bt5 (4,2). A table 3702 shows position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. 3703 indicates designated position movement data. The movement amount of the designated position at the end of movement t5 is 0 at the fixed designated position point A, 2.236 at the designated movement position point B, and the moving direction is −153.43 °. is there.
[0068]
FIG. 38 is a diagram illustrating an operation example that is interpreted as an upward movement operation. In the figure, when the fixed instruction position point A is fixed and the movement instruction position point B moves from Bt1 to point Bt5, it is interpreted as an upward movement operation.
[0069]
FIG. 39 is a diagram illustrating an example of data when interpreted as an upward movement operation. In the same figure, the coordinates of the fixed designated position are point A (6, 6) as shown in graph 3901. The coordinates of the movement designated position are point Bt1 (5, 1) at the start of movement t1 and point at the end of movement t5. Bt5 (7,4). The table 3902 shows position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. Table 3903 shows the designated position movement data. The movement amount of the designated position at the end of movement t5 is 0 at the fixed designated position point A, 3.606 at the designated movement position point B, and the moving direction is 56.31 °. is there.
[0070]
FIG. 40 is a diagram illustrating an operation example that is interpreted as a downward movement operation. In the figure, when the fixed instruction position point A is fixed and the movement instruction position point B moves from Bt1 to point Bt5, it is interpreted as a downward movement operation.
[0071]
FIG. 41 is a diagram illustrating an example of data interpreted as a downward movement operation. In the same figure, the coordinates of the fixed designated position are point A (3, 3) as shown in graph 4101. The coordinates of the movement designated position are point Bt1 (5, 8) at the start of movement t1 and point at the end of movement t5. Bt5 (5,5). A table 4102 shows position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. The table 4103 shows the designated position movement data. The movement amount of the designated position at the time t5 at the end of movement is 0 for the fixed designated position point A, 3.000 for the designated movement position point B, and the moving direction is -90 °.
[0072]
FIG. 42 is a diagram illustrating an operation example that is interpreted as a right movement operation. In the figure, when the fixed instruction position A is fixed and the movement instruction position point B moves from Bt1 to Bt5 like 4201, it is interpreted as a right movement operation.
[0073]
FIG. 43 is a diagram illustrating an example of data interpreted as a right movement operation. In the same figure, the coordinates of the fixed instruction position are point A (6, 6) as shown in graph 4301. The coordinates of the movement instruction position are points Bt1 (2, 6) at the start of movement t1 and points at the end of movement t5. Bt5 (5,5). A table 4302 shows position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. Table 4303 shows the designated position movement data. The movement amount of the designated position at the end of movement t5 is 0 at the fixed designated position point A, 3.162 at the designated movement position point B, and the moving direction is -18.43 °. It is.
[0074]
[Embodiment 5]
In this embodiment, an example in which attention is paid to a change in distance between a fixed instruction position and a movement instruction position when an operation to be performed from a combination of movement trajectories of two or more acquired instruction positions is interpreted will be specifically described. .
[0075]
FIG. 44 is a flowchart showing a procedure of instruction interpretation processing using a change in distance between the fixed instruction position and the movement instruction position. In the same figure, when the instruction interpretation process is activated, the distance measurement process between designated positions is activated in step S4401, and the distance at each time point between the fixed designated position and the movement designated position is measured. Next, proceeding to step S4402, the distance change between the designated positions is obtained by the distance change obtaining process between designated positions. In the following step S4403, an instruction interpretation process based on the change in the indicated position distance is activated, and an operation to be performed is interpreted in response to the obtained change in the distance between the indicated positions.
[0076]
FIG. 45 is a flowchart showing a procedure of instruction interpretation processing based on a change in distance between designated positions in step S4403. In the figure, the amount of change is determined in step S4501, and when the amount of change is decreasing, it is interpreted as a reduction operation (step S4502), and when the amount of change is increasing, it is interpreted as an enlargement operation (step S4503).
[0077]
FIG. 46 is a diagram illustrating an operation example that is interpreted as a reduction operation. In the figure, when the fixed instruction position (point A) is fixed and the movement instruction position (point B) moves from point Bt1 to point Bt5 in the direction of the fixed instruction position (point A), the reduction operation is performed. It is interpreted as
[0078]
FIG. 47 is a diagram illustrating an example of data when interpreted as a reduction operation. In the same figure, the coordinates of the fixed designated position are point A (3, 3) as shown in graph 4701. The coordinates of the movement designated position are point Bt1 (6, 3) at the start of movement t1 and point at the end of movement t5. Bt5 (4,2). A table 4702 shows position data of the fixed instruction position point A and the movement instruction position point B from time t1 to time t5. A table 4703 shows distance change data between designated positions. The distance between designated positions AB at the start of movement t1 is 3.000, and the distance between designated positions AB at the end of movement t5 is 1.414. The magnification of the distance between positions AB from t1 to t5 is 47%.
[0079]
FIG. 48 is a diagram illustrating an operation example that is interpreted as an enlargement operation. In the figure, when the fixed instruction position point A is fixed and the movement instruction position point B moves from Bt1 to the point Bt5 in the opposite direction to the fixed instruction position point A, it is interpreted as an enlargement operation. The
[0080]
FIG. 49 is a diagram illustrating an example of data when interpreted as a reduction operation. In the same figure, the coordinates of the fixed indication position are point A (3, 3) as shown in graph 4901. The coordinates of the movement indication position are point Bt1 (4, 2) at the start of movement t1 and point at the end of movement t5. Bt5 (6,3). A table 4902 shows position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. Table 4903 shows distance change data between the fixed designated positions, the distance between the designated positions AB at the start of movement t1 is 1.414, and the distance between the designated positions AB at the end of movement t3 is 3.000. The magnification of the distance between the pointing positions AB from t1 to t5 is 212%.
[0081]
FIG. 50 is a diagram illustrating an operation example that is interpreted as a reduction operation centered on the fixed instruction position. In the figure, the fixed instruction position point A is fixed, and there is a movement instruction position 1 point Bt1 and a movement instruction position 2 points Ct1 as in 5001, and toward the direction of the fixed instruction position point A as in 5002. When the movement instruction position 1 point Bt1 moves to Bt5 and the movement instruction position 2 point Ct1 moves to point Ct5, it is interpreted as a reduction operation in the direction of the fixed instruction position point A, respectively.
[0082]
FIG. 51 is a diagram illustrating an example of data when interpreted as a reduction operation centered on the fixed instruction position. In the same figure, the coordinate of the fixed designated position is the point A (3, 3) as in the graph 5101, and the coordinate of the point B which is the movement designated position 1 is the point Bt1 (4, 8) at the start of movement t1, the movement At the end t5, the point Bt5 (5,5) is the point C. The coordinates of the point C as the movement instruction position 2 are the point Ct1 (2,2) at the start of movement t1, and the point Ct5 (4,3.5) at the end of movement t5. It is. A table 5102 shows position data of the fixed instruction position point A, the movement instruction position 1 point B, and the movement instruction position 2 points C from t1 to t5.
[0083]
The table 5103 shows distance change data between the fixed indication positions. In the indication position distance change data 1, the distance between the indication positions AB at the start of movement t1 is 5.099, and the indication position at the end of movement t5. The distance between AB is 2.828, and the magnification of the distance between the indicated positions AB from t1 to t5 is 55%. Further, in the distance change data 2 between the designated positions, the distance between the designated positions AC at the start of movement t1 is 1.414, the distance between the designated positions AC at the end of movement t5 is 1.118, and the distance between the designated positions AC The magnification from t1 to t5 is 79%.
[0084]
[Embodiment 6]
In the present embodiment, when interpreting an operation to be performed from a combination of movement trajectories of two or more designated positions acquired, an example focusing on the presence of a fixed designated position and a change in distance between other movement designated positions This will be specifically described.
[0085]
FIG. 52 is a flowchart illustrating a procedure of processing using the distance between the movement instruction positions. In the figure, when the fixed instruction position corresponding instruction interpretation process is activated, the movement instruction position distance measurement process is activated in step S5201, and the distance between the current movement instruction positions is measured. Next, proceeding to step S5202, the movement instruction position distance change acquisition process is activated to acquire the acquired distance change amount. Subsequently, in step S5203, an instruction interpretation process based on a change in the distance between the movement instruction positions is started, and an operation to be performed is interpreted based on the obtained change amount of the distance between the movement instruction positions.
[0086]
FIG. 53 is a flowchart illustrating a procedure of instruction interpretation processing based on a change in distance between movement instruction positions. In the figure, if there is a fixed instruction position in step S5301, the process proceeds to step S5302, and if the change amount is smaller than 0, it is interpreted as a reduction operation for the fixed instruction position in step S5303. If the amount of change is greater than 0, it is interpreted as an enlargement operation for the fixed designated position in step S5304. If the amount of change is equal to 0, it is interpreted as other than a reduction or enlargement operation in step S5305. If the presence of the fixed instruction position is not confirmed in step S5301, the process proceeds to step S5306 and is interpreted as an operation for the whole.
[0087]
FIG. 54 is a diagram illustrating an operation example that is interpreted as a reduction operation centered on the fixed instruction position. In the figure, the fixed instruction position point A is fixed, and there are two movement instruction position points Bt1 and a movement instruction position point Ct1, and these move instruction position points Bt1 are in the direction of the fixed instruction position point A. When the movement instruction position point Ct1 moves to the point Ct5 to Bt5, it is interpreted as a reduction operation centered on the fixed instruction position point A according to the amount of change in the distance between the movement instruction positions.
[0088]
FIG. 55 is a diagram illustrating an example of data when interpreted as a reduction operation centered on the fixed instruction position. In the same figure, the coordinate of the fixed designated position is point A (3, 3) as in graph 5501, the coordinate of the movement designated position point B is point Bt1 (4, 8) at the start of movement t1, and t5 at the end of movement. Is the point Bt5 (5, 5), and the coordinates of the movement instruction position point C are the point Ct1 (3, 2) at the start of movement t1, and the point Ct5 (4, 2.8) at the end of movement t5.
[0089]
A table 5502 shows position data of the fixed instruction position point A, the movement instruction position point B, and the movement instruction position point C from t1 to t5. The table 5503 shows the distance change data between the movement instruction positions. In the distance change data between the instruction positions, the distance between the instruction positions BC at the start of movement t1 is 6.083, and the instruction position BC at the end of movement t5. The distance between them is 2.417, and the amount of change of the distance between the designated positions BC from t1 to t5 is 40%.
[0090]
FIG. 56 is a diagram illustrating an operation example that is interpreted as an enlargement operation centered on the fixed instruction position. In the figure, the fixed instruction position point A is fixed, and there are a movement instruction position 1 point Bt1 and a movement instruction position 2 points Ct1, and these move toward the fixed instruction position point A and move instruction position 1 point Bt1. Is moved to Bt5 and the movement instruction position 2 point Ct1 is moved to point Ct5, it is interpreted as an enlargement operation centered on the fixed instruction position point A according to the ratio of the distance between the movement instruction positions.
[0091]
FIG. 57 is a diagram illustrating an example of data when interpreted as an enlargement operation centered on the fixed instruction position. In the same figure, the coordinate of the fixed designated position is the point A (3, 3) as in the graph 5701, and the coordinate of the point B which is the movement designated position 1 is the point Bt1 (5, 5) at the start of movement t1, the movement At the end time t5, the point Bt5 (4, 8) is the point C. The coordinates of the point C which is the movement instruction position 2 are the point Ct1 (4, 2.8) at the movement start time t1, and the point Ct5 (2, 2) at the movement end t5 It is.
[0092]
A table 5702 shows position data of the fixed instruction position point A, the movement instruction position 1 point B, and the movement instruction position 2 points C from t1 to t5. The table 5703 shows distance change data between movement instruction positions. In the distance change data 1 between instruction positions, the distance between the instruction positions BC at the start of movement t1 is 2.417, and the instruction position at the end of movement t5. The distance between BC is 6.325, and the amount of change from t1 to t5 of the distance between the designated positions BC is 262%.
[0093]
FIG. 58 is a diagram illustrating an operation example that is interpreted as a plurality of movement instruction operations centered on the fixed instruction position. In the figure, the fixed instruction position point A is fixed, and there are a movement instruction position 1 point Bt1, a movement instruction position 2 points Ct1, and a movement instruction position 3 points Dt1 as in 5801, and a fixed instruction position as 5802. In the direction of point A, if the movement instruction position 1 point Bt1 moves to Bt5, the movement instruction position 2 point Ct1 moves to point Ct5, and the movement instruction position 3 point Dt1 moves to point Dt5, the distance between the movement instruction positions Is interpreted as a plurality of movement instruction operations centered on the fixed instruction position point A.
[0094]
FIG. 59 is a diagram illustrating an example of data when interpreted as a plurality of movement instruction operations centered on the fixed instruction position. In the same figure, the coordinate of the fixed designated position is point A (3, 3) as shown in graph 5901, and the coordinate of point B, which is the movement designated position 1, is point Bt1 (5, 5) and moved at the start of movement t1. At the end time t5, the point Bt5 (4, 8) is the point C. The coordinates of the point C which is the movement instruction position 2 are the point Ct1 (4, 3.5) at the movement start time t1, and the point Ct5 (2, 2) at the movement end t5. The coordinates of the point D which is the movement instruction position 3 are the point Dt1 (5.5, 4.5) at the start of movement t1 and the point Dt5 (6, 9) at the end of movement t5.
[0095]
A table 5902 shows position data of the fixed instruction position point A, the three movement instruction position points B, the movement instruction position point C, and the movement instruction position point D from t1 to t5. The table 5903 shows the distance change data between the movement instruction positions. In the distance change data 1 between the instruction position, the distance between the instruction positions BC at the start of movement t1 is 1.803, and the instruction position at the end of movement t5. The distance between BCs is 6.325, and the amount of change in the distance between the designated positions BC from t1 to t5 is 352%. In the distance change data 2 between designated positions, the distance between the designated positions BD at the start of movement t1 is 0.707, the distance between the designated positions BD at the end of movement t5 is 2.236, and from the distance t1 between the designated positions BC The amount of change with respect to t5 is 316%. In the distance change data 3 between the designated positions, the distance between the designated positions CD at the start of movement t1 is 1.803, the distance between the designated positions CD at the end of movement t5 is 8.062, and the distance between the designated positions BC is t1. The amount of change with respect to t5 is 447%.
[0096]
[Embodiment 7]
In the present embodiment, when interpreting an operation to be performed from a combination of movement trajectories of two or more acquired instruction positions, an angle with respect to a horizontal direction of a line connecting the fixed instruction position and the movement instruction position (hereinafter referred to as an instruction position). An example focusing on the change in the angle (referred to as the angle between) will be described in detail.
[0097]
FIG. 60 is a flowchart illustrating a procedure of processing using an angle change between designated positions. In the figure, an angle measurement process between designated positions is started in step S6001, and an angle between designated positions is measured. Next, proceeding to step S6002, the fixed instruction position angle change acquisition process is activated, and the acquired change amount of the angle is acquired. Subsequently, in step S6003, an instruction interpretation process based on an angle change between the indicated positions is activated, and an operation to be performed is interpreted according to the acquired angle change.
[0098]
FIG. 61 is a flowchart showing the procedure of the instruction interpretation process based on the change in angle between the instruction positions. In the figure, if there is no fixed instruction position in step S6101, the process proceeds to step S6106 and is interpreted as an operation for the whole. If the fixed instruction position exists in step S6101, the process proceeds to step S6102, and if the change amount is smaller than 0 °, the process proceeds to step S6104, which is interpreted as a clockwise rotation operation centered on the fixed instruction position. If the amount of change is greater than 0 °, the process proceeds to step S6103, where it is interpreted as a left rotation operation centered on the fixed instruction position. If the amount of change is equal to 0 °, it is interpreted as a deformation operation in the rotation direction in a state other than the rotation operation or with the fixed instruction position fixed in step S6105.
[0099]
FIG. 62 is a diagram illustrating an operation example that is interpreted as a clockwise rotation operation. In the figure, the fixed instruction position point A is fixed, and since it has changed from the movement instruction position point Bt1 at the start of movement t1 to the movement instruction position point Bt5 at the end of movement, it is interpreted as a clockwise rotation operation. Is done.
[0100]
FIG. 63 is a diagram illustrating an example of data when interpreted as a right rotation operation. In the figure, the angle of the straight line connecting the fixed instruction position point A and the movement instruction position point B to the horizontal line as shown in the graph 6301 is 71.57 ° at the start of movement t1 and 18.43 ° at the end of movement t5. . Tables 6302A and B show position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. The table 6303 shows the angle change data between the designated positions. In the angle change data between the designated positions, the amount of change in the angle between the fixed designated positions at the end of movement t5 is −53.13 °.
[0101]
FIG. 64 is a diagram illustrating an operation example interpreted as a left rotation operation. In the same figure, if the fixed instruction position point A is fixed and changes from the movement instruction position point Bt1 at the start of movement t1 to the movement instruction position point Bt5 at the end of movement, it is interpreted as a left rotation operation. Is done.
[0102]
FIG. 65 is a diagram illustrating an example of data when interpreted as a left rotation operation. In the same figure, the angle of the movement instruction position point B with respect to the fixed instruction position point A is 71.57 ° at the movement start time t1 and 108.43 ° at the movement end time t5 as shown in the graph 6501. Tables 6502A and B show position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. Table 6503 shows angle change data between the fixed instruction positions. In the angle change data between the fixed instruction positions, the amount of change in the angle between the fixed instruction positions at the end of movement t5 is + 36.87 °.
[0103]
[Embodiment 8]
In this embodiment, when interpreting an operation to be performed from a combination of movement trajectories of two or more designated positions acquired, an angle of a line connecting the two movement designated positions with respect to a horizontal line (hereinafter referred to as an angle of the movement designated position). An example of paying attention to the change will be described in detail.
[0104]
FIG. 66 is a flowchart illustrating a procedure of processing using the change in the angle of the movement instruction position. In the figure, an angle measurement process of the movement instruction position is started in step S6601, and the angle of the instruction position other than the fixed instruction position is measured. Next, in step S6602, an angle change acquisition process for the movement instruction position is activated to acquire the angle change amount. Subsequently, in step S6603, an instruction interpretation process based on the angle change of the movement instruction position is started, and an operation to be performed is interpreted based on the acquired angle change.
[0105]
FIG. 67 is a flowchart showing the procedure of the instruction interpretation process based on the change in the angle of the movement instruction position. In the figure, if there is no fixed instruction position in step S6701, the process proceeds to step S6706 and is interpreted as an operation for the whole. If the fixed instruction position exists in step S6701, the amount of change is checked in step S6702. If the amount of change is smaller than 0 °, the process proceeds to step S6704, and is interpreted as a right rotation operation centered on the fixed instruction position. If the amount of change is greater than 0 °, the process proceeds to step S6703, where it is interpreted as a left rotation operation centered on the fixed instruction position. If the amount of change is equal to 0 °, the process proceeds to step S6705 and is interpreted as other than a rotation operation. Or it interprets as a deformation | transformation operation to the rotation direction centering on the gravity center of the movement instruction | indication position in the state which fixed the fixation instruction | indication position.
[0106]
FIG. 68 is a diagram illustrating an operation example that is interpreted as a clockwise rotation operation. In the figure, the fixed instruction position point A is fixed, and there is a movement instruction position 1 point Bt1 and a movement instruction position point Ct1, the movement instruction position 1 point Bt1 to Bt5, and the movement instruction position 2 point Ct1 to point Ct5. Is interpreted as a clockwise rotation operation.
[0107]
FIG. 69 is a diagram illustrating an example of data when interpreted as a right rotation operation. In the same figure, the coordinate of the fixed designated position is point A (3, 3) as in graph 6901, the coordinate of the movement designated position point B is point Bt1 (4, 6) at the start of movement t1, and t5 at the end of movement. Is the point Bt5 (6, 4), and the coordinates of the movement instruction position point C are the point Ct1 (2, 1) at the start of movement t1 and the point Ct5 (1, 2) at the end of movement t5. A table 6902 shows position data of the fixed instruction position point A, the movement instruction position 1 point B, and the movement instruction position 2 points C from t1 to t5. The table 6903 shows angle change data between movement instruction positions. In the movement instruction position angle change data, the angle between movement instruction positions is 68.20 ° at the start of movement t1 and 36.87 ° at the end of movement t5. The change amount of the angle between the movement instruction positions is −31.33 °.
[0108]
FIG. 70 is a diagram illustrating an operation example interpreted as a left rotation operation. In the figure, when the fixed instruction position point A is fixed, there are movement instruction position points Bt1 and Ct1, the movement instruction position point Bt1 moves to Bt5, and the movement instruction position point Ct1 moves to the point Ct5. Interpreted as an operation.
[0109]
FIG. 71 is a diagram illustrating an example of data when interpreted as a left rotation operation. In the same figure, the coordinate of the fixed designated position is point A (3, 3) as shown in graph 7101, the coordinate of point B which is the movement designated position is point Bt1 (4, 6) at the start of movement t1, and the movement is completed At the time t5, the point Bt5 (2, 5) is the point C, which is the movement instruction position, at the start point t1, the point Ct1 (2, 1), and at the end point t5, the point Ct5 (2.5, 2). . The table 7102 shows position data of the fixed instruction position point A and the movement instruction position points B and C from t1 to t5. Table 7103 shows the angle change data between the movement instruction positions. In the movement instruction position angle change data, the angle between movement instruction positions is 68.20 ° at the start of movement t1 and 99.46 ° at the end of movement t5. The change amount of the angle between the movement instruction positions is + 31.26 °.
[0110]
FIG. 72 is a diagram illustrating an operation example in which three movement instruction positions are interpreted as a rotation operation centered on the center of gravity. In the figure, the fixed instruction position point A is fixed, there are movement instruction position points Bt1, Ct1, and Dt1, the movement instruction position point Bt1 to Bt5, the movement instruction position point Ct1 to the point Ct5, and the movement instruction position point. When Dt1 moves to point Dt5, it is interpreted as a rotation operation centered on the center of gravity.
[0111]
FIG. 73 is a diagram illustrating an example of data when interpreted as a rotation operation centered on the center of gravity. In the same figure, the coordinate of the fixed instruction position is the point A (3, 3) as in the graph 7301, the coordinate of the point B which is the movement instruction position is the point Bt1 (5, 5) at the start of movement t1, and the movement is completed. At time t5, it is point Bt5 (4,8), and the coordinates of point C as the movement instruction position are point Ct1 (4,3.5) at the start of movement t1, and point Ct5 (2,2) at the end of movement t5. The coordinates of the point D as the movement instruction position are the point Dt1 (5.5, 4.5) at the start of movement t1 and the point Dt5 (6, 9) at the end of movement t5. A table 7302 shows position data of the fixed instruction position point A and the movement instruction position points B, C, and D from t1 to t5. Table 7303 shows distance change data between movement instruction positions. The distance between movement instruction positions BC is 1.803 at the start of movement t1 and 6.325 at the end of movement t5. The scaling factor is 351%. The distance between the movement instruction positions BD is 0.707 at the start of movement t1 and 2.236 at the movement end t5, and the scaling factor of the distance between the movement instruction positions is 316%. The distance between the movement instruction positions CD is 1.803 at the start of movement t1 and 8.062 at the end of movement t5, and the scaling factor of the distance between the movement instruction positions is 447%.
[0112]
[Embodiment 9]
In the present embodiment, an example in which attention is paid to the positional relationship between a plurality of designated positions when interpreting an operation to be performed from a combination of movement loci of two or more designated positions acquired will be specifically described.
[0113]
FIG. 74 is a flowchart showing a procedure of processing using the positional relationship between the designated positions. In the figure, in step S7401, the positional relationship determination process of the designated positions is started, and the positional relationship between the designated positions is determined. Next, proceeding to step S7402, an instruction interpretation process based on the positional relationship between the indicated positions is started, and an operation to be performed is interpreted according to the determined positional relationship.
[0114]
FIG. 75 is a flowchart showing the procedure of the positional relationship determination process between designated positions in step S7401. In the figure, the angle between the designated positions is acquired in step S7501. Subsequently, in step S7502, if the acquired angle is between 45 ° and 135 ° centered on 90 °, or between −45 ° and −135 ° centered on −90 °, the indicated position Inter-positional relationship is interpreted as a vertical relationship. When the angle is between 45 ° and −45 ° centered on 0 ° or between 135 ° and −135 ° centered on 180 °, the positional relationship between the indicated positions is interpreted as a left-right relationship. The interpretation of the angle is as shown in FIG.
[0115]
FIG. 76 is a flowchart showing the procedure of instruction interpretation processing based on the positional relationship of the designated positions in step S7402. In the figure, the designated position movement range acquisition process is activated in step S7601, and the movement target range of the designated position is obtained. Next, the positional relationship is determined in step S7602, and if the positional relationship is a vertical relationship, the process proceeds to step S7603 and is interpreted as a cut operation instruction or a delete operation instruction. If the positional relationship is left and right, the process proceeds to step S7604 and is interpreted as a copy operation instruction.
[0116]
FIG. 77 is a diagram illustrating an operation example that is interpreted as an up / down relation movement operation. In the figure, when the designated position moves from the designated position point At1 to the point At5 and from the designated position point Bt1 to the point Bt5, it is interpreted as a vertical movement operation.
[0117]
FIG. 78 is a diagram illustrating an example of data when interpreted as an up-and-down relation movement operation. In the same figure, when the coordinates of each indicated position at the start of movement t1 are point At1 (4, 5) and point Bt1 (3, 8) as shown in graph 7801, angle t1 representing the positional relationship between the indicated positions is When the coordinates of each indicated position at the end of movement t5 are 108.43 ° and the coordinates of the point At5 (8,5) and Bt5 (7,8) are the angle t5 representing the positional relationship between the indicated positions is 108.43 °. . The table 7802 shows the position data of the designated position point A and the designated position point B from t1 to t5. The table 7803 shows angle data representing the positional relationship between the designated positions. In the positional relationship data between the designated positions, the angles between the designated positions from t1 to t5 are stored.
[0118]
FIG. 79 is a diagram illustrating an operation example that is interpreted as a left-right relation movement operation. In the figure, when each designated position moves from the designated position point At1 to the point At5 and from the designated position point Bt1 to the point Bt5, it is interpreted as a left-right related movement operation.
[0119]
FIG. 80 is a diagram illustrating an example of data when interpreted as a left / right movement operation. In the same figure, as in graph 8001, when the coordinates of each indicated position at the start of movement t1 are point At1 (3, 8) and point Bt1 (5, 9), angle t1 representing the positional relationship between the indicated positions Is 26.57 °, and when the coordinates of each indicated position at the end of movement t5 are point At5 (7, 8) and point Bt5 (9, 9), the angle t5 representing the positional relationship between the indicated positions is 26.57 °. is there. The table 8002 shows the position data of the designated position point A and the designated position point B from t1 to t5.
[0120]
The table 8003 shows angle data representing the positional relationship between the designated positions, and the angle between the designated positions from t1 to t5 is stored in the positional relationship data between the designated positions.
[0121]
[Embodiment 10]
In the present embodiment, an example will be specifically described in which attention is paid to a change in the positional relationship between designated positions when an operation to be performed is interpreted from a combination of movement loci of two or more designated positions acquired.
[0122]
FIG. 81 is a flowchart showing the procedure of the instruction interpretation process based on the positional relationship between the instruction positions. In the figure, a positional relationship change determination process between designated positions is started in step S8101, and a positional relationship change between designated positions is determined. Next, proceeding to step S8102, an instruction interpretation process based on the positional relationship change is activated, and an operation to be performed is interpreted according to the determined positional relationship change data.
[0123]
FIG. 82 is a flowchart showing a procedure of instruction interpretation processing based on the positional relationship change. In the figure, in step S8201, the inversion angle change amount is checked, and if the acquired angle change amount is the inversion angle change amount, the process proceeds to step S8202, and as an arbitrary inversion operation, deletion, or cut instruction operation Interpret. If the angle change amount is not the reverse angle change amount in step S8201, the process proceeds to step S8203, the X-direction position change is checked, and if each indicated position is reversed left and right, the process proceeds to step S8204, Interpret as reverse operation, delete, or cut instruction operation.
[0124]
In step S8203, if it is not left-right reversal, the change in the Y-direction position is checked in step S8205. If each acquired indicated position is up-down reversal, the process proceeds to step S8206, and up-down reversing operation, or Interpret as a delete or cut instruction operation. If NO in step S8205, the flow advances to step S8207 to interpret as an enlargement or reduction instruction operation.
[0125]
FIG. 83 is a flowchart showing the procedure of the instruction position relationship change acquisition processing.
In the figure, an angle measurement process between designated positions is started in step S8301, and an angle between designated positions is measured. Next, in step S8302, an angle change acquisition process between indicated positions is activated to acquire an angle change between indicated positions.In the subsequent step S8303, if the acquired angle change is within a constant range of 180 °, Proceeding to step S8304, the positional relationship change between indicated positions is interpreted as reverse rotation.
[0126]
In step S8303, if the obtained angle change is not within the 180 ° symmetrical fixed range, the process proceeds to step S8305, where the horizontal positional relationship determination process between the indicated positions is activated, and the horizontal positional relationship between the indicated positions is determined. To be acquired. In the next step S8306, the horizontal positional relationship change determination process between the indicated positions is activated, and the horizontal positional relationship change between the indicated positions is acquired.In the subsequent step S8307, if the acquired horizontal positional relationship is negative, Proceeding to step S8308, a change in positional relationship between indicated positions is acquired as left-right reverse.
[0127]
In step S8307, if the obtained horizontal positional relationship change is positive, the process proceeds to step S8309, and the vertical positional relationship determination processing between designated positions is started, and the vertical positional relationship between designated positions is obtained. . In the next step S8310, the vertical positional relationship change determination process between designated positions is started, and the vertical positional relationship change between designated positions is acquired.In the subsequent step S8311, if the acquired vertical positional relationship is negative, Proceeding to step S8312, the change in positional relationship between indicated positions is acquired as upside down. On the other hand, in step S8311, if the acquired vertical positional relationship change is positive, the process proceeds to step S8313, and the positional relationship between the indicated positions is acquired as no change.
[0128]
FIG. 84 is a diagram illustrating an operation example interpreted as a reversal operation. In the figure, when the designated position moves from the designated position point At1 to the point At5 and from the designated position point Bt1 to the point Bt5, it is interpreted as a reversal operation.
[0129]
FIG. 85 is a diagram illustrating an example of data when interpreted as a reversal operation. In the same figure, when the coordinates of each indicated position at the start of movement t1 are point At1 (4, 10) and point Bt1 (8, 11) as in graph 8501, the angle t1 of point A with respect to point B is 14.04 °. When the coordinates of each indicated position at the end of movement t5 are point At5 (8, 4) and point Bt5 (4, 3), angle t5 is -165.96. A table 8502 shows position data of the designated position points A and B from t1 to t5. The table 8503 shows the positional relationship between the indicated positions. In the positional relationship change data, the positional relationship change based on the X direction position change, the Y direction position change, and the indicated position angle between the indicated positions from t1 to t5. The amount is stored. In this case, the positional relationship change amount is 180 °, and the positions of the designated position point A and the designated position point B are reversed.
[0130]
FIG. 86 is a diagram illustrating an operation example that is interpreted as a left / right reversal operation. In the figure, when the designated position moves from the point At1 to the point At5 and from the point Bt1 to the point Bt5, it is interpreted as a left-right reversing operation.
[0131]
FIG. 87 is a diagram illustrating an example of data when interpreted as a left / right reversing operation. In the figure, when the coordinates of each indicated position at the start of movement t1 are point At1 (10, 10) and point Bt1 (11, 13) as shown in graph 8701, the angle t1 of point A with respect to point B is 71.57 °. When the coordinates of each indicated position at the end of movement t5 are point At5 (9, 3) and point Bt5 (8, 5), angle t5 is 116.57 °. The table 8702 shows the position data of the designated position points A and B from t1 to t5. The table 8703 shows the positional relationship between the indicated positions. In the positional relationship change data, the positional relationship change based on the X-direction position change, the Y-direction position change, and the indicated position angle between the indicated positions from t1 to t5. The amount is stored. In this case, the positional relationship in the X direction changes from negative to positive, and the positions of the designated position points A and B are reversed left and right.
[0132]
FIG. 88 is a diagram illustrating an operation example that is interpreted as an upside down operation. In the figure, when the designated position moves from the point At1 to the point At5 and from the point Bt1 to the point Bt5, it is interpreted as an upside down operation.
[0133]
FIG. 89 is a diagram illustrating an example of data when interpreted as an upside down operation. In the same figure, when the coordinates of each indicated position at the start of movement t1 are point At1 (5,12) and point Bt1 (7,15) as in graph 8901, angle t1 of point A with respect to point B is 56.31 °. When the coordinates of each indicated position at the end of movement t5 are point At5 (5, 2) and point Bt5 (6, 1), angle t5 is −45.00 °. The table 8902 shows the position data of the designated position points A and B from t1 to t5. The table 8903 shows the positional relationship between the designated positions. In the positional relationship change data, the positional relationship change based on the Y-direction position change, the Y-direction position change, and the designated position angle between the designated positions from t1 to t5. The amount is stored. In this case, the positional relationship in the Y direction changes from negative to positive, and the positions of the designated position points A and B are inverted up and down.
[0134]
[Embodiment 11]
In the present embodiment, an example of paying attention to the positional relationship between the fixed instruction position and the movement instruction position when interpreting the operation to be performed from the combination of the movement trajectories of the acquired two or more instruction positions will be specifically described. .
[0135]
FIG. 90 is a flowchart illustrating the procedure of the positional relationship acquisition processing between designated positions. In the figure, a fixed designated position detection process is activated in step S9001, and a fixed designated position is detected. Next, proceeding to step S9002, the positional relationship determination process for the fixed instruction position is started, and the positional relationship between the detected fixed instruction position and the movement instruction position is acquired.
[0136]
FIG. 91 is a flowchart showing a procedure of instruction interpretation processing based on the positional relationship with respect to the fixed instruction position. In the figure, in step S9101, the position relationship correspondence instruction interpretation process between the fixed and fixed instruction positions is started, and an operation to be performed is interpreted according to the determined position relationship data.
[0137]
FIG. 92 is a flowchart showing a detailed procedure of instruction interpretation processing based on the positional relationship with respect to the fixed instruction position. In the figure, the designated position movement direction acquisition process is activated in step S9201, and the movement direction of the movement designated position is obtained. In the subsequent step S9202, the moving direction is determined. If the movement direction is left, the process proceeds to step S9203.
[0138]
In step S9203, if the positional relationship to the fixed instruction position is on the right side, the process proceeds to step S9207, and the operation to be performed is the next item operation, next page operation, next screen operation, last line operation, or left / right direction. This is interpreted as a reduction operation only. If the positional relationship is the left side in step S9203, the process proceeds to step S9208, and is interpreted as an operation to be performed on the left screen movement operation or an enlargement operation only in the left-right direction. In step S9203, if the positional relationship is on the upper side, the process proceeds to step S9209, and is interpreted as an operation left rotation operation to be performed. If the positional relationship is lower in step S9203, the process proceeds to step S9210, and the operation to be performed is interpreted as a right rotation operation.
[0139]
On the other hand, if the moving direction is up in step S9202, the process proceeds to step S9204. If the positional relationship with respect to the fixed instruction position is on the right side, the process proceeds to step S9211 and the operation to be performed is set as a left rotation operation. Interpret. If the positional relationship is the left side in step S9204, the process proceeds to step S9212, and the operation to be performed is interpreted as a right rotation operation. If the positional relationship is on the upper side in step S9204, the process proceeds to step S9213, and the operation to be performed is interpreted as an upper screen moving operation or an enlargement operation only in the vertical direction. If the positional relationship is lower in step S9204, the process proceeds to step S9214, and the operation to be performed is the next item operation, the next page operation, the next screen operation, the last line operation, or the reduction only in the vertical direction. Interpret as an operation.
[0140]
In step S9202, if the movement direction is down, the process proceeds to step S9205. If the positional relationship with the fixed instruction position is on the right side, the process proceeds to step S9215, and the operation to be performed is set as a right rotation operation. Interpret. If the positional relationship is the left side in step S9205, the process proceeds to step S9216, and the operation to be performed is interpreted as a left rotation operation. If the positional relationship is on the upper side in step S9205, the process proceeds to step S9217, and the operation to be performed is the previous item operation, the previous page operation, the previous screen operation, the first line operation, or the reduction operation only in the vertical direction. Is interpreted as If it is determined in step S9205 that the positional relationship is on the lower side, the process advances to step S9218 to interpret the operation to be performed as a lower screen movement operation.
[0141]
In step S9202, if the movement direction is right, the process proceeds to step S9206, and if the positional relationship with respect to the fixed instruction position is the right side, the process proceeds to step S9219 to perform the right screen movement operation to be performed. Or, it is interpreted as an enlargement operation only in the left-right direction. If the positional relationship is the left side in step S9206, the process proceeds to step S9220, and the operation to be performed is the previous item operation, the previous page operation, the previous screen operation, the first line operation, or the reduction operation only in the horizontal direction. Is interpreted as If the positional relationship is on the upper side in step S9206, the process proceeds to step S9221, and the operation to be performed is interpreted as a right rotation operation. In step S9206, if the positional relationship is lower, the process proceeds to step S9222, and the operation to be performed is interpreted as a left rotation operation.
[0142]
FIG. 93 is a flowchart showing the procedure of the positional relationship determination process for the fixed instruction position. In the figure, in step S9301, an angle between designated positions is started, and an angle between designated positions is obtained. In subsequent step S9302, if the acquired angle is within a certain range in the upward direction, it is determined in step S9303 that the positional relationship is upward. In step S9302, if the acquired angle is within a certain range in the downward direction, it is determined in step S9304 that the positional relationship is lower. In step S9302, if the acquired angle is within a certain range in the left direction, the positional relationship is determined to be left in step S9305. In step S9302, if the acquired angle is within a certain range in the right direction, the positional relationship is determined to be right in step S9306.
[0143]
FIG. 94 is a flowchart showing the procedure of the designated position movement direction acquisition process. In the figure, in step S9401, designated position movement angle acquisition processing is activated, and the movement angle of the designated position is obtained. In subsequent step S9402, if the acquired angle is within a certain range in the upward direction, it is determined in step S9403 that the moving direction is upward. In step S9402, if the acquired angle is within a certain range in the downward direction, it is determined in step S9404 that the moving direction is downward. If it is determined in step S9402 that the acquired angle is within a certain range in the left direction, the moving direction is determined to be left in step S9405. If it is determined in step S9402 that the acquired angle is within a certain range in the right direction, the moving direction is determined to be right in step S9406.
[0144]
FIG. 95 is a diagram illustrating two operation examples that are interpreted as the next item operation or the left screen movement operation depending on the positional relationship when the movement direction of the movement instruction position is the same. In the figure, since the movement instruction position point B is in the left direction and the positional relationship is to the right of the fixed instruction position point A, the operation to be performed is the next item operation, the next page operation, or the next screen. It is interpreted as an operation, a last line operation, or a reduction operation only in the horizontal direction. On the other hand, since the movement instruction position point D is the left direction and the positional relationship is the left side of the fixed instruction position point C, the operation to be performed is the left screen movement operation or the enlargement operation only in the left-right direction. To be interpreted.
[0145]
Similarly, when the movement direction is the left direction and the positional relationship is above the fixed instruction position, the operation to be performed is interpreted as a left rotation operation, and when the positional relationship is below the fixed instruction position, the operation should be performed. Interpret the operation as a right rotation operation.
[0146]
If the movement direction is upward and the positional relationship is to the right of the fixed designated position, the operation to be performed is interpreted as a left rotation operation.If the positional relationship is to the left of the fixed designated position, the operation to be performed is interpreted. If it is interpreted as a right rotation operation and the positional relationship is above the fixed instruction position, the operation to be performed is interpreted as an upper screen movement operation or an enlargement operation only in the vertical direction, and the positional relationship is below the fixed instruction position. In this case, the operation to be performed is interpreted as the next item operation, the next page operation, the next screen operation, the last line operation, or the reduction operation only in the vertical direction.
[0147]
If the movement direction is downward and the positional relationship is to the right of the fixed instruction position, the operation to be performed is interpreted as a right rotation operation. If the positional relationship is to the left of the fixed instruction position, the operation to be performed is When the positional relationship is above the fixed instruction position, the operation to be performed is the previous item operation, the previous page operation, the previous screen operation, the first line operation, or the reduction operation only in the vertical direction. When the positional relationship is below the fixed instruction position, the operation to be performed is interpreted as a lower screen movement operation or an enlargement operation only in the vertical direction.
[0148]
When the movement direction is the right direction and the positional relationship is on the right side of the fixed instruction position, the operation to be performed is interpreted as a right screen movement operation or an enlargement operation only in the horizontal direction, and the positional relationship is the fixed instruction position. In the case of the left side, the operation to be performed is interpreted as the previous item operation, the previous page operation, the previous screen operation, the first line operation, or the reduction operation only in the horizontal direction, and the positional relationship is above the fixed instruction position The operation to be performed is interpreted as a right rotation operation, and when the positional relationship is below the fixed instruction position, the operation to be performed is interpreted as a left rotation operation.
[0149]
FIG. 96 is a diagram illustrating an example of data when interpreted as the next item operation. In the same figure, there is a fixed designated position point A (3, 3) as shown in the graph 9601. The movement designated position is point Bt1 (6, 2.8) at the start of movement t1, and point Bt5 (4, 2 at the end of movement t5. ). The table 9602 shows the position data of the fixed instruction position point A and the movement instruction position point B from t1 to t5. The table 9603 shows the positional relationship between the fixed instruction position and the movement instruction position. In the instruction position movement data, the movement amount of the instruction position at the end of movement t5 is 0 at the fixed instruction position point A and the movement instruction position point B. Is 2.236, and the relationship between the fixed instruction position point A and the movement instruction position point B is 176.19 ° at t1 and changes to 135.00 ° at t5. The movement direction of the movement instruction position point B is −153.43 °.
[0150]
[Embodiment 12]
In the present embodiment, when interpreting an operation to be performed from a combination of movement trajectories of two or more designated positions acquired, an example focusing on a change in the positional relationship between the two fixed designated positions and the movement designated position is specifically described. explain.
[0151]
FIG. 97 is a flowchart illustrating a processing procedure based on the positional relationship between the fixed instruction position and the movement instruction position. In the figure, in step S9701, the positional relationship determination process between the fixed instruction position and the movement instruction position is started, and the positional relationship of the movement instruction position with respect to the two detected fixed instruction positions is acquired. In step S9702, an instruction interpretation process based on the positional relationship between the fixed instruction position and the movement instruction position is activated to interpret an operation to be performed according to the acquired instruction position relationship.
[0152]
FIG. 98 is a flowchart showing the procedure of the positional relationship determination process between the fixed instruction position and the movement instruction position. In the figure, in step S9801, an angle acquisition process between fixed instruction positions is started, and an angle between two fixed instruction positions is acquired. In step S9802, an angle acquisition process between movement instruction positions is started, and an angle between any one of the two fixed instruction positions and the movement instruction position is acquired. Next, in step S9803, a relationship determination process between designated positions is started, and a relationship between the acquired angle between fixed instruction positions and the angle between movement instruction positions is determined. Next, in step S9804, a relationship change acquisition process between designated positions is started, and a change in relationship is acquired.
[0153]
FIG. 99 is a flowchart illustrating the procedure of the instruction position relationship determination process. In step S9901, if the acquired angle between the fixed instruction positions is smaller than the angle between the movement instruction positions in step S9901, the process proceeds to step S9902, and the instruction position relationship is determined as the right rotation direction. If the angle between the fixed instruction positions matches the angle between the movement instruction positions, the process advances to step S9903 to determine that the instruction position relationship is the same. When the angle between the fixed instruction positions is larger than the angle between the movement instruction positions, the process proceeds to step S9904, and the instruction position relationship is determined as the left rotation direction.
[0154]
FIG. 100 is a flowchart illustrating the procedure of the instruction position relationship change acquisition process. In the figure, if the initial position does not match the latest position in step S10001, the process proceeds to step S10002, and if the initial position relationship does not match, the process proceeds to step S10003, and the latest position relationship is further updated. If they do not match, the process advances to step S10004 to interpret the positional relationship as reversed.
[0155]
FIG. 101 is a flowchart showing the procedure of instruction interpretation processing based on the positional relationship between the fixed instruction position and the movement instruction position. In the figure, if the change in the positional relationship determined in step S10101 is reverse rotation, the process proceeds to step S10102, and the operation to be performed is interpreted as target reversal between the fixed instruction positions.
[0156]
FIG. 102 is a diagram illustrating an operation example that is interpreted as symmetry inversion. In the figure, when there is a movement instruction position point Ct1 with respect to points A and B which are fixed instruction positions, and this point moves to the movement instruction position point Ct5, it is interpreted as a symmetrical inversion operation.
[0157]
FIG. 103 is a diagram illustrating an example of data when interpreted as a symmetrical inversion operation. In the same figure, there are a fixed instruction position point A (3, 1) and a fixed instruction position point B (4, 6) as shown in the graph 10301, and the angle between the fixed instruction positions is 78.69 °. The movement instruction position is a point Ct1 (5, 3), and the angle t1 between movement instruction positions with respect to the fixed instruction position point A is 45.00 °. At this time, the movement instruction position point Ct1 is on the right side of the line segment AB between the fixed instruction positions. At the end of movement t5, the movement instruction position point is Ct5 (3,3), the movement instruction position angle t5 with respect to the fixed instruction position point 1A is 90.00 °, and the movement instruction position point Ct5 is a line segment between the fixed instruction positions. On the left side of AB.
[0158]
The table 10302 shows position data of the fixed instruction position point A, the point B, and the movement instruction position point C from t1 to t5. Table 10303 shows the positional relationship between the two fixed instruction positions and the movement instruction position. In the positional relationship data between the fixed instruction position and the movement instruction position, the angle between the fixed instruction positions is constant at 78.69 ° between t1 and t5. The angle between the movement instruction positions is 45.00 ° at t1, and continues to increase thereafter, and is 90.00 ° larger than the angle between the fixed instruction positions at t5.
[0159]
[Embodiment 13]
In the present embodiment, when interpreting an operation to be performed from a combination of movement trajectories of two or more designated positions acquired, an example focusing on a change in the positional relationship between the three fixed designated positions and the movement designated position is specifically described. Explained.
[0160]
FIG. 104 is a diagram showing the flow of processing when there are three or more fixed instruction positions. In the figure, if there are three or more fixed instruction positions in step S10401, the process proceeds to step S10402, and the positional relationship determination process of the movement instruction position for a plurality of fixed instruction positions is started, and three or more already detected positions are detected. The positional relationship of the movement instruction position with respect to the fixed instruction position is determined. In step S10403, an instruction interpretation process based on the positional relationship of the movement instruction position with respect to the plurality of fixed instruction positions is activated, and an operation to be performed is interpreted according to the determined positional relationship.
[0161]
FIG. 105 is a flowchart showing the procedure of the positional relationship determination process of the movement instruction position with respect to a plurality of fixed instruction positions. In the same figure, the angle acquisition process between fixed instruction positions is started in step S10501, the angle between the fixed instruction positions is acquired, and then the angle acquisition process between movement instruction positions is started in step S10502, and the acquired fixed instruction is acquired. An angle between an arbitrary fixed instruction position and a movement instruction position is acquired. Next, in step S10503, the instruction position relationship determination process is driven to determine the relationship between the acquired fixed instruction position angle and the movement instruction position angle. Next, in step S10504, the inter-indicated position relationship change acquisition process is activated, and the acquired change in the relationship is acquired.
[0162]
FIG. 106 is a flowchart illustrating the procedure of the positional relationship determination processing between designated positions when there are three or more fixed designated positions. In step S10601, the acquisition target fixing instruction position is acquired from the fixing instruction position list of the fixing instruction position table. Next, in step S10602, the head fixing instruction position is acquired from the acquired fixing instruction position list. Next, in step S10603, when the acquisition target fixing instruction position is lower in list order than the tail fixing instruction position of the fixing instruction position list, the process proceeds to step S10604, and the fixing instruction position is acquired. Subsequently, in step S10605, when the angle between the movement instruction positions is equal to or less than the angle between the fixed instruction positions that forms the maximum angle with respect to the acquired fixing instruction position, the process proceeds to step S10606, and the acquired fixing instruction position is If it is equal to or larger than the angle between the fixed instruction positions that forms the minimum angle, the process proceeds to step S10607, and the fixed instruction position list is advanced to the next.
[0163]
In step S10603, if the acquisition target fixing instruction position reaches the tail fixing instruction position in the fixing instruction position list, the process proceeds to step S10608 and is interpreted as being within the area. In step S10605, if the angle between the movement instruction positions is larger than the angle between the fixed instruction positions that makes the maximum angle with respect to the acquired fixed instruction position, or the minimum angle with respect to the fixed instruction position acquired in step S10606 If the angle is smaller than the angle between the fixed instruction positions that make the process, the process proceeds to step S10609 and is interpreted as being out of the area.
[0164]
FIG. 107 is a diagram illustrating an operation example in which the positional relationship of the movement instruction position with respect to a plurality of fixed instruction positions is interpreted as being within the area between the fixed instruction positions. In the figure, the positional relationship of the movement instruction position point Dt1 is interpreted as in the area between the fixed instruction position with respect to the area surrounded by the fixed instruction position points A, B, and C like 10701.
[0165]
FIG. 108 is a diagram illustrating an example of operation data in which the positional relationship between the movement instruction positions with respect to the plurality of fixed instruction positions is interpreted as being in the area between the fixed instruction positions by the position relationship determination process between the instruction positions. In the same figure, as indicated by the graph 10801, the fixed instruction position point A (3, 1), the fixed instruction position point B (4, 6), the fixed instruction position point C (6, 5.5), and the movement instruction position point Dt1 ( The angle DAO 71.57 ° of the point Dt1 with respect to the fixed indication position point A is between the angle BAO 78.69 ° centered on the fixed indication position point A and the angle CAO 56.31 °, and at the same time the fixed indication position A The angle O′BD−90.00 ° of the point Dt1 with respect to the point B is between the angle O′BA 101.31 ° and the angle O′BC 14.04 ° with the fixed indication position point B as the center.
[0166]
The table 10802 shows position data of the fixed designated position point A, point B, point C, and movement designated position point D from t1 to t5. Table 10803 shows the change in the positional relationship between the fixed command position and the movement command position. In the positional relationship change data, the angle DAO71.57 ° of the movement command position point D with respect to the fixed command position point A is between the fixed command positions. It is between the angle BAO 78.69 ° and the fixed instruction position angle CAO56.31 °, and the angle O′BD 90.00 ° of the movement instruction position point D with respect to the fixed instruction position point B is the fixed instruction position angle O′BA. It is between -101.31 ° and the angle between fixed indication positions O'BC-14.04 °.
[0167]
FIG. 109 is a flowchart illustrating the procedure of the acquisition process of the positional relationship change between the designated positions. In the figure, if the change in the positional relationship determined in step S10901 is a movement from the inside of the area to the outside of the area, the process proceeds to step S10902 and is interpreted as a movement outside the area. In step S10901, if the positional relationship change is not a movement from the inside of the region to the outside of the region, the process proceeds to step S10903.If the positional relationship change is a movement from the outside of the region to the inside of the region, the process proceeds to step S10904. Proceed and interpret as movement within the area.
[0168]
FIG. 110 is a diagram illustrating an example of an operation that is interpreted as movement outside the region between fixed designated positions by the positional relationship change determination process between designated positions. In the figure, when the movement instruction position point Dt1 moves to the point Dt5 with respect to the area surrounded by the fixed instruction position points A, B, and C, the positional relationship of the movement instruction positions with respect to the plurality of fixed instruction positions Is interpreted as out-of-region movement between fixed indication positions.
[0169]
FIG. 111 is a diagram illustrating an example of operation data that is interpreted as movement outside the region between fixed designated positions by the positional relationship change determination process between designated positions. In the same figure, at the start of movement t1 as shown in the graph 11101, the fixed instruction position point A (3, 1), the fixed instruction position point B (4, 6), the fixed instruction position point C (6, 5.5), and the movement There is a designated position point Dt1 (4, 4), and the angle DAO 71.57 ° of the point Dt1 with respect to the fixed designated position point A is between the angle BAO 78.69 ° centered on the fixed designated position point A and the angle CAO 56.31 °, At the same time, the angle O′BD−90.00 ° of the point Dt1 with respect to the fixed instruction position point B is between the angle O′BA 101.31 ° and the angle O′BC 14.04 ° with the fixed instruction position point B as the center. At the end of movement t5, there is a movement instruction position point Dt5 (3,4), and the angle DAO 90.00 ° of the point Dt5 with respect to the fixed instruction position point A is an angle BAO 78.69 ° centered on the fixed instruction position point A and an angle CAO At the same time, the angle O'BD -116.57 ° of the point Dt5 with respect to the fixed indication position point B is outside the 59.04 °, the angle O'BA 101.31 ° and the angle O'BC 14.04 ° centered on the fixation indication position point B Is outside.
[0170]
The table 11102 shows the position data of the fixed instruction position point A, point B, point C, and movement instruction position point D from t1 to t5. The table 11103 shows the positional relationship change between the fixed instruction position and the movement instruction position. In the positional relationship change data, the angle DAO of the movement instruction position point D with respect to the fixed instruction position point A and the fixed instruction position point B The angle O′BD of the movement instruction position point D exists in the fixed instruction position area between t1 and t3, and moves outside the area at t4.
[0171]
FIG. 112 is a flowchart illustrating a procedure of instruction interpretation processing based on the positional relationship between a plurality of fixed instruction positions and movement instruction positions. In the figure, if the change in the positional relationship determined in step S11201 is movement outside the area, the process proceeds to step S11202, and the operation to be performed is interpreted as deletion in the area between the fixed designated positions. In step S11201, if the positional relationship change is not movement outside the region, the process proceeds to step S11203. If the positional relationship change is movement within the region, the process proceeds to step S11204, and the operation to be performed is determined as the fixed instruction position. Interpreted as attribute assignment in the interspace. In this case, the attribute assignment in the area between the fixed designated positions includes coloring in the area between the fixed designated positions.
[0172]
FIG. 113 is a diagram illustrating an operation example that is interpreted as coloring in the region between the fixed designated positions among the items that are interpreted as attribute assignment in the region between the fixed designated positions. In the same figure, when the movement instruction position point Dt1 moves to the point Dt5 with respect to the area surrounded by the fixed instruction position points A, B, and C, the operation to be performed is moved to the area between the fixed instruction positions. Interpret as coloring.
[0173]
FIG. 114 shows a case where, among the interpretations given as attributes in the area between the fixed designated positions by the positional relationship correspondence instruction interpretation process between the plurality of fixed designated positions, it is interpreted as coloring in the area between the fixed designated positions. It is a figure which shows the example of data of operation. In the same figure, at the start of movement t1 as shown by 11431, the fixed instruction position point A (3, 1), the fixed instruction position point B (4, 6), the fixed instruction position point C (6, 5.5), and the movement instruction Position point Dt1 (3,4), the angle DAO 90.00 ° of point Dt1 with respect to the fixed indication position point A is outside the angle BAO 78.69 ° and the angle CAO 56.31 ° around the fixed indication position point A, and at the same time The angle O′BD 116.57 ° of the point Dt1 with respect to the fixed indication position point B is outside the angle O′BA 101.31 ° and the angle O′BC 14.04 ° centered on the fixation indication position point B. At the end of movement t5, there is a movement command position point Dt5 (4, 4), and the angle DAO 71.57 ° of point Dt5 with respect to the fixed command position point A is an angle BAO of 78.69 ° centered on the fixed command position point A and an angle CAO At the same time, the angle O'BD 90.00 ° of the point Dt5 with respect to the fixed indication position point B is between the angle O'BA 101.31 ° and the angle O'BC 14.04 ° centered on the fixation indication position point B. between.
[0174]
The table 11432 shows position data of the fixed designated position point A, point B, point C, and movement designated position point D from t1 to t5. The table 11433 shows the positional relationship change between the fixed instruction position and the movement instruction position. In the positional relationship change data, the angle DAO of the movement instruction position point D with respect to the fixed instruction position point A and the fixed instruction position point B The angle O′BD of the movement instruction position point D exists outside the fixed instruction position area between t1 and t3, and moves into the area at t4.
[0175]
[Embodiment 14]
In the present embodiment, an example in which attention is paid to a change in the number of designated positions of a plurality of designated positions when interpreting an operation to be performed from a combination of movement loci of two or more designated positions acquired will be specifically described.
[0176]
FIG. 115 is a flowchart illustrating a procedure of instruction interpretation processing using a change in the number of designated positions at a plurality of designated positions. In the figure, the designated position number acquisition process is activated in step S11401 to obtain the designated position number, and in the subsequent step S11402, the designated position number change obtaining process is activated to obtain the designated position number change. Next, in step S11403, an instruction interpretation process based on a change in the number of designated positions is started, and an operation to be performed is interpreted according to the obtained number of designated positions.
[0177]
FIG. 116 is a flowchart showing a procedure of instruction interpretation processing based on a change in the number of initial designated positions. In the figure, in step S11601, the initial designated position number is compared with the current designated position number.If it is larger than the initial designated position number in step S11602, the process proceeds to step S11603, and the operation target is being specified. Interpret.
[0178]
FIG. 117 is a diagram illustrating an operation example when it is interpreted that the operation target is being specified by the instruction interpretation processing based on the change in the number of initial designated positions. At time t1, there are initial designated position points At1 and Bt1, and there are two designated positions. At time t2, there are designated position points At2, Bt2, and Ct2, and there are three designated positions from time t1. It has increased by one.
[0179]
FIG. 118 is a diagram illustrating an example of operation data when it is interpreted that the operation target is being specified. Like graph 11801, at time t1, there are designated position point At1 and designated position point Bt1, and the number of designated positions is two. At time t2, designated position point At2, designated position point Bt2, and designated position There is a point Ct2, and the number of indicated positions is three. The table 11802 shows the position data of the designated position point A, the designated position point B, and the designated position point C from t1 to t3. The table 11803 shows the change in the number of designated positions. In the designated position number data, at the time t1, the designated position number is 2, and the initial designated position number change is 0. At time t2, the number of designated positions is 3, and the change in the number of initial designated positions is 1.
[0180]
FIG. 119 is a flowchart illustrating the procedure of the instruction interpretation process based on the change in the number of designated positions based on the initial designated position. In the same figure, when the initial indication position number change corresponding instruction interpretation processing is activated, in step S11901, the initial indication position acquisition processing is activated to acquire the first indication position. Subsequently, in step S11902, if the acquired number of designated positions is greater than the number of initial designated positions, the process proceeds to step S11903, where the initial designated position reference instruction interpretation process is activated, and the acquired initial designated position is set. Interpret the operation to be performed as a reference.
[0181]
FIG. 120 is a flowchart showing the procedure of instruction interpretation processing based on the initial pointing position. In the figure, if the number of designated positions is one in step S12001, the process proceeds to step S12002, and the operation to be performed is interpreted as a rotation operation centered on the obtained designated position.
[0182]
FIG. 121 is a diagram illustrating an operation example when the rotation operation is interpreted as centering on the designated position. When there is an initial designated position point A at time t1, and there is a designated position point A at time t5, and when the designated position point Bt5 has moved from the designated position point Bt3, the rotation operation is centered on the designated position point A. Interpreted.
[0183]
FIG. 122 is a diagram illustrating an example of data when interpreted as a rotation operation centered on the designated position. As in graph 12201, the indicated position point A is at the same coordinate (3, 3) from time t1 to time t6, and the indicated position point B is at point Bt3 (6, 2.8) at time t3, at time t4. Sometimes it is at point Bt4 (5.6, 3.5), at time t5 it is at point Bt5 (5.2, 4.2), and at time t6 it has moved to point Bt6 (5, 5). The table 12202 shows the position data of the designated position points A and B from time t1 to time t6. The table 12203 shows changes in the number of designated positions. In the designated position number data, the designated position number is 1 and the initial designated position number change is 0 at times t1 and t2. At time t3, the indicated position number is 2, and the initial indicated position number change is 1. Thereafter, the number of designated positions does not change until time t6.
[0184]
[Embodiment 15]
In the present embodiment, an example in which attention is paid to a change in the number of final designated positions of a plurality of designated positions when interpreting an operation to be performed from a combination of movement loci of two or more designated positions acquired will be specifically described.
[0185]
FIG. 127 is a flowchart illustrating a processing procedure using the final designated position number change. In the figure, the final designated position number change acquisition process is activated in step S12301, and the final designated position number change is obtained. In step S12302, an instruction interpretation process based on a change in the number of final designated positions is performed.
[0186]
FIG. 124 is a flowchart showing the procedure of the instruction interpretation process based on the change in the number of final designated positions. In the figure, if the number of designated positions has decreased in step S12401, the process proceeds to step S12402 and is interpreted as a cancel instruction for the immediately preceding operation. If it is determined in step S12401 that the number of designated positions has not decreased, the process proceeds to step S12403, and is interpreted as an approval instruction for the immediately preceding operation.
[0187]
FIG. 125 is a diagram illustrating an operation example in the case of being interpreted as a cancel instruction operation in the instruction interpretation process based on the change in the number of final instruction positions. At time t1, there are initial designated position points At1, Bt1, and Ct1, the number of designated positions is three, and at time t2, there are designated position points At2 and Bt2, the number of designated positions is two, and time t1 It has decreased by one.
[0188]
FIG. 126 is a diagram illustrating an example of operation data when interpreted as a cancel instruction operation in the instruction interpretation process based on the change in the number of final instruction positions. As shown in graph 12601, at time t1, there are designated position points At1, Bt1, and Ct1, and there are three designated positions. At time t2, there are designated position points At2 and Bt2, and there are two designated positions. is there. The table 12602 shows the position data of the designated position points A, B and C from time t1 to t2. The table 12603 shows the change in the number of designated positions. In the designated position number data, at the time t1, the designated position number is 3, and the initial designated position number change is 0. At time t2, the number of designated positions is 2, and the change in the number of initial designated positions is -1.
[0189]
[Embodiment 16]
In the present embodiment, an example in which the number of designated positions is focused as instruction information other than the instruction locus when interpreting an operation to be performed from a combination of movement loci of two or more indicated positions acquired will be specifically described.
[0190]
FIG. 127 is a flowchart illustrating a processing procedure using instruction information other than the instruction locus. In the figure, instruction information acquisition processing is activated in step S12701, and instruction information other than the instruction locus is acquired. Next, in step S12702, if the operation has not been repeated, the process proceeds to step S12703, where an instruction interpretation process based on the instruction information is activated, and an operation to be performed is interpreted based on the acquired instruction information. If the operation has been repeated in step S12702, the process proceeds to step S12703, the interrupt operation interpretation process is started, the operation is interpreted to be interrupted, and the process proceeds to step S12703.
[0191]
FIG. 128 is a flowchart illustrating a procedure of instruction interpretation processing using instruction information other than the instruction locus. In the figure, if the instruction information is greater than or equal to the maximum determination value in step S12801, the process proceeds to step S12802 and is interpreted as the maximum operation amount. In step S12801, if the instruction information is less than the maximum determination value, the process proceeds to step S12803.If the instruction information is more than the repeated determination value, the process proceeds to step S12804 and is interpreted to increase the operation amount. Next, proceeding to step S12805, it is interpreted that the repetition interval is decreased. If it is determined in step S12803 that the instruction information does not satisfy the repeated determination value, the process proceeds to step S12806 and is interpreted to increase the operation amount.
[0192]
FIG. 129 is a flowchart illustrating a processing procedure using the total number of designated positions. In the figure, in step S12901, the total designated position number acquisition process is activated to obtain the total number of designated positions.
[0193]
FIG. 130 is a flowchart illustrating a processing procedure using the number of designated positions as instruction information other than the instruction locus. If the number of designated positions is greater than or equal to the maximum determination value in step S13001, the flow advances to step S13002 to be interpreted as the maximum page number, the maximum screen number, the maximum item number, or the maximum scale factor. In step S13001, if the number of designated positions is less than the maximum judgment value, the process proceeds to step S13003. If the number of designated positions is the repeat judgment value or more, the process proceeds to step S13004, where the number of pages is increased or the number of screens The increase, the increase in the number of items, or the increase in the scale factor is interpreted to increase, and then the process proceeds to step S13005, and the repetition interval is interpreted to decrease. If it is determined in step S13003 that the number of designated positions is less than the repeated determination value, the process advances to step S13006 to interpret an increase in page number, screen number, item number, or scale factor increase. Next, the process proceeds to step S13007, and is interpreted as a page movement operation, a screen movement operation, an item movement operation, or an enlargement / reduction operation.
[0194]
FIG. 131 is a diagram illustrating an operation example when interpreted as a page turning operation. At time t1, there are designated position point At1 and point Bt1, and when the total number of designated positions is 2, and at time t2, in addition to designated position point At2 and point Bt2, there are designated position point Ct2 and point Dt2. When the total number of indicated positions is 4, it is interpreted that the number of operation target pages in the page turning operation is larger at time t2 when the total number of indicated positions is larger.
[0195]
FIG. 132 is a diagram showing an example of operation data when interpreted as a page turning operation. As shown in graph 13201, at time t1, there are designated position points At1 and Bt1, and the total number of designated positions is two. At time t2, designated position points At2, Bt2, Ct2, and Dt2 are present, and all designated positions. The number is four. The table 13202 shows position data of the designated position points A, B, C, and D from time t1 to time t2. The table 13203 shows changes in the number of designated positions. In the designated position number data, the increase designated position number is 2 and the total designated position number is 3 at time t1. At time t2, the increase instruction position number is 2, and the total instruction position number is 5.
[0196]
[Embodiment 17]
In the present embodiment, an example of focusing on the designated position moving speed as instruction information other than the designated locus when interpreting an operation to be performed from a combination of the obtained two or more designated position movement loci will be specifically described. .
[0197]
FIG. 133 is a flowchart illustrating a processing procedure using the designated position moving speed as information other than the designated locus. In the figure, the designated position moving speed acquisition process is activated in step S13301, and the moving speed of the designated position is obtained. In step S13302, an instruction interpretation process based on the designated position moving speed is activated, and the instruction is interpreted based on the moving speed of the designated position.
[0198]
FIG. 134 is a flowchart illustrating a procedure of designated position movement speed acquisition processing. In the figure, in step S13401, the movement distance from the immediately preceding designated position is acquired, and in step S13042, the speed is calculated from the acquired distance and time.
[0199]
FIG. 135 is a flowchart showing the procedure of instruction interpretation processing using the designated position moving speed as the instruction information other than the instruction locus. In the figure, if the indicated position speed is greater than or equal to the maximum determination value in step S13501, the flow proceeds to step S13502, and is interpreted as the maximum page number, the maximum screen number, the maximum item number, or the maximum scale magnification. In step S13501, if the designated position speed is less than the maximum determination value, the process proceeds to step S13503. If the designated position speed is greater than or equal to the repeated determination value, the process proceeds to step S13504 to increase the number of pages or the number of screens. The increase, the increase in the number of items, or the increase in the scale factor is interpreted to increase, and then the process proceeds to step S13505, and the repetition interval is interpreted to decrease. If it is determined in step S13503 that the designated position speed is less than the repeated determination value, the process proceeds to step S13506, where the increase in the number of pages, the increase in the number of screens, the increase in the number of items, or the increase in the scale factor is interpreted. Next, proceeding to step S13507, it is interpreted as a page movement operation, a screen movement operation, an item movement operation, or an enlargement / reduction operation.
[0200]
FIG. 136 is a diagram illustrating an operation example when it is interpreted as a page turning operation using the designated position moving speed. When the designated position point A and point B move from time t1 to time t5, and when the designated position point A ′ and point B ′ move from time t1 to time t5, movement within the same time The speed is interpreted as the latter being larger.
[0201]
FIG. 137 is a diagram illustrating an example of operation data when interpreted as a page turning operation using the designated position moving speed. As shown in graph 13701, at time t1, the combination of designated position point A and designated position point B is such that designated position point At1 and designated position point A't1 are at the same coordinates (4, 2), and designated position point Bt1 And the designated position point B't1 are at the same coordinate (5,3). At time t5, the respective coordinates are designated by the designated position point At5 (3,3) and designated position point Bt5 (4,4). It has moved to A't5 (3,4) and designated position point B't5 (4,5).
[0202]
The table 13702 shows the position data of the designated position points A, B, A ′, B ′ from t1 to t5. The table 13703 shows the moving speed of the designated position. In the designated position moving speed data, the moving speed 0.559 of the designated position point A ′ and the designated position point B ′ The moving speed 0.559 is higher than the moving speed 0.354 at the indicated position point A and the moving speed 0.283 at the indicated position point B.
[0203]
[Embodiment 18]
In this embodiment, when interpreting an operation to be performed from a combination of movement loci of two or more indicated positions acquired, an example focusing on the contact pressure at the indicated position as instruction information other than the instruction locus will be specifically described. To do.
[0204]
FIG. 138 is a flowchart illustrating a processing procedure using the designated position contact pressure as information other than the designated locus. In the figure, the designated position contact pressure acquisition process is activated in step S13801, and the designated position contact pressure is obtained. In step S13802, an instruction interpretation process based on the indicated position contact pressure is activated, and the instruction is interpreted based on the contact pressure at the indicated position.
[0205]
FIG. 139 is a flowchart illustrating a procedure of instruction interpretation processing based on the instruction position contact pressure. In the figure, when the instruction information corresponding instruction interpretation process is activated, if the instruction position contact pressure is greater than or equal to the maximum determination value in step S13901, the process proceeds to step S13902, and the maximum number of screens, or the maximum number of items, or Interpret as the maximum scale factor. In step S13901, if the indicated position contact pressure is less than the maximum determination value, the process proceeds to step S13903.If the indicated position contact pressure is equal to or greater than the repeated determination value, the process proceeds to step S13904, where the number of screens is increased, or Interpretation to increase the number of items or increase in scale factor, and then proceed to step S13905 to interpret to decrease the repetition interval. If it is determined in step S13903 that the indicated position contact pressure does not reach the repetitive determination value, the flow advances to step S13906 to interpret an increase in the number of screens, the number of items, or the increase in scale factor. Next, the process proceeds to step S13907, and is interpreted as a screen movement operation, an item movement operation, or an enlargement / reduction operation.
[0206]
FIG. 140 is a diagram illustrating an operation example in the case of being interpreted as a screen movement operation by the designated position contact pressure. At the designated position point At1 (3, 3) and point Bt1 (4, 4) and the designated position point At5 (3, 3) and point Bt5 (4, 4), the latter is interpreted as having a larger contact pressure.
[0207]
FIG. 141 is a diagram illustrating an example of operation data that is interpreted as a screen movement operation based on the indication position contact pressure. As in graph 14101, from time t1 to time t5, the designated position point At1 (3,3) and the point Bt1 (4,4) to the designated position point At5 (3,1) and Bt5 (4,2) are the same. At the same time, the designated position points Ct1 (3,3) and Dt1 (4,4) are moved to designated position points Ct5 (3,1) and Dt5 (4,2). The table 14102 shows the position data of the designated position point A, the designated position point B, the designated position point C, and the designated position point D from t1 to t5. The table 14103 shows the contact pressure at the indicated position. In the indicated position contact pressure data, the indicated position point C and the indicated position are determined from the change in the contact pressure at the indicated position point A and the indicated position point B from time t1 to t5. The contact pressure change at point D is larger.
[0208]
[Embodiment 19]
In this embodiment, when interpreting an operation to be performed from a combination of movement loci of two or more designated positions acquired, an example focusing on the movement distances of a plurality of designated positions as instruction information other than the instruction locus is specifically described. explain.
[0209]
FIG. 142 is a flowchart illustrating a processing procedure using the movement distances of a plurality of designated positions as information other than the designated locus. In the figure, designated position movement distance acquisition processing is activated in step S14201, and the movement distance of the designated position is obtained. In step S14202, an instruction interpretation process based on the designated position moving distance is started, and the instruction is interpreted based on the designated position moving distance.
[0210]
FIG. 143 is a flowchart illustrating a procedure of instruction interpretation processing based on the movement distance of the plurality of designated positions. In the figure, when the instruction information corresponding instruction interpretation process is activated, if the instruction position movement distance is greater than or equal to the maximum determination value in step S14301, the process proceeds to step S14302, and the maximum number of pages, the maximum number of screens, or Interpret as the maximum number of items or maximum scale factor. In step S14301, if the designated position moving distance is less than the maximum determination value, the process proceeds to step S14303. If the designated position moving distance is not less than the repeated determination value, the process proceeds to step S14304, and the number of pages is increased. An increase in the number of screens, an increase in the number of items, or an increase in the scale factor is interpreted to be increased, and then the process proceeds to step S14305 and is interpreted to decrease the repetition interval. If it is determined in step S14303 that the designated position moving distance is less than the repeated determination value, the process proceeds to step S14306, and is interpreted to increase the page number, the screen number, the item number, or the scale factor increase. Next, the process proceeds to step S14307, and is interpreted as a page movement operation, a screen movement operation, an item movement operation, or an enlargement / reduction operation.
[0211]
FIG. 144 is a diagram illustrating an operation example when interpreted as a page turning operation. When the designated position point At1 (4, 2) and the point Bt1 (5, 3) at the time t1 move like the designated position point At5 (3, 3) and the point Bt5 (4, 4) at the time t5, and The designated position point A't1 (4,2) and the point B't1 (5,3) at the time t1 are the designated position point A't5 (3,6) and the point B't5 (4,7) at the time t5. In the case of moving as in the case of the latter, the latter is interpreted as having a longer moving distance.
[0212]
FIG. 145 is a diagram illustrating an example of data of an operation interpreted as a page turning operation. Like graph 14501, at time t1, the combination of designated position point A and designated position point B is such that designated position point At1 and designated position point A't1 are at the same coordinates (4, 2), and designated position point Bt1 And the designated position point B't1 are at the same coordinate (5,3). At time t5, the respective coordinates are designated by the designated position point At5 (3,3) and designated position point Bt5 (4,4). It has moved to A't5 (3, 6) and designated position point B't5 (4, 7). The table 14602 shows the position data of the designated position points A, B, A ′, B ′ from time t1 to time t5. The table 14603 shows the movement distances of a plurality of designated positions. In the movement distance data of the designated positions, the movement distance 4.123 of the designated position point A ′ and the designated position points are calculated based on the movement distance and the movement distance increase amount of each designated position. The movement distance 4.123 of B ′ is larger than the movement distance 1.414 of the designated position point A and the movement distance 1.131 of the designated position point B.
[0213]
[Embodiment 20]
In the present embodiment, an example of paying attention to the immobility time of a plurality of designated positions when interpreting an operation to be performed from a combination of movement trajectories of two or more designated positions acquired will be specifically described.
[0214]
FIG. 146 is a flowchart illustrating a processing procedure using the immobility time of a plurality of designated positions. In the same figure, the designated position immobilization time acquisition process is started in step s14601, and the immobilization time of the designated position is obtained. Next, in step s14602, if the designated position has not been fixed for a certain period of time, the process proceeds to step s14603, where it is interpreted as a range designation operation, and the designated range is clearly indicated in a form that can be distinguished from others on the display. If it is determined in step s14602 that the designated position is not stationary, the flow advances to step s14604 to interpret it as an operation for the specified range.
[0215]
FIG. 147 is a diagram illustrating an example of an operation that is interpreted as a range designation operation in the process using the immobility time at a plurality of designated positions. If the designated position points At1 and Bt1 are on an arbitrary character string at time t1, and if the designated position points At5 and Bt5 are on the same character string at time t5, it is interpreted that the area between the designated positions is specified. .
[0216]
FIG. 148 is a diagram illustrating an example of data when interpreted as a range designation operation in the process using the immobility time at a plurality of designated positions. Like graph 14801, indicated position point A (3, 3) is at the same coordinate from time t1 to t5, and indicated position point B (4, 4) is also at the same coordinate from time t1 to t5. It is in. The table 14802 shows the position data of the designated position points A and B from the designated position times t1 to t5. The table 14803 shows the movement amount of the designated position. In the designated position movement data, the movement amount of the designated position point A is 0 at time t1, and is 0 at time t5 after t2. Similarly, the movement amount of the designated position point B is 0 from time t1 to time t5, and it can be seen that the designated position point A and point B do not move from time t1 to time t5.
[0217]
FIG. 149 is a diagram illustrating an operation example in the case of processing using the immobilization time at a plurality of designated positions when the operation is interpreted as an enlargement operation with respect to a specified range. At time t5, the designated position point At5 and the designated position point Bt5 are on an arbitrary character string, and at time t6, the designated position point At6 and the designated position point Bt6 are moved from the position of t5, respectively. Interpreted as an enlargement operation on the specified range.
[0218]
FIG. 150 is a diagram illustrating an example of data when interpreted as an enlargement operation with respect to a specified range in the process using the immobilization time of a plurality of designated positions. As in the graph 15001, the designated position points A (3, 3) and B (4, 4) are at the same coordinates from time t1 to t5, and the designated position points At6 (2, 2.5) and Bt6 (4, 4) ) Exist in a direction away from the other designated position as seen from the position at time t5. The table 15002 shows the position data of the designated position point A and the designated position point B from the time t1 to t6 of the designated position. The table 15003 shows the time change of the designated position. In the designated position movement data, the movement amount of the designated position point A and the designated position point B is 0 between the times t1 and t5, and between the designated positions AB. The distance change magnification is 100% and has not changed. At time t6, the moving amount of point A is 1.118, the moving amount of point B is 2.236, and the distance change magnification between the designated positions AB is expanded to 285%.
[0219]
It should be noted that the present invention is applied to a system composed of a plurality of devices (for example, a computer main body, an interface device, a display, etc.) even when applied to an apparatus composed of a single device within the range in which the functions of the above embodiments can be realized. You may apply.
[0220]
In addition, for the purpose of operating various devices so as to realize the functions of the above-described embodiments, a software program that realizes the functions of the above-described embodiments on an apparatus or a computer in the system connected to the various devices. You may achieve by supplying the storage medium which stored the code | cord | chord, and the computer in an apparatus or a system reading and executing the program code stored in the storage medium.
[0221]
As a storage medium for supplying such program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0222]
Alternatively, the program code may be provided from outside via a communication line.
[0223]
Further, the computer in the apparatus or system reads out and executes the program code stored in the storage medium, thereby not only directly realizing the functions of the above-described embodiments but also on the computer based on the instruction of the program code. The case where the above-described functions are realized by processing of an OS or the like that is running on is also included.
[0224]
In these cases, the storage medium storing the program code and the program code itself constitute the present invention.
[0225]
【The invention's effect】
As described above, according to the present invention, it is possible to detect the trajectories of two or more designated positions that move simultaneously.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a hardware configuration of an information processing apparatus according to an embodiment.
FIG. 2 is a diagram illustrating an example of position input by a finger using a touch panel.
FIG. 3 is a diagram illustrating an example of position input by a finger using the photographing apparatus.
FIG. 4 is a flowchart showing a procedure of processing using a locus of a designated position.
FIG. 5 is a flowchart illustrating a procedure of locus detection processing.
FIG. 6 is a flowchart showing a procedure of a combination specifying process.
FIG. 7 is a diagram illustrating an example of stored indication position data.
FIG. 8 is a diagram illustrating an example of current designated position data acquired.
FIG. 9 is a diagram illustrating a flow of data used in detecting a locus of a plurality of designated positions.
FIG. 10 is a flowchart showing a procedure of trajectory detection processing using the size of the designated area.
FIG. 11 is a flowchart illustrating a procedure of a combination specifying process using an instruction area.
FIG. 12 is a diagram showing the area of the current designated position acquired.
FIG. 13 is a diagram illustrating an example of stored area data of a designated position.
FIG. 14 is a diagram illustrating a flow of data used in processing using the size of the designated area.
FIG. 15 is a flowchart showing an operation procedure using a trajectory of a plurality of designated positions.
FIG. 16 is a flowchart showing a flow of instruction interpretation processing.
FIG. 17 is a flowchart illustrating a procedure for acquiring a change in distance between designated positions.
FIG. 18 is a flowchart illustrating a procedure of instruction interpretation processing based on a change in distance.
FIG. 19 is a flowchart showing another procedure of instruction interpretation processing based on a change in distance.
FIG. 20 is a diagram illustrating an example of an operation interpreted as a reduction operation.
FIG. 21 is a diagram illustrating an example of data interpreted as a reduction operation.
FIG. 22 is a diagram illustrating an operation example that is interpreted as an enlargement operation;
FIG. 23 is a diagram illustrating an example of data interpreted as an enlargement operation.
FIG. 24 is a flowchart showing a procedure of instruction interpretation using an angle change of an instruction position.
FIG. 25 is a flowchart illustrating a procedure of an acquisition process of the change in angle of the designated position.
FIG. 26 is a flowchart illustrating a procedure of instruction interpretation processing based on an angle change.
FIG. 27 is a diagram illustrating an operation example interpreted as a right rotation operation;
FIG. 28 is a diagram illustrating an example of data interpreted as a right rotation operation.
FIG. 29 is a diagram illustrating an operation example that is interpreted as a left rotation operation;
FIG. 30 is a diagram illustrating an example of data interpreted as a left rotation operation.
FIG. 31 is a flowchart illustrating a procedure of instruction interpretation processing using a relationship between a fixed instruction position and a movement instruction position.
FIG. 32 is a flowchart illustrating a procedure of fixed instruction position detection processing;
FIG. 33 is a flowchart illustrating a procedure of instruction interpretation processing based on a moving direction.
FIG. 34 is a flowchart showing a procedure of designated position movement direction determination processing;
FIG. 35 is a diagram illustrating an interpretation of an angle used in a designated position movement direction determination process.
FIG. 36 is a diagram illustrating an operation example that is interpreted as a left movement operation;
FIG. 37 is a diagram illustrating an example of data interpreted as a left movement operation.
FIG. 38 is a diagram illustrating an operation example that is interpreted as an upward movement operation;
FIG. 39 is a diagram illustrating an example of data interpreted as an upward movement operation.
FIG. 40 is a diagram illustrating an operation example that is interpreted as a downward movement operation;
FIG. 41 is a diagram illustrating an example of data interpreted as a downward movement operation;
FIG. 42 is a diagram illustrating an operation example interpreted as a right movement operation.
FIG. 43 is a diagram illustrating data interpreted as a right movement operation.
FIG. 44 is a flowchart showing a procedure of instruction interpretation processing using a change in distance between a fixed instruction position and a movement instruction position.
FIG. 45 is a flowchart showing a procedure of instruction interpretation processing based on a change in distance between designated positions.
FIG. 46 is a diagram illustrating an operation example interpreted as a reduction operation.
FIG. 47 is a diagram illustrating an example of data interpreted as a reduction operation.
FIG. 48 is a diagram illustrating an operation example that is interpreted as an enlargement operation;
FIG. 49 is a diagram illustrating an example of data interpreted as an enlargement operation.
FIG. 50 is a diagram illustrating an operation example that is interpreted as a reduction operation centered on a fixed instruction position;
FIG. 51 is a diagram illustrating an example of data interpreted as a reduction operation centered on a fixed instruction position;
FIG. 52 is a flowchart illustrating a processing procedure using a distance between movement instruction positions.
FIG. 53 is a flowchart illustrating a procedure of instruction interpretation processing based on a change in distance between movement instruction positions.
FIG. 54 is a diagram illustrating an operation example interpreted as a reduction operation.
FIG. 55 is a diagram illustrating an example of data interpreted as a reduction operation.
FIG. 56 is a diagram illustrating an operation example that is interpreted as an enlargement operation;
FIG. 57 is a diagram illustrating data interpreted as an enlargement operation.
FIG. 58 is a diagram illustrating an example of an operation interpreted as a multiple movement instruction operation.
FIG. 59 is a diagram illustrating data interpreted as a multiple movement instruction operation.
FIG. 60 is a flowchart showing a procedure of processing using an angle change between designated positions.
FIG. 61 is a flowchart showing a procedure of instruction interpretation processing based on an angle change between instruction positions.
FIG. 62 is a diagram illustrating an operation example that is interpreted as a right rotation operation;
FIG. 63 is a diagram illustrating an example of data interpreted as a right rotation operation;
FIG. 64 is a diagram illustrating an operation example that is interpreted as a left rotation operation;
FIG. 65 is a diagram illustrating an example of data interpreted as a left rotation operation;
FIG. 66 is a flowchart illustrating a procedure of processing using an angle change of a movement instruction position.
FIG. 67 is a flowchart showing a procedure of instruction interpretation processing based on a change in angle of a movement instruction position.
FIG. 68 is a diagram illustrating an operation example that is interpreted as a right rotation operation;
FIG. 69 is a diagram illustrating an example of data interpreted as a right rotation operation;
FIG. 70 is a diagram illustrating an operation example interpreted as a left rotation operation;
FIG. 71 is a diagram illustrating an example of data interpreted as a left rotation operation;
FIG. 72 is a diagram illustrating an operation example that is interpreted as a rotation operation with the center of gravity as the center;
FIG. 73 is a diagram showing an example of data interpreted as a rotation operation centered on the center of gravity.
FIG. 74 is a flowchart illustrating a procedure of processing using a positional relationship between designated positions.
FIG. 75 is a flowchart illustrating a procedure of a positional relationship determination process between designated positions.
FIG. 76 is a flowchart illustrating a procedure of instruction interpretation processing based on a positional relationship between instruction positions.
FIG. 77 is a diagram illustrating an operation example that is interpreted as an up / down movement operation;
FIG. 78 is a diagram illustrating an example of data interpreted as a vertical movement operation.
FIG. 79 is a diagram illustrating an operation example that is interpreted as a left-right movement operation;
FIG. 80 is a diagram illustrating data interpreted as a left / right movement operation;
FIG. 81 is a flowchart showing a procedure of instruction interpretation processing based on a positional relationship between instruction positions.
FIG. 82 is a flowchart showing a procedure of instruction interpretation processing based on a positional relationship change.
FIG. 83 is a flowchart illustrating a procedure of a change process of relationship between designated positions.
FIG. 84 is a diagram illustrating an operation example interpreted as a reversal operation.
FIG. 85 is a diagram illustrating an example of data interpreted as a reversal operation.
FIG. 86 is a diagram illustrating an operation example that is interpreted as a left / right reversal operation;
FIG. 87 is a diagram illustrating an example of data interpreted as a left / right reversing operation.
FIG. 88 is a diagram illustrating an operation example that is interpreted as an upside down operation;
FIG. 89 is a diagram illustrating an example of data interpreted as an upside down operation.
FIG. 90 is a flowchart illustrating a procedure of a positional relationship determination process between designated positions.
FIG. 91 is a flowchart showing a procedure of instruction interpretation processing based on a positional relationship with respect to a fixed instruction position.
FIG. 92 is a flowchart showing a detailed procedure of instruction interpretation processing based on a positional relationship with respect to a fixed instruction position.
FIG. 93 is a flowchart showing a procedure of a positional relationship determination process for a fixed instruction position.
FIG. 94 is a flowchart showing a procedure of designated position movement direction acquisition processing;
FIG. 95 is a diagram showing two operation examples with different interpretations depending on the positional relationship when the movement directions are the same.
FIG. 96 is a diagram showing an example of data interpreted as a next item operation.
FIG. 97 is a flowchart illustrating a processing procedure based on the positional relationship between the fixed instruction position and the movement instruction position.
FIG. 98 is a flowchart illustrating a procedure of a positional relationship determination process between a fixed instruction position and a movement instruction position.
FIG. 99 is a flowchart showing a procedure of a relationship determination process between designated positions.
FIG. 100 is a flowchart illustrating a procedure of an instruction position relationship change acquisition process;
FIG. 101 is a flowchart illustrating a procedure of instruction interpretation processing based on a positional relationship between a fixed instruction position and a movement instruction position.
FIG. 102 is a diagram illustrating an operation example that is interpreted as inversion of symmetry.
FIG. 103 is a diagram illustrating an example of data when interpreted as a symmetric inversion operation.
FIG. 104 is a flowchart showing the flow of processing when there are three or more fixing instruction positions.
FIG. 105 is a flowchart showing a procedure of a positional relationship determination process of a movement instruction position with respect to a plurality of fixed instruction positions.
FIG. 106 is a flowchart illustrating a procedure of a process for acquiring a relationship between designated positions.
FIG. 107 is a diagram illustrating an operation example that is interpreted as being within an area;
FIG. 108 is a diagram illustrating an example of data of an operation interpreted as being within an area.
FIG. 109 is a flowchart illustrating a procedure of acquisition processing of a change in positional relationship between designated positions.
FIG. 110 is a diagram illustrating an example of an operation that is interpreted as movement outside a region.
FIG. 111 is a diagram illustrating an example of operation data that is interpreted as movement outside a region;
FIG. 112 is a flowchart illustrating a procedure of instruction interpretation processing based on a positional relationship between a plurality of fixed instruction positions and movement instruction positions.
FIG. 113 is a diagram illustrating an example of an operation that is interpreted as attribute assignment in a region between fixed designated positions.
FIG. 114 is a diagram illustrating an example of operation data that is interpreted as attribute assignment in a region between fixed designated positions.
FIG. 115 is a flowchart illustrating a procedure of instruction interpretation processing using a change in the number of designated positions of a plurality of designated positions.
FIG. 116 is a flowchart showing a procedure of instruction interpretation processing based on a change in the number of initial designated positions.
FIG. 117 is a diagram illustrating an operation example when the operation target is being interpreted as being specified;
FIG. 118 is a diagram illustrating an example of operation data when being interpreted as an operation target designation in progress.
FIG. 119 is a flowchart showing a procedure of instruction interpretation processing based on a change in the number of designated positions.
FIG. 120 is a flowchart showing a procedure of instruction interpretation processing based on an initial pointing position.
FIG. 121 is a diagram illustrating an operation example when it is interpreted as a rotation operation centered on the designated position.
FIG. 122 is a diagram showing an example of data when interpreted as a rotation operation centered on the designated position.
FIG. 123 is a flowchart showing a procedure of processing using a change in the number of final designated positions.
FIG. 124 is a flowchart illustrating a procedure of instruction interpretation processing based on a change in the number of final designated positions.
FIG. 125 is a diagram illustrating an operation example when it is interpreted as a cancel instruction for the immediately preceding operation.
FIG. 126 is a diagram showing an example of operation data when interpreted as a cancel instruction for the immediately preceding operation;
FIG. 127 is a flowchart showing a processing procedure using instruction information other than the instruction locus;
FIG. 128 is a flowchart showing a procedure of processing using instruction information other than the instruction locus;
FIG. 129 is a flowchart illustrating a processing procedure using the total number of designated positions.
FIG. 130 is a flowchart illustrating a procedure of instruction interpretation processing using the number of designated positions.
FIG. 131 is a diagram illustrating an operation example that is interpreted as a page turning operation;
FIG. 132 is a diagram illustrating an example of data interpreted as a page turning operation.
FIG. 133 is a flowchart showing a procedure of processing for acquiring a designated position moving speed as instruction information other than the designated locus.
FIG. 134 is a flowchart showing a procedure of designated position movement speed acquisition processing;
FIG. 135 is a flowchart showing a procedure of instruction interpretation processing based on a designated position moving speed.
FIG. 136 is a diagram showing an operation example when it is interpreted as a page turning operation using a designated position moving speed;
FIG. 137 is a diagram showing an example of data when interpreted as a page turning operation using a designated position moving speed.
FIG. 138 is a flowchart showing a procedure of processing using designated position contact pressure as instruction information other than the designated locus.
FIG. 139 is a flowchart showing a procedure of instruction interpretation processing based on an instruction position contact pressure;
FIG. 140 is a diagram illustrating an example of an operation that is interpreted as a screen movement operation based on an instruction position contact pressure;
FIG. 141 is a diagram illustrating an example of data that is interpreted as a screen movement operation based on a designated position contact pressure;
FIG. 142 is a flowchart showing a procedure of processing using a moving distance of a plurality of designated positions.
FIG. 143 is a flowchart illustrating a procedure of instruction interpretation processing based on a movement distance of a plurality of designated positions.
FIG. 144 is a diagram showing an operation example when interpreted as a page turning operation using the movement distances of a plurality of designated positions.
FIG. 145 is a diagram showing an example of data when interpreted as a page turning operation using the movement distances of a plurality of designated positions.
FIG. 146 is a flowchart showing a processing procedure when attention is paid to immobility times at a plurality of designated positions.
FIG. 147 is a diagram showing an operation example when interpreted as a range specifying operation;
FIG. 148 is a diagram illustrating an example of data when interpreted as a range specifying operation.
FIG. 149 is a diagram illustrating an operation example that is interpreted as an enlargement operation with respect to a specified range;
FIG. 150 is a diagram illustrating an example of data interpreted as an enlargement operation with respect to a specified range.

Claims (5)

複数個所の指示位置を同時に検知可能な指示位置検知手段と、
前記指示位置検知手段で検知される指示位置の面積を検知可能な指示面積検知手段と、
前記指示位置検知手段及び前記指示面積検知手段により検知された複数個所の指示位置及び指示位置の面積を組み合わせて記憶する記憶手段と、
前記指示位置検知手段によって直前に検知された複数個所の指示位置と、前記指示位置検知手段により検知された現在の複数個所の指示位置とに基づいて、複数個所の指示位置の移動の軌跡を識別する移動軌跡識別手段と
を具え、
前記移動軌跡識別手段は、
前記現在の複数個所の指示位置のそれぞれについて、前記指示面積検知手段で検知された指示位置の面積と、前記指示面積検知手段で検知された直前の複数個所の指示位置の面積の中で最も近い面積の指示位置を、現在の指示位置に対する直前の指示位置として、前記複数個所の移動の軌跡を識別して、前記現在の複数個所の指示位置毎に前記記憶手段に記憶された直前の複数個所の指示位置と指示面積に対応させて前記記憶手段に指示位置と指示面積を記憶することを特徴とする位置情報処理装置。Indicated position detecting means capable of simultaneously detecting indicated positions at a plurality of locations;
Indicated area detecting means capable of detecting the area of the indicated position detected by the indicated position detecting means;
Storage means for storing a combination of designated positions and designated position areas detected by the designated position detecting means and the designated area detecting means;
Based on the plurality of designated positions detected immediately before by the designated position detecting means and the current designated positions detected by the designated position detecting means, the locus of movement of the designated positions is identified. A moving locus identifying means for
The movement trajectory identifying means includes
For each of the current plurality of designated positions, the area of the designated position detected by the designated area detecting means and the area of the designated positions immediately before detected by the designated area detecting means are the closest Using the designated position of the area as the immediately preceding designated position with respect to the current designated position, the locus of movement of the plurality of locations is identified, and the plurality of immediately preceding locations stored in the storage means are stored for each of the currently designated multiple designated positions. A position information processing apparatus that stores an instruction position and an instruction area in the storage means in correspondence with the instruction position and the instruction area . 前記指示位置検知手段は、タッチパネル式の検知手段であることを特徴とする請求項１記載の位置情報処理装置。  The position information processing apparatus according to claim 1, wherein the indicated position detection unit is a touch panel type detection unit. 前記指示面積検知手段は、前記タッチパネル式の検知手段のタッチパネルの接触面積を検知することを特徴とする請求項２に記載の位置情報処理装置。The position information processing apparatus according to claim 2 , wherein the indication area detection unit detects a touch area of the touch panel of the touch panel type detection unit. 前記指示位置検知手段が、操作者が指示している様子を撮影する撮影手段と、
前記撮影手段により撮影された映像から、指示位置を認識する指示位置認識手段とを具えることを特徴とする請求項１記載の位置情報処理装置。An imaging unit for imaging the state where the indicated position detection unit is instructed by an operator;
The position information processing apparatus according to claim 1, further comprising designated position recognition means for recognizing a designated position from an image photographed by the photographing means. 前記指示位置検知手段が、操作者の指先の位置を検知することを特徴とする請求項１記載の位置情報処理装置。  The position information processing apparatus according to claim 1, wherein the indicated position detection unit detects a position of an operator's fingertip.

Images