JP6043423B2 - 端末装置及びオブジェクト選択方法 - Google Patents

Description

本発明は、端末装置及びオブジェクト選択方法に関するものである。

近年、スマートフォン、タブレット端末、又はパーソナルコンピュータ等の端末装置には入出力装置としてタッチパネルディスプレイを備えるタイプが急速に普及しつつある。このようなタイプの端末装置では、タッチパネルディスプレイ上に表示された文書や画像等のオブジェクトを選択するには、ユーザの指やスタイラスペン等の操作子が用いられる。

例えば、タッチパネルディスプレイ上に表示されたテキストを選択するための技術として、下記特許文献１記載の文書表示装置が知られている。この文書表示装置では、タッチパネルディスプレイに指を接触させたまま所望の方向に移動させることによりタッチパネルディスプレイ上に表示されているテキストの範囲を選択できる。

特開２０１３−８２０１号公報

しかしながら、上述した従来の文書表示装置においては、選択範囲が広い場合には選択操作が煩雑になる傾向にあり、直観的に必要な範囲を選択することが困難な傾向にある。例えば、選択範囲の広さに応じて操作時間が長くなる場合がある。また、操作時間を短く設定すると選択範囲を正確に定めることが困難である。

そこで、本発明は、かかる課題に鑑みて為されたものであり、タッチパネルディスプレイ上でのオブジェクトを選択する際に、直観的な操作によって正確に選択範囲を定めることが可能な端末装置及びオブジェクト選択方法を提供することを目的とする。

上記課題を解決するため、本発明の一形態に係る端末装置は、オブジェクトを表示するとともに、操作子の接近或いは接触を検知するタッチパネルディスプレイと、タッチパネルディスプレイへの操作子の接近位置、或いは操作子の接触位置である座標値を検出する座標検出手段と、座標検出手段によって検出された複数の操作子の座標値が、同時に所定時間の間維持されたときに、複数の操作子の座標値によって定められる選択範囲を設定し、該選択範囲に含まれるオブジェクトを選択するオブジェクト選択手段と、を備え、オブジェクト選択手段は、複数の座標値が所定の時間の間維持されたときに第１の選択範囲を設定し、その後、複数の座標値が所定の時間の間維持されたときに第２の選択範囲を設定し、さらに、第１の選択範囲に対して第２の選択範囲を除外或いは付加することでオブジェクトを選択するための選択範囲を設定し、第１の選択範囲に第２の選択範囲が包含されていると認識されたときには、第１の選択範囲に対して第２の選択範囲を除外し、第２の選択範囲が第１の選択範囲外に存在すると認識されたときには、第１の選択範囲に対して第２の選択範囲を付加する。

或いは、本発明の他の形態に係るオブジェクト選択方法は、タッチパネルディスプレイが、オブジェクトを表示するとともに、操作子の接近或いは接触を検知する入出力ステップと、座標検出手段が、タッチパネルディスプレイへの操作子の接近位置、或いは操作子の接触位置である座標値を検出する座標検出ステップと、オブジェクト選択手段が、座標検出手段によって検出された複数の操作子の座標値が、同時に所定時間の間維持されたときに、複数の操作子の座標値によって定められる選択範囲を設定し、該選択範囲に含まれるオブジェクトを選択するオブジェクト選択ステップと、を備え、オブジェクト選択ステップでは、複数の座標値が所定の時間の間維持されたときに第１の選択範囲を設定し、その後、複数の座標値が所定の時間の間維持されたときに第２の選択範囲を設定し、さらに、第１の選択範囲に対して第２の選択範囲を除外或いは付加することでオブジェクトを選択するための選択範囲を設定し、第１の選択範囲に第２の選択範囲が包含されていると認識されたときには、第１の選択範囲に対して第２の選択範囲を除外し、第２の選択範囲が第１の選択範囲外に存在すると認識されたときには、第１の選択範囲に対して第２の選択範囲を付加する。

このような端末装置或いはオブジェクト選択方法によれば、タッチパネルディスプレイによってオブジェクトが表示された状態で、タッチパネルディスプレイ上における複数の操作子の接近或いは接触の位置が座標値で検出され、複数の操作子の座標値が所定時間維持されたことが判定されると、それらの座標値で囲まれる選択範囲に含まれるオブジェクトが選択される。これにより、一定時間の操作によって所望範囲のオブジェクトが正確に選択される。その結果、直観的な操作によって正確に選択範囲を定めてオブジェクトを選択することが可能になる。さらに、一定時間複数の操作子の座標値が維持されたか否かで選択範囲を設定することにより、従来の複数の操作子を用いた入力操作との競合を防ぐことができる。

本発明によれば、タッチパネルディスプレイ上でのオブジェクトを選択する際に、直観的な操作によって正確に選択範囲を定めることができる。

本発明の好適な一実施形態にかかる端末装置の概略構成図である。 図１の座標情報格納部３１に格納されたデータの構成例を示す図である。 図１の端末装置１によるオブジェクト選択時の動作を示すフローチャートである。 図１の端末装置１によるオブジェクト省略表示の動作、及びオブジェクト選択時の動作を示すフローチャートである。 図１の端末装置１におけるオブジェクト選択時の出力例を示す図である。 図１の端末装置１におけるオブジェクト省略表示の出力例を示す図である。 本発明の変形例において座標情報格納部３１に格納されたデータの構成例を示す図である。 本発明の変形例においてオブジェクト選択時の動作を示すフローチャートである。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例においてオブジェクトの選択範囲の除外処理によって除外されたタッチパネルディスプレイ２１上の範囲を示す概念図である。 本発明の変形例においてオブジェクトの選択範囲の除外処理を経て選択されたオブジェクトのイメージを示す図である。 本発明の変形例においてオブジェクトの選択範囲の付加処理によって付加されたタッチパネルディスプレイ２１上の範囲を示す概念図である。 本発明の変形例においてオブジェクトの選択範囲の付加処理を経て選択されたオブジェクトのイメージを示す図である。 本発明の変形例において選択されたオブジェクトのイメージを示す図である。 本発明の変形例において選択されたオブジェクトのイメージを示す図である。 本発明の変形例においてオブジェクト選択時の画面出力例を示す図である。 本発明の変形例において選択されたオブジェクトのイメージを示す図である。

以下、図面とともに本発明による端末装置及びオブジェクト選択方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態にかかる端末装置１の概略構成図である。図１に示す端末装置１は、スマートフォン、タブレット端末、携帯電話端末、パーソナルコンピュータ等に代表される移動体通信ネットワーク或いは無線ＬＡＮ（Local Area Network）に接続可能な情報処理端末装置である。

この端末装置１は、情報を表示する出力デバイスとしていわゆるタッチパネルディスプレイ２１を備える端末装置であり、機能的な構成要素として、入出力制御部２２、座標検知部（座標検出手段）２３、オブジェクト選択部（オブジェクト選択手段）２４、アプリケーションプログラム２５、オブジェクト格納部３０、座標情報格納部３１、及びデータ格納部３２を備えている。以下、端末装置１の各構成要素の機能について詳細に説明する。

この端末装置１が備えるタッチパネルディスプレイ２１は、アイコン、写真、文書等のオブジェクトを画像として表示するとともに、操作子の接近或いは接触を検知することによる情報の入力操作を受け付ける入出力デバイスである。本実施形態では、このタッチパネルディスプレイ２１は、操作子としてユーザの複数の指の接近或いは接触を同時に検知可能に構成されるが、操作子としてスタイラスペンの接近或いは接触を検知可能に構成されていてもよい。さらに、タッチパネルディスプレイ２１は、ユーザの複数の指とタッチパネルディスプレイ２１の画面との接近距離を同時に検知可能に構成されている。例えば、タッチパネルディスプレイ２１は、静電容量式のタッチパネルディスプレイであり、指とタッチパネルディスプレイ内の回路との間の静電容量の変化量を検知することにより画面と指との距離（接近距離）を算出可能に構成される。これにより、タッチパネルディスプレイ２１は、指が画面に接触したことと指が画面に接近したこととを区別して検知することができる。また、その他、タッチパネルディスプレイ２１として、Ｉｎ−Ｃｅｌｌ型のような赤外線を利用した光学式の接近距離が算出可能な構成が採用されてもよい。

入出力制御部２２は、表示対象のオブジェクトのデータを格納するオブジェクト格納部３０からオブジェクトを読み出して、タッチパネルディスプレイ２１に引き渡すことにより、タッチパネルディスプレイ２１におけるオブジェクトの表示を制御する。さらに、入出力制御部２２は、座標検知部２３を経由して、ユーザの指による接近或いは接触によるオブジェクトに対する情報の入力を受け付ける。例えば、入出力制御部２２は、タッチパネルディスプレイ２１上にアイコン画像を表示するように制御し、そのアイコン画像への接触を検出することにより当該アイコン画像に対応した所定コマンドの入力を受け付ける。また、入出力制御部２２は、ユーザの指の接近或いは接触の座標情報をオブジェクト選択部２４に引き渡すことも行う。また、入出力制御部２２は、オブジェクト選択部２４によってテキストイメージ又は画像を含むオブジェクトの範囲が選択されたときに、その範囲選択に対する表示制御も併せて行う（詳細は後述する）。

なお、入出力制御部２２が表示制御するオブジェクトとしては、電子書籍、電子メールデータ等のテキストイメージのほか、インターネット上のＳＮＳ（Social Networking Service）用Ｗｅｂサイトに投稿された日記データ等の写真画像を含むテキストイメージ等が挙げられる。また、これらのオブジェクトは、オブジェクト格納部３０から読み出されてもよいし、端末装置１が移動体通信ネットワーク或いは無線ＬＡＮを経由して外部から取得したものであってもよい。

座標検知部２３は、タッチパネルディスプレイ２１から信号を受け取って、タッチパネルディスプレイ２１によって検出された画面上の指の接近位置或いは接触位置を示す二次元座標値（以下、「座標情報」という。）、及びそのときにタッチパネルディスプレイ２１によって検出された指の画面との距離（以下、「接近距離」という。）をその都度算出する。そして、座標検知部２３は、算出した接近距離を基に、検出された座標情報が、接近した指に対して検出されたものか、或いは接触した指に対して検出されたものかを示す検出種別情報を生成する。ここで、座標検知部２３は、検出種別情報の代わりに接近距離そのものを示す情報を生成してもよい。そして、座標検知部２３は、座標情報としての二次元的な座標値“（Ｘ，Ｙ）”と検出種別情報とを、対応付けて座標情報格納部３１に格納する。このとき、座標検知部２３は、タッチパネルディスプレイ２１によって複数の指が同時に検出された際には、座標情報と検出種別情報との組み合わせを複数同時に生成して格納する。

図２には、座標検知部２３によって座標情報格納部３１に格納されたデータの構成例を示している。同図に示すように、タッチパネルディスプレイ２１によって２つの指の接近が検出されているときには、データ格納部３２に、座標情報と検出種別情報とが対応付けられた２つのデータレコードとして、“検出種別「近接」、座標値「(X1,Y1)」”と“検出種別「近接」、座標値「(X2,Y2)」”とが格納される。

図１に戻って、オブジェクト選択部２４は、タッチパネルディスプレイ２１上に表示されたテキストイメージ及び画像を含むオブジェクトに対して選択範囲を設定し、該選択範囲に含まれるテキストデータ及び画像データを選択してデータ格納部３２に格納する。具体的には、オブジェクト選択部２４は、随時、座標検知部２３によって検知されている複数の操作子に関する情報を座標情報格納部３１から読み出す。さらに、オブジェクト選択部２４は、読み出した情報に含まれる２つの選択子の座標情報の示す座標が、同時に予め設定された時間（例えば、１秒間）維持されており、かつ、２つの選択子に対応する検出種別情報が“接近”を示していること（以下、「範囲選択条件」と言う。）を満足しているかを判定する。このとき、オブジェクト選択部２４は、座標情報が維持されているかを判定する際には、設定時間内の座標値の変位量が所定の誤差の範囲内であるか否かで判定する。そして、オブジェクト選択部２４は、範囲選択条件が満たされたときに、２つの操作子の座標情報によって定められるタッチパネルディスプレイ２１上の選択範囲を設定し、この選択範囲に含まれるオブジェクト内のテキストデータ及び画像データを選択する。その後、オブジェクト選択部２４は、入出力制御部２２を介したユーザからの所定の操作の受け付けによりオブジェクト内のデータの選択が確定されたタイミングで、選択されたデータをデータ格納部３２に格納する。ここで、オブジェクト選択部２４は、選択が確定されたデータをアプリケーションプログラム２５に直接引き渡すこともできるし、データの引き渡し動作の種別を「コピー」、「カット」、「検索」、「共有」等のように多種類に設定してもよい。

なお、オブジェクト選択部２４は、上記のようにしてオブジェクトの選択範囲を設定した後に、次のようにしてそのオブジェクトの選択を確定させる。すなわち、オブジェクト選択部２４は、範囲選択条件が満たされたと判定した後に、２つの操作子の座標が互いに近づくように変化しており（いわゆる、ピンチインの操作であり）、かつ、２つの選択子に対応する検出種別情報が“接近”を維持していること（以下、「範囲選択確定条件」と言う。）を満足しているかを判定する。そして、オブジェクト選択部２４は、範囲選択確定条件を満たしたと判定した際に選択されたデータを確定させる。この際、範囲選択確定条件は、２つの選択子の座標が両方変化したことを条件としてもよいし、２つの選択子のうち一方の座標が他方に近づくように変化したことを条件としてもよい。

また、オブジェクト選択部２４は、オブジェクトの選択範囲の設定を実行する際に、次のようにして、入出力制御部２２を介して、オブジェクトの省略表示を制御することも可能である。詳細には、オブジェクト選択部２４は、２つの操作子の座標値を検出した状態において、一方の操作子の検出種別情報が“接触”であり、他方の操作子の検出種別情報が“接近”であり、その一方の操作子の座標値が維持されており、その他方の操作子の座標値の示す位置が一方の操作子の座標値の示す位置に近づくように変化していること（いわゆる、ピンチインの操作であること）の全て（以下、「省略表示条件」と言う。）を満足しているかを判定する。そして、オブジェクト選択部２４は、省略表示条件を満たしていると判定した際には、表示されているオブジェクトの２つの操作子の座標値の示す位置に挟まれる範囲の表示を省略し、そのオブジェクトにおける“接近”が検知された操作子側の一部分を、省略された範囲に折り返して（繰り上げて）表示するように、入出力制御部２２を制御する。

アプリケーションプログラム２５は、オブジェクト選択部２４から引き渡されたデータを処理する各種のプログラムである。例えば、アプリケーションプログラム２５は、文書作成用プログラム、電子メール作成プログラム、Ｗｅｂサイトに接続するためのブラウザ、電子書籍閲覧用プログラム等である。このアプリケーションプログラム２５は、オブジェクト選択部２４によって選択されたデータとともにデータ引き渡し動作の種別を引き渡された場合には、それに応じた処理を実行する。例えば、動作種別「コピー」を引き渡された際にはそのデータを文書データ或いは電子メール文書にコピーし、動作種別「検索」を引き渡された際にはそのデータを検索キーとしてインターネット上における検索処理を起動し、動作種別「共有」を引き渡された際にはそのデータをＷｅｂサイトに投稿するために送信する。

以下、図３及び図４を参照して、端末装置１の動作について説明するとともに、併せて端末装置１におけるオブジェクト選択方法について詳述する。図３は、端末装置１によるオブジェクト選択時の動作を示すフローチャート、図４は、端末装置１によるオブジェクト省略表示の動作、及びオブジェクト選択時の動作を示すフローチャートである。また、図５にはオブジェクト選択時のタッチパネルディスプレイ２１の出力例を示し、図６にはタッチパネルディスプレイ２１におけるオブジェクト省略表示の出力例を示す。

まず、図３を参照して、タッチパネルディスプレイ２１上でオブジェクトが表示された状態で、座標検知部２３によりユーザの指の接近が２点で検知される（ステップＳ１０１、図５（ａ），図５（ｂ））。その後、オブジェクト選択部２４により範囲選択条件が満たされているか否かが判定される（ステップＳ１０２）。判定の結果、範囲選択条件が満たされていないと判定された場合（ステップＳ１０２；ＮＯ）、さらに、入出力制御部２２により、ユーザの指の接触が２点で検知されており、その２点の座標が互いに近づいているか、或いは遠ざかっているか（いわゆる、ピンチイン／ピンチアウトのピンチ操作がされているか）が判定される（Ｓ１０３）。ピンチ操作がされていると判定された際には（ステップＳ１０３；ＹＥＳ）、入出力制御部２２により、表示されているオブジェクトの拡大／縮小処理が実行される（ステップＳ１０４）。これに対して、ピンチ操作がされていないと判定された際には（ステップＳ１０３；ＮＯ）、処理がステップＳ１０１に戻されて、再度オブジェクトの範囲選択の処理に戻される。

一方、範囲選択条件が満たされていると判定された場合（ステップＳ１０２；ＹＥＳ）、オブジェクト選択部２４により、選択されたオブジェクトの範囲Ｇ１が、ハイライト（強調）表示されたり、枠で囲んで表示されることにより、タッチパネルディスプレイ２１上に表示されると同時に、データ引き渡しの動作条件をユーザに選択させるためのボタン画像Ｇ２がタッチパネルディスプレイ２１上に表示される（ステップＳ１０５、図５（ｃ））。このとき、オブジェクト選択部２４により、選択された範囲の始点位置及び終点位置に、カーソルＧ３，Ｇ４がオブジェクトに重ねて表示されるように制御される。次に、オブジェクト選択部２４により、範囲選択確定条件が満たされているか否かが判定される（ステップＳ１０６）。判定の結果、範囲選択確定条件が満たされたと判定された際には（ステップＳ１０６；ＹＥＳ）、オブジェクト選択部２４により選択されたデータが確定されて、動作種別を「コピー」として、そのデータがデータ格納部３２に格納される（ステップＳ１０７）。

一方、範囲選択確定条件が満たされていないと判定された際には（ステップＳ１０６；ＮＯ）、オブジェクト選択部２４により、２つの指の接近或いは接触が検出されなくなったか（指を離す操作が検出されたか）否かが判定される（ステップＳ１０８）。引き続き２つの指が検出されている場合には（ステップＳ１０８；ＮＯ）、処理をステップＳ１０５に戻して、オブジェクトの選択範囲の表示が継続される。これに対して、指を離す操作が検出された場合（ステップＳ１０８；ＹＥＳ）、オブジェクト選択部２４により、ユーザのカーソルＧ３に対する接触操作（スライド操作）を検出することにより始点位置の変更処理が受け付けられたか否かが判定される（ステップＳ１０９）。始点位置変更処理が受け付けられた場合には（ステップＳ１０９；ＹＥＳ）、オブジェクト選択部２４により、オブジェクトの選択範囲の始点位置が変更され（ステップＳ１１０）、始点位置変更処理が受け付けられていない場合には（ステップＳ１０９；ＮＯ）、オブジェクト選択部２４により、オブジェクトの選択範囲の始点位置が変更されずに維持される。同様に、オブジェクト選択部２４により、ユーザのカーソルＧ４に対する接触操作（スライド操作）を検出することにより終点位置の変更処理が受け付けられたか否かが判定される（ステップＳ１１１）。終点位置変更処理が受け付けられた場合には（ステップＳ１１１；ＹＥＳ）、オブジェクト選択部２４により、オブジェクトの選択範囲の終点位置が変更され（ステップＳ１１２）、終点位置変更処理が受け付けられていない場合には（ステップＳ１１１；ＮＯ）、オブジェクト選択部２４により、オブジェクトの選択範囲の終点位置が変更されずに維持される。

さらに、オブジェクト選択部２４により、オブジェクトの選択範囲の表示された状態において、ユーザのボタン画像Ｇ２への接触を検知することによりデータ引き渡しの動作種別が選択されたか否かが判定される（ステップＳ１１３）。動作種別の選択が受け付けられた場合には（ステップＳ１１３；ＹＥＳ）、その動作種別の情報と共に選択範囲のオブジェクトのデータがオブジェクト選択部２４からアプリケーションプログラム２５に引き渡される（ステップＳ１１４）。その結果、アプリケーションプログラム２５により引き渡されたデータを用いた動作種別に応じた処理が起動される。

次に、図４を参照して、オブジェクト選択範囲の設定時にオブジェクト省略表示を実行させる際の端末装置１の動作について説明する。

まず、タッチパネルディスプレイ２１上でオブジェクトが表示された状態で、座標検知部２３によりユーザの指の接近が２点で検知される（ステップＳ２０１）。その後、オブジェクト選択部２４により省略表示条件が満たされているか否かが判定される（ステップＳ２０２、Ｓ２０３）。判定の結果、省略表示条件が満たされていると判定された場合（ステップＳ２０２；ＹＥＳ、かつ、ステップＳ２０３；ＹＥＳ）オブジェクト選択部２４により、２つの指の位置に挟まれたオブジェクトの範囲Ｇ５を折り畳むように表示されると同時に、“接近”が検出された指側のオブジェクトの一部分の範囲Ｇ６を範囲Ｇ５側に折り返して表示される（ステップＳ２０４、図６（ａ））。この状態で、図３のステップＳ１０１〜Ｓ１１４の動作と同様にして、オブジェクトの選択範囲が設定及び確定される（ステップＳ２０５〜Ｓ２１８、図６（ｂ））。

なお、オブジェクトの省略表示を実行する際に、一度の操作ではオブジェクトの繰り上げ動作が不十分である場合には、オブジェクト選択部２４により、省略表示条件が繰り返し判定されることにより、オブジェクトの繰り上げ表示動作を繰り返してもよい。この際、繰り上げ表示動作は、“接近”が検知されていたユーザの一方の指がいったんタッチパネルディスプレイ２１上で検知されなくなったことを契機に繰り返される。

以上説明した端末装置１によれば、タッチパネルディスプレイ２１によってオブジェクトが表示された状態で、タッチパネルディスプレイ２１上における複数の指の接近の位置が座標値で検出され、複数の指の座標値が所定時間維持されたことが判定されると、それらの座標値で囲まれる選択範囲に含まれるオブジェクトが選択される。これにより、選択範囲の広さによって操作時間が左右されなくなり、操作時間を短く設定した場合に選択範囲を設定しづらいという問題も生じなくなり、一定時間の操作によって所望範囲のオブジェクトが正確に選択される。その結果、直観的な操作によって正確に選択範囲を定めてオブジェクトを選択することが可能になる。さらに、一定時間複数の指の座標値が維持されたか否かで選択範囲を設定することにより、従来の複数の指を用いた入力操作との競合を防ぐことができる。具体的には、２つの指の“接近”座標が一定時間維持されたときに選択範囲を設定するので、従来の２つの指で操作するピンチイン、ピンチアウトの操作と明確に区別できるので、誤動作を防止できる。さらには、選択操作によってオブジェクトが隠れにくいので、選択範囲をユーザが目で確認しながら設定することができ、操作性がより向上する。

また、オブジェクト選択部２４は、範囲選択確定条件としてピンチインの操作が検出された場合に選択されたデータを確定するので、オブジェクトの範囲選択操作に連続した円滑な操作により選択されたオブジェクトの選択範囲を確定させることができる。

また、オブジェクト選択部２４は、オブジェクトの省略表示を実行できるので、オブジェクトの広い範囲を選択したい場合に、複数の指を用いた選択範囲の設定をより容易にすることができる。また、省略表示の操作を直観的な操作で実現することができる。

なお、本発明は、上述した実施形態に限定されるものではない。例えば、オブジェクト選択部２４は、範囲選択条件、範囲選択確定条件、省略表示条件を、ユーザの４つの指の検出結果を用いて判定してもよい。

すなわち、オブジェクト選択部２４は、図７に示すような座標情報格納部３１に格納されているデータから、４つの指に関する検出情報、“検出種別「近接」、座標値「(X1,Y1)」”、“検出種別「近接」、座標値「(X2,Y2)」”、“検出種別「近接」、座標値「(X3,Y3)」”、“検出種別「近接」、座標値「(X4,Y4)」”を読み出す。そして、オブジェクト選択部２４は、範囲選択条件として、読み出した情報に含まれる４つの選択子の座標情報の示す座標が、同時に予め設定された時間維持されており、かつ、４つの選択子に対応する検出種別情報が“接近”を示していることを満足しているかを判定する。また、オブジェクト選択部２４は、範囲選択確定条件として、両手の２つの指を用いたピンチインの操作が行われているかを判定する。具体的には、４つの指のうちの１組の指の座標が互いに近づくように変化しており、さらに他の一組の指の座標も互いに近づくように変化しており（いわゆる、両手でのピンチインの操作であり）、かつ、４つの指に対応する検出種別情報が“接近”を維持しているか否かを判定する。さらに、オブジェクト選択部２４は、省略表示条件を判断する際には、２組の指のそれぞれにおいて省略表示条件が満足された場合に、オブジェクトの省略表示を実行する。

図８は、端末装置１による４つの指の検出結果を用いたオブジェクト選択時の動作を示すフローチャートであり、図９は、オブジェクト選択時のタッチパネルディスプレイ２１の出力例を示す図である。

まず、タッチパネルディスプレイ２１上でオブジェクトが表示された状態で、座標検知部２３によりユーザの指の接近が４点で検知される（ステップＳ３０１、図９（ａ））。その後、オブジェクト選択部２４により範囲選択条件が満たされているか否かが判定される（ステップＳ３０２）。判定の結果、範囲選択条件が満たされていないと判定された場合（ステップＳ３０２；ＮＯ）、さらに、入出力制御部２２により、ユーザの指の接触が２点で検知されており、その２点の座標が互いに近づいているか、或いは遠ざかっているか（いわゆる、ピンチイン／ピンチアウトのピンチ操作がされているか）が判定される（Ｓ３０３）。ピンチ操作がされていると判定された際には（ステップＳ３０３；ＹＥＳ）、入出力制御部２２により、表示されているオブジェクトの拡大／縮小処理が実行される（ステップＳ３０４）。これに対して、ピンチ操作がされていないと判定された際には（ステップＳ３０３；ＮＯ）、処理がステップＳ３０１に戻されて、再度オブジェクトの範囲選択の処理に戻される。

一方、範囲選択条件が満たされていると判定された場合（ステップＳ３０２；ＹＥＳ）、オブジェクト選択部２４により、選択されたオブジェクトの範囲Ｇ７が、ハイライト（強調）表示されたり、枠で囲んで表示されることにより、タッチパネルディスプレイ２１上に表示されると同時に、データ引き渡しの動作条件をユーザに選択させるためのボタン画像Ｇ８，Ｇ９がタッチパネルディスプレイ２１上に表示される（ステップＳ３０５、図９（ｂ））。次に、オブジェクト選択部２４により、範囲選択確定条件が満たされているか否かが判定される（ステップＳ３０６）。判定の結果、範囲選択確定条件が満たされたと判定された際には（ステップＳ３０６；ＹＥＳ）、オブジェクト選択部２４により選択されたデータが確定されて、動作種別を「キャプチャ」として、選択範囲に含まれる画像及びテキストを含むフレーム画像データがデータ格納部３２に格納される（ステップＳ３０７）。

一方、範囲選択確定条件が満たされていないと判定された際には（ステップＳ３０６；ＮＯ）、オブジェクト選択部２４により、４つの指の接近或いは接触が検出されなくなったか（指を離す操作が検出されたか）否かが判定される（ステップＳ３０８）。引き続き４つの指が検出されている場合には（ステップＳ３０８；ＮＯ）、処理をステップＳ３０５に戻して、オブジェクトの選択範囲の表示が継続される。これに対して、指を離す操作が検出された場合（ステップＳ３０８；ＹＥＳ）、オブジェクト選択部２４により、ユーザの選択範囲Ｇ７に対する接触操作（スライド操作）を検出することにより始点位置の変更処理が受け付けられたか否かが判定される（ステップＳ３０９）。始点位置変更処理が受け付けられた場合には（ステップＳ３０９；ＹＥＳ）、オブジェクト選択部２４により、オブジェクトの選択範囲の始点位置が変更され（ステップＳ３１０）、始点位置変更処理が受け付けられていない場合には（ステップＳ３０９；ＮＯ）、オブジェクト選択部２４により、オブジェクトの選択範囲の始点位置が変更されずに維持される。同様に、オブジェクト選択部２４により、ユーザの選択範囲Ｇ７に対する接触操作（スライド操作）を検出することにより終点位置の変更処理が受け付けられたか否かが判定される（ステップＳ３１１）。終点位置変更処理が受け付けられた場合には（ステップＳ３１１；ＹＥＳ）、オブジェクト選択部２４により、オブジェクトの選択範囲の終点位置が変更され（ステップＳ３１２）、終点位置変更処理が受け付けられていない場合には（ステップＳ３１１；ＮＯ）、オブジェクト選択部２４により、オブジェクトの選択範囲の終点位置が変更されずに維持される。ここで、選択範囲の始点位置及び終点位置の変更は、選択範囲Ｇ７の枠における左上、右上、右下、左下、上辺、右辺、下辺、又は、左辺に対する接触操作を検出することにより実行される。

さらに、オブジェクト選択部２４により、オブジェクトの選択範囲の表示された状態において、ユーザのボタン画像Ｇ８，Ｇ９への接触を検知することによりデータ引き渡しの動作種別が選択されたか否かが判定される（ステップＳ３１３）。動作種別の選択が受け付けられた場合には（ステップＳ３１３；ＹＥＳ）、その動作種別の情報と共に選択範囲のオブジェクトのデータがオブジェクト選択部２４からアプリケーションプログラム２５に引き渡される（ステップＳ３１４）。その結果、アプリケーションプログラム２５により引き渡されたデータを用いた動作種別に応じた処理が起動される。

また、上述した実施形態では、タッチパネルディスプレイ上での２点又は４点の操作子の同時検出を契機にオブジェクトの範囲選択条件の判定を開始していたが、２点の座標が時間的にずれて検出されたこと、又は４点の座標が時間的にずれて検出されたことを契機に、オブジェクトの範囲選択条件の判断を開始してもよい。

また、上述した実施形態では、オブジェクト選択部２４が、範囲選択条件及び範囲選択確定条件として、２点或いは４点の接近が検知されたか否かを判定していたが、２点或いは４点の接触が検知された場合も範囲選択条件及び範囲選択確定条件が満たされたと判定してもよい。また、範囲選択確定条件が満たされた場合に選択するデータ引き渡しの動作種別は、「コピー」、「キャプチャ」には限定されず、「カット」、「メール本文にペースト」等の他の様々な動作種別に設定されてもよい。

（選択対象のオブジェクトの変形例）
また、上述した実施形態では、選択対象のオブジェクトとしてテキストイメージを説明しているが、その他の様々なオブジェクトを対象としうる。例えば、端末装置１のオブジェクト選択部２４は、図１０に示すように、電子メール用アプリケーションによってタッチパネルディスプレイ２１上に受信メール一覧画面が表示された状態において、範囲選択条件が満たされた際に、選択範囲Ｇ１０の内側に表示されている受信メールを選択するように動作する。この選択範囲Ｇ１０は、２つの操作子の座標を基準にして一方向に（タッチパネルディスプレイ２１の短辺方向に沿って）２辺を有する矩形領域が設定される。この際、オブジェクト選択部２４は、受信メールの引き渡し動作の種別を「削除」、「別フォルダに移動」等に設定し、引き渡し対象のデータを電子メールのヘッダ等を含む本文とする。

また、オブジェクト選択部２４は、図１１に示すように、Ｗｅｂブラウザアプリケーション等によってタッチパネルディスプレイ２１上にブックマーク一覧画面が表示された状態において、範囲選択条件が満たされた際に、選択範囲Ｇ１１の内側に表示されているブックマークを選択するように動作する。この選択範囲Ｇ１１は、２つの操作子の座標を内側に含むような矩形領域に設定される。この際、オブジェクト選択部２４は、引き渡し対象のデータを、選択されたブックマークに対応してダウンロードされるテキストデータ及び画像データを含むデータ、或いは、選択されたブックマークに対応するＵＲＬ（Uniform Resource Locator）等のダウンロード先のアドレス情報とする。また、オブジェクト選択部２４は、選択されたオブジェクトにブックマークが複数格納されたフォルダＧ１２が含まれている場合には、そのフォルダＧ１２に含まれる全てのブックマークを選択対象とする。

また、オブジェクト選択部２４は、図１２に示すように、オペレーティングシステム等によってタッチパネルディスプレイ２１上にアプリケーション一覧画面が表示された状態において、範囲選択条件が満たされた際に、選択範囲Ｇ１３の内側に表示されているアプリケーションプログラムを選択するように動作する。この選択範囲Ｇ１３は、２つの操作子の座標を四隅の内側に含むような矩形領域に設定される。この際、オブジェクト選択部２４は、アプリケーションプログラムの引き渡し動作の種別を「インストール」、「アンインストール」、「共有」、「コピー」等に設定する。そして、オブジェクト選択部２４は、引き渡し対象のデータを、選択されたアプリケーションプログラムに対応する実行プログラムの格納先情報（ショートカット）、当該実行プログラムに関連する画像データを含むテキストデータ、或いは、選択されたアプリケーションプログラムに対応するインストール用アドレス、アンインストール用アドレス等のアドレス情報とする。また、オブジェクト選択部２４は、選択されたオブジェクトにアプリケーションプログラムが複数格納されたフォルダが含まれている場合には、そのフォルダに含まれる全てのアプリケーションプログラムを選択対象とする。

また、オブジェクト選択部２４は、図１３に示すように、写真編集用アプリケーションプログラム等によってタッチパネルディスプレイ２１上に写真一覧画面が表示された状態において、範囲選択条件が満たされた際に、選択範囲Ｇ１４の内側に表示されている画像データを選択するように動作する。この選択範囲Ｇ１４は、２つの操作子の座標を四隅の内側に含むような矩形領域に設定される。この際、オブジェクト選択部２４は、選択されたオブジェクトに画像データが複数格納されたフォルダが含まれている場合には、そのフォルダに含まれる全ての画像データを選択対象とする。

さらに、オブジェクト選択部２４は、図１４に示すように、地図検索用アプリケーションプログラム等によってタッチパネルディスプレイ２１上に地図画像が表示された状態において、範囲選択条件が満たされた際に、選択範囲Ｇ１５の内側に表示されている地図画像を選択するように動作する。この選択範囲Ｇ１４は、２つの操作子の座標を四隅の内側に含むような矩形領域に設定される。この際、オブジェクト選択部２４は、引き渡し対象のデータを、選択された地図画像に対応する画像データの他、当該地図画像の示す位置に対応するＵＲＬ等のアドレス情報を含めることができる。

（選択範囲の除外の変形例）
上述した実施形態の端末装置１のオブジェクト選択部２４は、いったん選択範囲を設定した後に、一部の範囲を選択から除外するように動作してもよい。図１５は、オブジェクト選択部２４による選択範囲の除外処理によって除外されたタッチパネルディスプレイ２１上の範囲を示す概念図、図１６は、オブジェクト選択部２４による選択範囲の除外処理を経て選択されたオブジェクトのイメージを示す図である。

図１５に示すように、オブジェクト選択部２４は、２つの選択子の座標情報の示す位置Ｌ１，Ｌ２を基に範囲選択条件が満たされたことを契機に選択範囲Ｇ１６を設定した後に、さらに、オブジェクトの選択が確定される前に、別の２つの選択子の座標情報に関して範囲選択条件が満たされたか否かを判定する。そして、オブジェクト選択部２４は、範囲選択条件が満たされた際に、別の２つの選択子の座標情報の示す位置Ｌ３，Ｌ４によって定められる選択範囲Ｇ１７を設定する。さらに、オブジェクト選択部２４は、最初に設定した選択範囲Ｇ１６に次に設定した選択範囲Ｇ１７が包含されているか否かを認識し、包含されていると認識されたときには、オブジェクトを選択するための選択範囲Ｇ１６から選択範囲Ｇ１７を除外する。その結果、ユーザの４つの操作子を用いた簡易な操作で（図１６（ａ））、タッチパネルディスプレイ２１上に表示されたテキストデータ等のオブジェクトのうちから２つの分離された領域Ｇ１８のデータを選択可能にする（図１６（ｂ））。これにより、いったん選択されたオブジェクトの一部を除外する際の操作も効率化することができる。

（選択範囲の付加の変形例）
上述した実施形態の端末装置１のオブジェクト選択部２４は、いったん選択範囲を設定した後に、一部の範囲を付加するように動作してもよい。図１７は、オブジェクト選択部２４による選択範囲の付加処理によって付加されたタッチパネルディスプレイ２１上の範囲を示す概念図、図１８は、オブジェクト選択部２４による選択範囲の付加処理を経て選択されたオブジェクトのイメージを示す図である。

図１７（ａ）に示すように、オブジェクト選択部２４は、２つの選択子の座標情報の示す位置Ｌ５，Ｌ６を基に範囲選択条件が満たされたことを契機に選択範囲Ｇ１９を設定した後に、さらに、オブジェクトの選択が確定される前に、別の２つの選択子の座標情報に関して範囲選択条件が満たされたか否かを判定する。そして、オブジェクト選択部２４は、範囲選択条件が満たされた際に、別の２つの選択子の座標情報の示す位置Ｌ７，Ｌ８によって定められる選択範囲Ｇ２０を設定する。さらに、オブジェクト選択部２４は、最初に設定した選択範囲Ｇ１９の外側に次に設定した選択範囲Ｇ２０が存在するか否かを認識し、外側に存在すると認識されたときには、オブジェクトを選択するための選択範囲Ｇ１９に対して選択範囲Ｇ２０を付加する。

また、図１７（ｂ）に示すように、オブジェクト選択部２４は、最初に設定された選択範囲Ｇ２１に対して、次に設定された選択範囲Ｇ２２の一部が重なり合っているか否かを認識する。そして、オブジェクト選択部２４は、選択範囲Ｇ２１に対して選択範囲Ｇ２２の一部が重なり合っていると認識されたときには、オブジェクトを選択するための選択範囲Ｇ２１に対して重なり合っていない選択範囲Ｇ２１の外側の範囲の選択範囲Ｇ２２を付加する。

上記の処理の結果、ユーザの４つの操作子を用いた簡易な操作で（図１８（ａ））、タッチパネルディスプレイ２１上に表示されたテキストデータ等のオブジェクトのうちから２つの分離された領域Ｇ２３のデータを選択可能にする（図１８（ｂ））。これにより、オブジェクトの選択を追加する際の操作を効率化することができる。

（オブジェクト種別に応じた選択範囲の設定方法制御）
上述した実施形態の端末装置１のオブジェクト選択部２４は、選択対象のオブジェクトの種別を認識し、その種別に応じて選択子の座標情報に対する選択範囲の設定方法を変更するように動作してもよい。例えば、図１９（ａ）に示すように、オブジェクト選択部２４は、タッチパネルディスプレイ２１上に表示された横書きのテキストデータを認識した際には、選択範囲の境界の範囲として、２つの操作子の座標情報に対応する２つのテキストＴ１，Ｔ２との間に記載されるテキストを含むような八角形の選択範囲Ｇ２４を設定する。同様に、図１９（ｂ）に示すように、オブジェクト選択部２４は、タッチパネルディスプレイ２１上に表示された縦書きのテキストデータを認識した際には、選択範囲の境界の範囲として、２つの操作子の座標情報に対応する２つのテキストＴ３，Ｔ４との間に記載されるテキストを含むような八角形の選択範囲Ｇ２５を設定する。これにより、オブジェクトの種類に応じた選択範囲を適切に設定することができるので、オブジェクト選択時の操作をより一層効率化することができる。

また、図２０（ａ）に示すように、オブジェクト選択部２４は、タッチパネルディスプレイ２１上に表示された写真データ一覧又はアプリケーション一覧等の一覧情報を認識した際には、図２０（ｂ）に示すように、選択範囲の境界の範囲として、２つの操作子の座標情報に対応する六角形の選択範囲Ｇ２６を設定してもよい。すなわち、オブジェクト選択部２４は、オブジェクトの表示方向及び個々のオブジェクトの表示領域に応じて選択範囲の設定方法を変更することができる。

（オブジェクトの自動選択制御）
上述した実施形態の端末装置１のオブジェクト選択部２４は、選択対象のオブジェクトの種別を認識し、所定の判断基準で選択範囲に含まれるオブジェクトの中から特定種類のオブジェクトを自動選択するように動作してもよい。例えば、オブジェクト選択部２４は、選択範囲に含まれるオブジェクトの種別が、「ファイル」であるか「フォルダ」であるかを判別し、オブジェクトの種別が「ファイル」であるものを自動で選択するように動作する。また、オブジェクト選択部２４は、選択範囲に含まれるオブジェクトの最も数の多い種別を認識し、最も数の多い種別のオブジェクトを自動で選択するように動作する。

例えば、図２１及び図２２（ａ）に示すように、オブジェクト選択部２４は、選択範囲Ｇ２７に含まれるオブジェクトの種別が、「フォルダ」、「ＤＯＣファイル」、「ＪＰＥＧファイル」、及び「ＰＰＴファイル」である時に、タッチパネルディスプレイ上にオブジェクトの選択基準をユーザに選択させるためのボタン画像Ｇ２８を表示させる。このとき、ユーザにより「ファイルのみ選択」の選択基準が入力された場合には、オブジェクト選択部２４は、選択範囲Ｇ２７に含まれるオブジェクトの中から種別「ＤＯＣファイル」、「ＪＰＥＧファイル」、及び「ＰＰＴファイル」のオブジェクトを選択する。一方、ユーザにより「ＪＰＥＧのみ選択」の選択基準が入力された場合には、オブジェクト選択部２４は、選択範囲Ｇ２７に含まれるオブジェクトの中から最も数の多い種別「ＪＰＥＧファイル」のオブジェクトを選択する（図２２（ｂ））。このような動作により、ユーザの望むオブジェクトを効率的に選択することができる。

ここで、上記実施形態におけるオブジェクト選択手段は、複数の座標値が所定の時間の間維持されたときに第１の選択範囲を設定し、その後、複数の座標値が所定の時間の間維持されたときに第２の選択範囲を設定し、さらに、第１の選択範囲に対して第２の選択範囲を除外或いは付加することでオブジェクトを選択するための選択範囲を設定する、ことが好ましい。かかる構成を採れば、複数の操作子を用いた連続操作によるオブジェクトの選択の自由度を向上させることができる。その結果、オブジェクト選択時の操作を効率化することができる。

また、オブジェクト選択手段は、第１の選択範囲に第２の選択範囲が包含されていると認識されたときには、第１の選択範囲に対して第２の選択範囲を除外する、ことも好ましい。こうすれば、いったん選択されたオブジェクトを除外する際の操作を効率化することができる。

さらに、オブジェクト選択手段は、第２の選択範囲が第１の選択範囲外に存在すると認識されたときには、第１の選択範囲に対して第２の選択範囲を付加する、ことも好ましい。この場合、オブジェクトの選択を追加する際の操作を効率化することができる。

またさらに、オブジェクト選択手段は、選択対象のオブジェクトの種類を認識し、複数の座標値に対して設定する選択範囲の境界の範囲を、種類に応じて変更する、ことも好ましい。このようなオブジェクト選択手段を備えれば、オブジェクトの種類に応じた選択範囲を適切に設定することができる。その結果、オブジェクト選択時の操作をより一層効率化することができる。

さらにまた、オブジェクト選択手段は、選択範囲に含まれるオブジェクトの種類を認識し、所定の判断基準で選択範囲に含まれるオブジェクトの中から特定の種類のオブジェクトを選択する、ことも好ましい。かかる構成を採れば、ユーザの望むオブジェクトを効率的に選択することができる。

また、オブジェクト選択手段は、選択範囲に含まれるオブジェクトを基に最も数の多いオブジェクトの種類を認識し、選択範囲に含まれるオブジェクトの中から当該種類のオブジェクトを選択する、ことも好ましい。こうすれば、ユーザの望むオブジェクトを効率的に選択することができる。

また、オブジェクト選択手段は、選択範囲を設定後、複数の操作子のうちの少なくとも１つの操作子の座標値の変化を検出したときに、選択範囲に含まれるオブジェクトの選択を確定させる、ことが好ましい。また、オブジェクト選択手段は、選択範囲を設定後、複数の操作子のうちの２つ以上の操作子の座標値の変化を検出したときに、選択範囲に含まれるオブジェクトの選択を確定させる、ことも好ましい。こうすれば、連続した円滑な操作により選択されたオブジェクトの選択範囲を確定させることができる。

また、オブジェクト選択手段は、座標検出手段によって検出された一方の操作子の座標値が維持されており、かつ、座標検出手段によって検出された他方の操作子の座標値の示す位置が一方の操作子の座標値の示す位置に近づくように変化しているときは、一方の操作子の座標値と他方の操作子の座標値の間の範囲においてオブジェクトの一部を繰り上げるように表示させる、ことも好ましい。かかる構成を採れば、オブジェクトの広い範囲を選択したい場合に、複数の操作子を用いた選択範囲の設定をより容易にすることができる。また、その際の操作を直観的な操作で実現することができる。

本発明は、端末装置及びオブジェクト選択方法を使用用途とし、タッチパネルディスプレイ上でのオブジェクトを選択する際に、直観的な操作によって正確に選択範囲を定めることができるものである。

１…端末装置、２１…タッチパネルディスプレイ、２３…座標検知部（座標検出手段）、２４…オブジェクト選択部（オブジェクト選択手段）。

Claims (8)

1. オブジェクトを表示するとともに、操作子の接近或いは接触を検知するタッチパネルディスプレイと、
   前記タッチパネルディスプレイへの操作子の接近位置、或いは前記操作子の接触位置である座標値を検出する座標検出手段と、
   前記座標検出手段によって検出された複数の操作子の前記座標値が、同時に所定時間の間維持されたときに、前記複数の操作子の前記座標値によって定められる選択範囲を設定し、該選択範囲に含まれる前記オブジェクトを選択するオブジェクト選択手段と、
   を備え、
   前記オブジェクト選択手段は、
   複数の前記座標値が所定の時間の間維持されたときに第１の前記選択範囲を設定し、その後、複数の前記座標値が所定の時間の間維持されたときに第２の前記選択範囲を設定し、さらに、前記第１の選択範囲に対して前記第２の選択範囲を除外或いは付加することで前記オブジェクトを選択するための前記選択範囲を設定し、
   前記第１の選択範囲に前記第２の選択範囲が包含されていると認識されたときには、前記第１の選択範囲に対して前記第２の選択範囲を除外し、
   前記第２の選択範囲が前記第１の選択範囲外に存在すると認識されたときには、前記第１の選択範囲に対して前記第２の選択範囲を付加する、
   ことを特徴とする端末装置。
2. 前記オブジェクト選択手段は、
   選択対象のオブジェクトの種類を認識し、複数の前記座標値に対して設定する前記選択範囲の境界の範囲を、前記種類に応じて変更する、
   ことを特徴とする請求項１に記載の端末装置。
3. 前記オブジェクト選択手段は、
   前記選択範囲に含まれるオブジェクトの種類を認識し、所定の判断基準で前記選択範囲に含まれる前記オブジェクトの中から特定の種類のオブジェクトを選択する、
   ことを特徴とする請求項１又は２に記載の端末装置。
4. 前記オブジェクト選択手段は、
   前記選択範囲に含まれるオブジェクトを基に最も数の多いオブジェクトの種類を認識し、前記選択範囲に含まれる前記オブジェクトの中から当該種類のオブジェクトを選択する、
   ことを特徴とする請求項３に記載の端末装置。
5. 前記オブジェクト選択手段は、
   前記選択範囲を設定後、前記複数の操作子のうちの少なくとも１つの操作子の前記座標値の変化を検出したときに、前記選択範囲に含まれる前記オブジェクトの選択を確定させる、
   ことを特徴とする請求項１〜４のいずれか１項に記載の端末装置。
6. 前記オブジェクト選択手段は、
   前記選択範囲を設定後、前記複数の操作子のうちの２つ以上の操作子の前記座標値の変化を検出したときに、前記選択範囲に含まれる前記オブジェクトの選択を確定させる、
   ことを特徴とする請求項１〜５のいずれか１項に記載の端末装置。
7. 前記オブジェクト選択手段は、
   前記座標検出手段によって検出された一方の操作子の前記座標値が維持されており、かつ、前記座標検出手段によって検出された他方の操作子の前記座標値の示す位置が前記一方の操作子の前記座標値の示す位置に近づくように変化しているときは、前記一方の操作子の座標値と前記他方の操作子の座標値の間の範囲において前記オブジェクトの一部を繰り上げるように表示させる、
   ことを特徴とする請求項１〜６のいずれか１項に記載の端末装置。
8. タッチパネルディスプレイが、オブジェクトを表示するとともに、操作子の接近或いは接触を検知する入出力ステップと、
   座標検出手段が、前記タッチパネルディスプレイへの操作子の接近位置、或いは前記操作子の接触位置である座標値を検出する座標検出ステップと、
   オブジェクト選択手段が、前記座標検出手段によって検出された複数の操作子の前記座標値が、同時に所定時間の間維持されたときに、前記複数の操作子の前記座標値によって定められる選択範囲を設定し、該選択範囲に含まれる前記オブジェクトを選択するオブジェクト選択ステップと、
   を備え、
   前記オブジェクト選択ステップでは、
   複数の前記座標値が所定の時間の間維持されたときに第１の前記選択範囲を設定し、その後、複数の前記座標値が所定の時間の間維持されたときに第２の前記選択範囲を設定し、さらに、前記第１の選択範囲に対して前記第２の選択範囲を除外或いは付加することで前記オブジェクトを選択するための前記選択範囲を設定し、
   前記第１の選択範囲に前記第２の選択範囲が包含されていると認識されたときには、前記第１の選択範囲に対して前記第２の選択範囲を除外し、
   前記第２の選択範囲が前記第１の選択範囲外に存在すると認識されたときには、前記第１の選択範囲に対して前記第２の選択範囲を付加する、
   ことを特徴とするオブジェクト選択方法。

Images