JP2011028524A

JP2011028524A - 情報処理装置、プログラムおよびポインティング方法

Info

Publication number: JP2011028524A
Application number: JP2009173742A
Authority: JP
Inventors: Keijiro Yano; 啓二郎矢野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-07-24
Filing date: 2009-07-24
Publication date: 2011-02-10
Also published as: US20110018806A1

Abstract

【課題】複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行可能な情報処理装置を実現することを課題とする。
【解決手段】PCのLCD１１においてカーソル３３を表示し、ユーザが指５２タッチパネル１２のカーソル３３が表示されている箇所に接触しながら、他の指でタッチパネル１２に接触すると、PCは他の指の触れた位置に応じた処理を行う。指５１によって指５２の接触箇所より表示上の左をタップすると、左クリックイベントが発生し、右側をタップすると右クリックイベントが発生する。PCはユーザのタッチパネル１２への２箇所の接触箇所の座標情報に応じたマウス入力で操作入力可能な所定のイベントを発生させる。
【選択図】図５

Description

本発明はタッチパネルを有する情報処理装置に関するものであって、特にマルチタッチの検出可能なタッチパネルを有し画面上でポインティング操作するための方法、プログラム及び情報処理装置に関する。

近年のPC（Personal Computer）等では、表示画像の表示面に直接触れることでそのPCに対する各種操作入力が可能なタッチパネルが開発されている。通常のタッチパネル操作では、表示面のポイントしたい場所を短時間接触するようなタップ動作によって選択する操作（マウスで操作するときの左クリックに相当）を行う場合が多く、マウスで操作するときのようなカーソルは表示されない場合が多い。

しかし、マウスによるPCの操作では、所定の選択操作を行わずにアイコン上にカーソルを静止させて情報を表示するマウスオーバー機能や、右クリックによるコンテキストメニューの表示などユーザが使いなれた機能が多く存在している。それらの機能は、カーソルを表示しない場合や、タッチパネルをタップする操作では入力できず、ユーザは不便を感じることが多かった。

そこでタッチパネルを用いたポインティング操作においてもタッチパネルによる操作でマウスをエミュレートすることが可能な入力制御方法が提案されている（特許文献１を参照）。

特開２００６−１７９００６号公報

上記提案にかかる入力制御方法はマウスによる入力をエミュレートするものだが、ユーザは一連の操作をする際に一度指を離さなければならないなど、直感的な操作感覚を提供できるものではなかった。

本発明は上記問題に鑑みてなされたものであって、複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行可能な情報処理装置、プログラムおよびポインティング方法を実現することを目的とする。

本発明にかかる情報処理装置は、表示面に画像情報を表示する表示手段と、前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段と、記表示面にカーソルを表示するカーソル表示手段と、前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうちの第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所の第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させる処理手段とを具備することを特徴としている。

また本発明にかかるプログラムは、情報処理装置において実行されるプログラムであって、前記情報処理装置の表示手段によって表示面に画像情報が表示されているとき、前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段に前記表示面に対する物体の接触又は近接箇所の座標情報を取得させ、前記表示面にカーソルを表示するカーソル表示手段に前記カーソルを表示させ、所定の処理を行う処理手段に前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうちの第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所の第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させることを特徴としている。

また本発明にかかるポインティング方法は、情報処理装置において行われるポインティング方法であって、表示手段が表示面に画像情報を表示し、カーソル表示手段が前記表示面にカーソルを表示し、前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段が前記検知箇所の前記座標情報を取得し、処理手段が前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうち第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所である第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させることを特徴としている。

複数点での物体の接触または近接を検知することの可能なマルチタッチ機能を有する情報処理装置であって、ユーザが直感的に操作することのできるマウスエミュレートを実行可能な情報処理装置、プログラムおよびポインティング方法を実現することができる。

本発明の一実施形態におけるPCの概観の一例を示す斜視図。本発明の一実施形態におけるPCのハードウェア構成の一例を示すブロック図。本発明の一実施形態におけるカーソル表示方法の一例を示す図。本発明の一実施形態におけるカーソル表示方法の一例を示す図。本発明の一実施形態におけるマウスエミュレート入力方法の一例を示す図。本発明の一実施形態におけるマウスオーバー機能発揮時のLCDの表示の一例を示す図。本発明の一実施形態におけるカーソル表示変更機能の実現方法の一例を示す図。本発明の一実施形態におけるPCの機能ブロックの一例を示す機能ブロック図。本発明の一実施形態におけるクリック判別部の入力判別方法および各判別に基づいた処理の一例を示す図。本発明の一実施形態における処理フローの一例を示すフロー図。本発明の一実施形態におけるカーソル表示フェーズの一例を示すフロー図。

以下、本発明における実施の形態を図面を参照して説明する。

図１は本実施形態におけるPC１０の概観の一例を示す斜視図である。図１にはPC１０、LCD１１、タッチパネル１２、キーボード１３、およびタッチパッド１４が示されている。

PC１０はユーザの指示によって各種計算処理を行う情報処理装置である。また、PC１０は表示面への物体の接触又は近接を検知し、検知結果を利用した各種処理を行うタッチパネル機能を有している。本実施形態では情報処理装置の一例としてPCを例示しているがこれに限定されるものではなく、本発明はPDA等の様々な情報処理装置に適用可能である。

LCD１１（Liquid Crystal Display）は液晶ディスプレイであって、PC１０が出力する画像情報をユーザに向けて表示する表示手段としての機能を有している表示装置である。本実施形態においては液晶ディスプレイとして例示しているが、画像情報を表示可能な表示装置であればよく、他にもプラズマディスプレイ等の様々な表示装置が考えられる。

タッチパネル１２はLCD１１の表面に設けられており、物体の接触又は近接を検知し、検知情報を電気信号としてPC１０に入力する機能を有している。また、タッチパネル１２は２箇所同時の物体の接触又は近接であるマルチタッチを検知することが可能である。ここで２箇所同時のタッチパネル１２への物体の接触又は近接をマルチタッチと呼び、１箇所のみによるタッチパネル１２への物体の接触又は近接をシングルタッチと呼ぶ。タッチパネル１２は透明であって、ユーザは透明なタッチパネル１２を介してLCD１１の表示を見ることが可能である。

キーボード１３はユーザのキー押圧を検知し、PC１０に検知情報を電気信号として入力する機能を有している。

タッチパッド１４はユーザが表面を指でなぞるとその動きを検知し、検知情報をPC１０に電気信号として入力する機能を有している。

図２は本実施形態におけるPC１０のハードウェア構成の一例を示すブロック図である。図２にはPC１０、CPU２１、ROM２２、RAM２３、HDD２４、表示制御部２５、LCD１１、タッチパネル１２、入力制御部２６、キーボード１３、タッチパッド１４、およびバス２７が示されている。

CPU２１は中央演算処理装置（Central Processing Unit）であり、PC１０全体を制御している。また各種プログラムを実行し、そのプログラムに応じた所定の処理を実行する機能を有している。

ROM２２は半導体メモリによって構成されCPU２１の実行するプログラムを格納している。またROM２２はPC１０全体のシステムを制御するプログラムであるOS（Operation System）を有している。

RAM２３は半導体メモリにより構成され、CPU２１がプログラムを処理する際のプログラムおよびデータの格納用領域として利用される。

HDD２４は例えば磁気ディスク装置であり、PC１０のデータを保存する不揮発性の領域として利用される。CPU２１の指示により、記憶されたプログラムやデータを読み出すことができる。またHDD２４は本実施形態におけるマルチタッチの入力を制御するプログラムであるタッチ入力アプリケーションプログラムを有している。このタッチ入力アプリケーションプログラムに関しては後述にて説明する。

表示制御部２５は画像処理用の半導体チップであり、CPU２１等からの描画指示に従って画像を描画し、LCD１１に出力する機能を持つ。

入力制御部２６は、タッチパネル１２、キーボード１３、およびタッチパッド１４からのユーザの入力情報を制御し、PC１０に入力するコントローラである。

バス２７は接続されるPC１０内の各モジュールを通信可能に接続している。

図３は本実施形態におけるカーソル表示方法の一例を示す図である。図３にはPC１０、LCD１１、タッチパネル１２、指３１、指３２、カーソル３３、およびフォルダ３４が示されている。

指３１および指３２はPC１０を操作しているユーザの指である。このときユーザは指３１あるいは指３２の両方でタッチパネル１２に接触することで、PC１０に様々な指示を与えることができる。

カーソル３３はLCD１１の表示面上でオブジェクトの選択等を行なうための選択表示である。ユーザはカーソル３３を移動させ、カーソル３３の矢印の先端に存在するオブジェクトを選択するために指し示すことが可能である。本実施形態におけるPC１０はカーソル３３の大きさを指によるタッチパネル１２への接触点の大きさより大きく表示している。カーソル３３をこのように大きく表示すると、ユーザは指でカーソル３３に接触しているとき、指によってカーソル３３が見えなくなってしまうということはなくなり、常にユーザはカーソル３３を視認しながら操作入力を行うことができる。

一方、カーソル３３を表示しないときは、例えばユーザの指のタッチパネル１２への接触点より小さいようなオブジェクトは、選択時に指によって見づらくなってしまう。このため目的のオブジェクトが正しく選択できているか否かをユーザが判別しづらく使いづらいものであった。しかしながらこの様にカーソル３３を大きく表示するように構成すればカーソル３３の矢印の先端によって選択を行うため、ユーザは選択したいオブジェクトを視認しやすく、また小さいオブジェクトであっても容易に選択することができる。

フォルダ３４はユーザが使用するデータ等の格納先を示す表示オブジェクトである。ユーザはフォルダ３４を選択することによって、使用したいデータの格納先を参照することができる。

本実施形態においては、初期状態ではLCD１１にカーソル３３を表示していない。この状態で、ユーザが選択対象のオブジェクトを指でタップするとタップしたオブジェクトが選択される。ここでタップとは比較的短い所定以下の時間タッチパネル１２に接触をする操作を指す。また、タップとは異なる操作としてドラッグという操作入力がある。ドラッグとは前記所定の時間より長時間タッチパネル１２に接触し続ける入力操作である。

本実施形態においては、ユーザが図３のようにタッチパネル２１に指３１と指３２の２本の指で同時にタップ（マルチタッチ）するとPC１０はLCD１１にカーソル３３を表示する。ここで、PC１０はタッチパネル１２における２箇所の接触検知点（指３１、指３２の接触点）の中点にカーソル３３を表示する。このように本実施形態では２箇所の接触検知点の中点にカーソル３３を表示するがこれはあくまで１つの例示であり、表示位置についてはこれに限定されない。マルチタッチの接触によるカーソル３３を表示する場所の例としては、例えばどちらかの指が接触した点にカーソル３３を表示するとしてもよいし、例えばタッチパネル１２上のどの点に接触したとしても、LCD１１の中心（又は右下等）に表示するような初期値を設けておいてもよい。また、本実施形態においてカーソル３３は所定時間以上ユーザからのカーソル３３を用いた操作入力を受付けなければ、カーソル３３を非表示とする（後述にて説明する）。カーソル３３が非表示となった後に再びカーソル３３を表示するときには、このカーソル３３が非表示となる直前に表示されていた場所に次回カーソル３３表示時にはカーソル３３を表示させるとしてもよい。また上記の組み合わせによるものも考えられる。

図４は本実施形態におけるカーソル表示方法の一例を示す図である。図４にはPC１０、LCD１１、タッチパネル１２、フォルダ３４、指４１、およびカーソル表示領域４２が示されている。ここでは図３で示したカーソル３３の表示方法とは異なる表示方法の一例を説明する。

カーソル表示領域４２とはユーザが指４１でのタップによる操作入力を行うと、PC１０がLCD１１の表示上にカーソル３３を表示する領域である。

図３においてはユーザにマルチタッチによってカーソル３３を非表示から表示としたが、図４のようにカーソル表示領域４２をタップすることによってカーソル３３を表示するとしてもよい。このカーソル表示領域４２はカーソル３３が非表示の時には常に表示されている。ユーザがカーソル表示領域４２にタップすることによりカーソル３３が表示されたときには、このカーソル表示領域４２はそのまま表示されていてもよいし、非表示となってもよい。カーソル３３表示時にカーソル表示領域４２を非表示とするならば、余計な表示がなくなりLCD１１の表示は見やすいものとなる。カーソル３３表示時にカーソル表示領域４２を表示するとしたときは、ユーザがカーソル３３表示時にカーソル表示領域４２をタップすればカーソル３３を非表示としてもよい。このときカーソル表示領域４２はカーソル３３の表示／非表示をトグルで切り替えるためのユーザの操作入力領域となっている。また本実施形態においてカーソル表示領域４２はLCD１１の画面上の右下に表示しているように例示しているが、表示位置は適宜自由に設計してかまわない。

またこのカーソル３３の表示／非表示を切り替えるための入力をキーボード１３の所定のキーの押下（又は所定の２つのキーの同時押下等）としてもよいし、又PC１０に専用のボタンを設けてその専用ボタンを押下する等により入力とするという例も考えられる。

図５は本実施形態におけるマウスエミュレート入力方法の一例を示す図である。図５にはPC１０、LCD１１、タッチパネル１２、カーソル３３、フォルダ３４、指５１、指５２、および指５３が示されている。

ユーザは図５のように表示されているカーソル３３上でドラッグ入力をしながら（所定の時間以上カーソル３３の表示に接触し続けながら）指５２を移動させると、指５２の移動に沿って（指５２と同移動方向に同移動量）カーソル３３は移動する。

またユーザは指５２よりも左側を（画面上破線より左側を）他の指によってタップすると、そのときマウス入力における左クリックを行うことができる。ユーザは指５２よりも右側を（画面上破線より右側を）他の指によってタップすると、そのときマウス入力における右クリックを行うことができる。つまり、ユーザが指５２より左側をタップすることで左クリックイベントが発生し、右側をタップすることで右クリックイベントが発生する。

このように構成すると、PC１０はユーザが直感的に操作することが可能なマウスエミュレーションを行うことが可能となる。ユーザはマウスを使用するとき通常２本の指によってクリック操作を行う。本実施形態においてはマルチタッチ機能によって２本の指の接触を同時に検知することができるためシングルタッチによる入力とは異なり、ユーザは複数の指を使って通常マウスを使う感覚と似た感覚でタッチパネル１２によるPC １０への操作入力を行うことが可能である。

このとき例えばユーザが指５１によって図５中破線左側に所定時間以内に連続して２度タップ入力を行うと、マウスによる左クリックによるダブルクリックを行った場合と同様のイベントが発生する。

また指５１によって指５２よりタッチパネル１２上の左側に接触したまま指５２を移動させることにより、選択領域の範囲設定を簡易に行うことが可能である。このとき指５１によるタッチパネル１２への接触があると、指５１による接触開始時にカーソル３３の矢印の先端が存在する表示面上の点と、接触終了時にカーソル３３の矢印の先端が存在する点とを対角点とする矩形領域が選択領域となる。タッチパネルでの操作入力において選択領域の範囲設定を行うとき、シングルタッチにおいては一度指を離す手順が必要であり、直感的な操作として選択領域の範囲設定を行うことが難しい。しかし本実施形態におけるPC１０では一度指を離す等の手順を踏むことなく、直感的に選択領域の範囲設定を行うことが可能である。

図６は本実施形態におけるマウスオーバー機能発揮時のLCD１１の表示の一例を示す図である。PC１０、LCD１１、タッチパネル１２、カーソル３３、フォルダ３４、指６１、およびツールチップ６２が示されている。

本実施形態においてカーソル３３の表示時に、指６１のドラッグ操作によってカーソル３３を移動させ、例えばフォルダ３４のようなオブジェクト上でカーソル３３を一定時間静止させると、PC１０はマウスオーバー機能を発揮する。ここでのマウスオーバー機能とはユーザが左クリック等によるオブジェクトの選択を行わないまま、フォルダ３４のようなオブジェクト上にカーソル３３を静止させたとき、PC１０が所定の処理を行う機能である。本実施形態においては、カーソル３３をフォルダ３４上で選択処理を行わないまま一定時間静止させるとPC１０はマウスオーバー機能によってツールチップ６２にフォルダ３４に関する情報を表示する。図６で表示されている情報とはフォルダのサイズおよびフォルダ名である。図６においてフォルダ３４は「特許データ」というフォルダ名であり、フォルダのサイズは５００KBである。本実施形態においては前述の処理（カーソル３３をフォルダ３４上に静止させるとツールチップ６２によってフォルダ３４の情報を表示）を例示してマウスオーバー機能の説明を行うがこれに限定されるものではなく、他にもマウスオーバー機能としてはオブジェクトの輪郭を強調して現在カーソル３３の矢印が指しているオブジェクトを目立たせる等の種々の処理が存在する。

このときカーソル３３をフォルダ３４から離すとツールチップ６２は非表示となる。また、カーソル３３はフォルダ３４の表示上に存在している状態でユーザがタッチパネル１２との接触をやめて、タッチパネル１２から指を離したとしてもツールチップ６２は表示されたままとなる。これらはツールチップ６２の表示後のPC１０の行う処理の例示であり、これに限定されない。

このように本実施形態ではタッチパネル入力方式においてカーソル３３の表示を行なうためマウスオーバー機能を発揮することが可能となる。

図７は本実施形態におけるカーソル表示変更機能の実現方法の一例を示す図である。図７にはPC１０、LCD１１、タッチパネル１２、カーソル３３、フォルダ３４、指７１、および指７２が示されている。

本実施形態においてカーソル表示変更機能とは、ユーザからの所定の操作入力によってカーソル３３を回転または拡大／縮小を行うPC１０の有する機能を言う。

本実施形態において図７（A）のようにユーザがタッチパネル１２のカーソル３３の表示上に２本の指を接触させ、図中矢印の方向へと指を回転させると、それに伴って図７（B）の様に矢印方向にカーソル３３が回転する。

このときカーソル３３は指７１および指７２とのそれぞれの接触点との位置関係を維持するように回転された後のカーソルが再描画される。すなわちカーソル３３の指７１と接触している点は指７１の移動に伴って移動を行い、カーソル３３の指７２と接触している点は指７２の移動に伴って移動を行う。カーソル３３は２点それぞれの移動によって形状（カーソル３３形状の縦横比等）が変化しないように回転、又は拡大／縮小を行い、形状の維持を行う。このとき、PC１０は、カーソル３３上の接触がなされている点を記憶し、ドラッグ操作によって移動したタッチパネル１１上の接触点に先のカーソル３３上の接触がなされていた点を一致させるようにカーソル３３の描画処理を行う。このように構成することでユーザはカーソル３３の表示上に２つの指を接触させて、指を動かすことによってカーソル３３の回転、拡大／縮小を行うことが可能である。またこれらは移動と組み合わせて実現されてもよい。

本実施形態のようにカーソル３３を大きく表示している場合は特に、矢印が向いている方向の逆方向となるLCD１１の端は、カーソル３３の矢印の先端を合わせづらい。矢印の先端を合わせようとすると指がLCD１１の画面からはみ出してしまいタッチパネル１２によって検知不可能となってしまうからである。そこで、本実施形態のようにカーソル３３を回転可能としておけば、矢印の方向を適宜変更することができるので、カーソル３３の矢印の先端を画面隅に合わせづらくなるケースは減少し、ユーザの使いやすいものとなる。また本実施形態においてはユーザは適宜カーソル３３のサイズを変更することができ、カーソル３３の使用方法に応じて好適なサイズのカーソル３３を使用することができるのでユーザの利便性が向上する。

図８は本実施形態におけるPC１０の機能ブロックの一例を示す機能ブロック図である。図８にはLCD１１、タッチパネル１２、入力制御部２６、タッチ入力アプリケーション８１、イベント受信部８２、タッチ検知部８３、クリック判別部８４、イベント送信部８５、カーソル表示部８６、およびOS８７が示されている。

タッチ入力アプリケーション８１はHDD２４に格納されているタッチ入力アプリケーションプログラムを実行するときのアプリケーションであり、タッチパネル１２によるユーザ入力を制御してタッチ入力を実現する機能を有する処理手段である。マルチタッチアプリケーション８１は入力制御部２６からの信号入力に基づいて各種処理を行い、OS８７および表示制御部２５に対して各種信号を出力する機能を有している。またタッチ入力アプリケーション８１はイベント受信部８２、タッチ検知部８３、クリック判別部８４、イベント送信部８５、およびカーソル表示部８６を有している。

入力制御部２６はタッチパネル１２が指などの物体の接触又は近接を検知し、該検知によって発生する電気信号を取得するとともに、その電気信号をイベント受信部８２のタッチ検知部８３に対して出力する機能を有している。前述のように入力制御部２６は２箇所同時のタッチパネル１２への物体の接触又は近接（マルチタッチ）の情報を取得することが可能である。

イベント受信部８２はタッチパネル１２に対するユーザの操作入力を各種イベント情報として取得し、イベント送信部８５およびカーソル表示部８６に対して各種指示を出力する機能を有している。

タッチ検知部８３はマルチタッチドライバ８１より入力される電気信号に基づいて物体の接触又は近接箇所をタッチパネル１２上の座標情報として算出する機能を有している。またタッチ検知部８３は算出した物体の接触又は近接の座標情報を随時クリック判別部８４に対して出力する。タッチパネル１２およびタッチ検知部８３は座標情報取得手段として機能している。

クリック判別部８４はタッチ検知部８３より取得するタッチパネル１２上の物体の接触又近接箇所の座標情報に基づいて各種の判別を行い、判別結果に基づいた処理を行うようにイベント送信部８５、カーソル表示部８６に対して種々の指示を行う機能を有している。ここでクリック判別部８４が判別する事項としては、タッチパネル１２への物体の接触又は近接がシングルタッチ／マルチタッチであるか、タッチパネル１２への入力がタップなのかドラッグ入力なのか、また取得した物体の接触または近接箇所の座標情報がLCD１１におけるカーソル３３の表示上であるのか否か等の項目がある。タッチパネル１２への入力がタップ入力なのかドラッグ入力なのかの判別は、クリック判別部８４は自身が有しているタイマ（図示しない）を用いて判別する。また、物体の接触又は近接箇所の座標情報がカーソル３３の表示上であるのか否かの判別については後述する。クリック判別部８４は上記の判別を行い、上記判別の組み合わせに基づいた処理を行う機能を有している。上記組み合わせおよびそれに基づいた処理とは図９を用いて後述する。

イベント送信部８５はクリック判別部８４から受信した処理指示をOS８７に送信する機能を有している。

カーソル表示部８６はクリック判別部８４から受信する処理指示および座標情報に基づいた所定の処理を行う機能を有している。クリック判別部８４からはカーソル表示部８６に対してカーソル３３の描画指示およびタッチパネル１２上の物体の接触又は近接箇所の座標情報が送信される。カーソル表示部８６はクリック判別部８４からの指示に従いカーソル３３の形状を作成し、表示制御部２５にカーソル３３を描画させるカーソル表示手段としての機能を有している。また、カーソル表示部８６は作成したカーソル３３の形状および位置情報をクリック判別部８４に対して送信する。更にカーソル表示部８６はカーソル３３の矢印の先端のLCD１１の表示面における位置情報をOS８７に対して送信する機能を有している。

OS８７はPC１０全体を制御するアプリケーションである。OS８７はユーザがタッチパネル１２によって操作入力を行っているときも、カーソルの表示を行なわないこと以外はマウスやタッチパッド１４によって操作入力を行われているとき同様に動作する。このときOS８７はカーソル３３の矢印の先端の座標情報をカーソル表示部８６より受信しており、ユーザよりクリック動作が行われた際などにはこのカーソル３３の矢印の先端の座標情報を用いてクリックの選択先を特定する。またカーソル３３の矢印の先端の座標情報が所定のオブジェクト上に存在するとき等には、OS８７はマウスオーバー機能を発揮する。

表示制御部２５はカーソル表示部８６から受信するカーソル３３の描画指示に従ってカーソル３３の画像を作成し、LCD１１に表示させる機能を有している。

図９は本実施形態におけるクリック判別部８４の入力判別方法および各判別結果に対応した、PC１０が認識する処理の一例を示す図である。図９には判別テーブル９００が示されている。

クリック判別部８４はタッチ検知部８３から取得するタッチパネル１２上の物体の接触または近接箇所の座標情報およびカーソル表示部８６から取得するカーソル３３の表示位置の座標情報に基づいてユーザの入力操作を判別し、各判別結果に基づいた各種処理を行う。後述する本実施形態における処理フローでのカーソル表示フェーズにおいてはクリック判別部８４は図９の判別テーブル９００を参照してユーザの入力操作の判別および各種処理を行う。

判別テーブル９００の一番上の列の欄（欄９０１、欄９０２）にはタッチ検知部８３より取得する接触箇所（物体の接触又は近接箇所を以後簡単のため接触箇所と記載する）の座標情報がカーソル表示部８６より取得するカーソル３３の表示されている座標情報に含まれているか否かのステータス（カーソル上を含む／カーソル上を含まない）が示されている。上から二番目の列の欄（欄９０３、欄９０４）にはカーソル上を含む場合で、マルチタッチによる入力であった場合には、マルチタッチの接触箇所の座標情報が片方のみカーソル上であるのか、両方ともカーソル上であるのかステータス（片方／両方）が示されている。また、判別テーブル９００の一番左の行の欄（欄９０５、欄９０６）には入力がマルチタッチであるか、シングルタッチであるかのステータス（マルチタッチ／シングルタッチ）が示されている。また左から二番目の行の欄（欄９０７〜欄９１０）にはそれぞれの入力がタップ入力であるのかドラッグ入力であるのかのステータス（タップ／ドラッグ）が示されている。

クリック判別部８４はこれらの入力のステータスに基づいて、それに対応する処理を決定する。例えば、入力がシングルタッチによるドラッグ入力であって、接触箇所の座標情報がカーソル３３を表示している座標情報に含まれる場合は、カーソル３３の移動処理（欄９１９）を行う。このときのカーソル３３の移動は図５において前述のように接触箇所の移動にそって（接触箇所と同移動方向に同移動量）の移動となる。

ここで判別テーブル９００のそれぞれの欄についての説明を行なう。

欄９１１にはタップでのマルチタッチによる入力であり、片方の接触箇所のみカーソル３３上に存在している場合の処理が示されている。このときにはカーソル３３上の接触箇所とカーソル３３上でない接触箇所との位置関係によって左クリックまたは右クリックどちらのイベントを発生させるかを決定し（カーソル３３上でない接触箇所がカーソル３３上の接触箇所より左側なら左クリック、カーソル３３でない接触箇所がカーソル３３上の接触箇所より右側なら右クリック）、決定したイベント情報をイベント送信部８５を介してOS８７に対して送信する。

欄９１２にはタップでのマルチタッチによる入力であり、両方の接触箇所がカーソル３３上に存在している場合の処理が示されている。このときはクリック判別部８４は特に処理を行わない。

欄９１３にはタップでのマルチタッチによる入力であり、接触箇所が二箇所ともカーソル３３に含まれない場合の処理が示されている。このときはクリック判別部８４はカーソル表示部８６に対してカーソル３３を非表示とするように指示を行なう。

欄９１４にはドラッグでのマルチタッチによる入力であり、片方の接触箇所のみカーソル３３上に存在している場合の処理が示されている。このときには欄９１１の際の処理同様に各クリックイベントを発生させる。このときのクリックは押しっぱなしの状態であり、クリック判別部８４はOS８７に対してクリックの押しっぱなしである情報を送信する。これにより図５で説明した領域に選択範囲の設定を行うことができる。また例えば描画アプリケーション実行時等にはユーザの手書きの描線等の入力を行うことができるとしてもよい。

欄９１５にはドラッグでのマルチタッチによる入力であり、両方の接触箇所がカーソル３３上に存在している場合の処理が示されている。このときクリック判別部８４は図７に示すカーソル表示変更処理を行なう。クリック判別部８４はカーソル表示部８６に対しマルチタッチのそれぞれの接触箇所の座標情報を送信する。カーソル表示部８６は受信する座標情報を用いて、上記に示すようにそれぞれの接触箇所移動に基づいてカーソル３３の画像を再構成することで、カーソル３３の回転、拡大／縮小等の表示を行なう。

欄９１６にはドラッグでのマルチタッチによる入力であり、接触箇所が二箇所ともカーソル３３に含まれない場合の処理が示されている。このときクリック判別部８４は何も処理を行わない。

欄９１７にはタップでのシングルタッチによる入力であり、接触箇所がカーソル３３上である場合の処理が示されている。このときクリック判別部８４は左クリックが行われたものとして左クリックイベントを発生させ、イベント送信部８５を介して左クリックイベントの発生情報をOS８７に対して送信する機能を有している。このときカーソル３３の矢印の先端が選択されている箇所である。

欄９１８はタップでのシングルタッチによる入力であり、接触箇所がカーソル３３上でない場合の処理が示されている。このときクリック判別部８４はカーソル３３の表示位置をそのときの接触箇所へと移動させる。クリック判別部８４はカーソル表示部８６に対してタッチパネル１２における接触箇所の座標情報を送信して、該座標を矢印の先端としてカーソル３３を表示するようにカーソル表示部８６に対して指示を送信する。カーソル表示部８６は指示に応じてカーソル３３の形状を作成し、表示制御部２５に描画させて、LCD１１に移動後のカーソル３３を表示させる。またカーソル表示部８６はそのときのカーソル３３の矢印の先端の座標情報をクリック判別部８４に送信する。このように構成すると、ユーザはタッチパネル１２上を指でなぞる必要なく、簡易に好適な位置にカーソル３３を表示させることができる。

欄９１９にはドラッグでのシングルタッチによる入力であり、接触箇所がカーソル３３上である場合の処理が示されている。このときクリック判別部８４は接触箇所の座標情報をカーソル表示部８６に対して送信し、カーソル表示部８６は接触箇所に沿ってカーソル３３を移動させるようにカーソル３３の画像を作成し、表示させる。

欄９２０にはドラッグでのシングルタッチによる入力であり、接触箇所がカーソル３３上でない場合の処理が示されている。このときクリック判別部８４は接触箇所の座標情報をカーソル表示部８６に対して送信し、カーソル表示部８６は接触箇所にカーソル３３を表示させ、更に接触箇所の移動に沿ってカーソル３３が移動するように表示させる。

図１０は本実施形態における処理フローの一例を示すフロー図である。図１０における処理フローはカーソル３３が表示されていない状態からスタートする。

まず、PC１０はタッチパネル１２において物体の接触又は近接を検知したか否かの判別を行う（S１０１）。タッチパネル１２において物体の接触又は近接を検知していないとき（No）、処理フローは再びS１０１に戻る。S１０１でタッチパネル１２において物体の接触又は近接を検知するとき（Yes）、入力制御部２６はタッチ検知部８３に対してタッチパネル１２の検知結果を電気信号として送信し、タッチ検知部８３は受信した該電気信号より検知箇所の座標情報取得し、座標情報をクリック判別部８４に対して送信する。該検知箇所の座標情報を受信したクリック判別部８４はタッチパネル１２における物体の接触又は近接箇所が１箇所のみのシングルタッチであるのか、２箇所のマルチタッチであるのかの判別を行う（S１０２）。S１０２においてタッチパネル１２における接触又は近接箇所が１箇所のみであると判別するとき（No）、クリック判別部８４は左クリックのイベント発生情報をOS８７に対して送信させるようイベント送信部８５に対して指示を行う。指示を受けたイベント送信部８５はOS８７に対して左クリックのイベント発生情報を送信し、該情報を送信したOS８７は左クリックが行われた場合の処理を行う（S１０３）。

S１０２においてクリック判別部８４はマルチタッチであると判別すると（Yes）、カーソル表示部８６に対して接触箇所の座標情報およびカーソル３３の表示指示を行う。カーソル表示部８６は受信した指示および座標情報に基づいてカーソル３３の形状の作成を行う。このときカーソル３３の表示される位置に関しては前述のようにLCD１１上のどこでもよく、またカーソル表示部８６は表示を行なうカーソル３３の座標情報をクリック判別部８４に対して送信する。カーソル３３の形状の作成を行ったカーソル表示部８６は表示制御部２５に対してカーソル３３の画像を生成し、LCD１１に表示させるように指示を行ない、LCD１１にカーソル３３が表示される（S１０４）。またカーソル表示部８６はカーソル３３の矢印の先端の座標情報をOS８７に対して送信する。S１０４が終了すると処理フローはカーソル表示フェーズへと移行する（S１０５）。カーソル表示フェーズに関しては図１１を用いて後述する。カーソル表示フェーズ（S１０５）が終了すると、クリック判別部８４はカーソル表示部８６に対してカーソル３３を非表示とするように指示を送信し、指示を受けたカーソル表示部８６はカーソル表示処理を中断してカーソル３３を非表示とする（S１０６）。S１０３およびS１０６が終了すると処理フローは終了となる。

ここで図４を用いて説明したようにカーソル表示領域４２を設けてカーソル３３の表示を行なう場合にはS１０２の判別が「接触検知箇所はカーソル表示領域４２内であるか？」となり、カーソル表示領域４２内であれば（Yes）、S１０４に進みそうでなければS１０３へと進む処理フローとなる。

図１１は本実施形態におけるカーソル表示フェーズの一例を示すフロー図である。以下にて図１０に示される処理フローのカーソル表示フェーズにおける処理を図１１を参照して説明する。

まずカーソル３３が表示された状態において、クリック判別部８４はまず、所定時間以内にタッチパネル１２に対する物体の接触又は近接があったか否かの判別を行う（S１１１）。ここで本実施形態における前記所定時間とは例えば３０秒とするが、これはあくまで本実施形態における例示である。S１１１において３０秒以内に物体の接触又は近接を検知すると（Yes）、クリック判別部８４はその接触箇所のタッチパネル１２上の座標情報およびカーソル３３の表示されている座標情報を用いて、図９で示されるテーブルを参照しながらユーザの入力操作を判別し判別結果に応じた処理を決定する（S１１２）。クリック判別部８４の決定した処理に応じて、クリック判別部８４、イベント送信部８５、カーソル表示部８６、OS８７、および表示制御部２５等は図９を用いて前述した各種処理を行う（S１１３）。S１１３が終了すると処理フローはS１１１へと戻る。S１１１においてクリック判別部８４が３０秒以内に物体の接触又は近接を検知しないとき（No）、カーソル表示フェーズは終了となり、処理フローは図１０におけるS１０６へと進む。

本実施形態におけるPC１０とすれば表示面への複数箇所での物体の接触又は近接を検知したとき、それぞれの検知箇所に応じたマウス操作をエミュレーションすることができ、それによりユーザが直感的に操作することのできる情報処理装置を実現することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０：PC
１１：LCD
１２：タッチパネル
１３：キーボード
１４：タッチパッド
２１：CPU
２２：ROM
２３：RAM
２４：HDD
２５：表示制御部
２６：入力制御部
２７：バス
３１、３２：指
３３：カーソル
３４：フォルダ
４１：指
４２：カーソル表示領域
５１〜５３：指
６１：指
６２：ツールチップ
７１、７２：指
８１：タッチ入力アプリケーション
８２：イベント受信部
８３：タッチ検知部
８４：クリック判別部
８５：イベント送信部
８６：カーソル表示部
８７：OS
９００：判別テーブル
９０１〜９２０：欄

Claims

表示面に画像情報を表示する表示手段と、
前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段と、
前記表示面にカーソルを表示するカーソル表示手段と、
前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうちの第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所の第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させる処理手段と
を具備することを特徴とする情報処理装置。
前記処理手段は、
前記座標情報取得手段が取得する第１の検知箇所が連続して移動していることを検出したとき、前記カーソル表示手段に対し前記第１の検知箇所が移動した先の表示場所に前記カーソルを表示させること
を特徴とする請求項１記載の情報処理装置。
前記処理手段は、
前記第２の検知箇所の座標情報が前記第１の検知箇所の座標情報よりも、設計上ユーザが存在すると仮定する側から見て左側であるとき、マウス操作入力におけるボタンの左クリックに相当するイベントを発生させ、右側であるとき、マウス操作入力におけるボタンの右クリックに相当するイベントを発生させること
を特徴とする請求項１記載の情報処理装置。
前記カーソル表示手段は、
前記カーソルの前記表示面への表示／非表示を切り替える切り替え手段を更に有しており、
前記処理手段は、
前記カーソル表示手段が前記カーソルを表示していないときであって、前記座標情報取得手段が二箇所での同時又は所定時間以内に連続した物体の接触又は近接を検知したときに前記カーソル表示手段に前記カーソルを表示させること
を特徴とする請求項１記載の情報処理装置。
前記カーソル表示手段は、
前記カーソルの表示／非表示を切り替える切り替え手段を更に有しており、
前記表示手段は、
所定の領域の表示する領域表示手段を更に有しており、
前記処理手段は、
前記座標情報取得手段が前記表示手段の表示する前記所定の領域への物体の接触又は近接を検知したときに、前記カーソル表示手段に前記カーソルの表示／非表示を切り替えさせること
を特徴とする請求項１記載の情報処理装置。
前記座標情報取得手段が前記カーソル上への二箇所での物体の接触又は近接及び、その検知箇所の座標情報の変化を検知するとき、
前記カーソル表示手段は、
前記物体の接触又は近接箇所である第３の検知箇所と座標情報が対応する前記カーソル上の点である第１の点と、前記物体の接触又は近接箇所である第４の検知箇所と座標情報が対応する前記カーソル上の点である第２の点とを、それぞれ前記第３の検知箇所と前記第４の検知箇所の前記座標情報の変化と同変化量分移動させ、前記第１の点と前記第２の点のカーソル上の位置が先に表示されていた前記カーソル上の位置と同様になるようにカーソルを拡大／縮小又は回転させて再描画して表示すること
を特徴とする請求項１記載の情報処理装置。
前記カーソル表示手段は前記カーソルを、マウス操作時に表示するカーソルよりも大きな面積で表示すること
を特徴とする請求項１記載の情報処理装置。
前記カーソルが前記表示手段における表示面上の所定に位置に所定の時間以上静止しているとき、前記所定の位置に関する所定の情報を表示するマウスオーバー機能を実現するマウスオーバー手段と
を更に具備することを特徴とする請求項１記載の情報処理装置。
情報処理装置において実行されるプログラムであって、
前記情報処理装置の表示手段によって表示面に画像情報が表示されているとき、
前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段に前記表示面に対する物体の接触又は近接箇所の座標情報を取得させ、
前記表示面にカーソルを表示するカーソル表示手段に前記カーソルを表示させ、
所定の処理を行う処理手段に前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうちの第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所の第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させる
ことを特徴とするプログラム。
情報処理装置において行われるポインティング方法であって、
表示手段が表示面に画像情報を表示し、
カーソル表示手段が前記表示面にカーソルを表示し、
前記表示面に対する同時に二箇所の物体の接触又は近接を検知可能であって、前記検知箇所の位置情報を座標情報として取得可能な座標情報取得手段が前記検知箇所の前記座標情報を取得し、
処理手段が前記座標情報取得手段が二箇所での物体の接触又は近接を検知した場合、前記物体の接触又は近接の検知箇所のうち第１の検知箇所が前記カーソル表示手段によって表示される前記カーソル上にあって、もう片方の前記物体の接触又は近接を検知した箇所である第２の検知箇所の座標情報に応じて、マウスで操作入力可能な所定のイベントを発生させること
を特徴とするポインティング方法。