JP4853507B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、タッチスクリーンを用いて任意の操作を行う情報処理装置、情報処理方法およびプログラムに関する。

表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン（タッチパネル）がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。

タッチスクリーンを用いた入力において、ユーザの使い勝手を向上する技術が開示されている（例えば、特許文献１）。特許文献１によれば、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなった。

特２００５−３３９４２０号公報

しかし、ユーザが所望の操作をするためには、ディスプレイを視認し、表示画面を確認して操作を行わなければならないという問題があった。例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、２以上の操作体による追加接触操作により前記検出部により検出される前記２以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、２以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された２以上の操作体の相対位置における、検出部により検出される２以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置が提供される。

かかる構成によれば、接触操作部に接触した操作体の操作状態を検出して、当該操作体の操作方向に応じて接触操作部の座標系を決定する。そして、２以上の操作体による追加的な接触操作により検出部により検出される２以上の操作体の接触位置と、決定した座標系とから２以上の操作体の相対位置を算出し、当該相対位置における、２以上の操作体の接触状態に基づいて所定の操作コマンドを発行することができる。

これにより、情報処理装置の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。

また、上記座標系決定部は、検出部により検出された操作体の操作方向と平行となる方向をｙ軸とし、操作方向と垂直となる方向をｘ軸として接触操作部の座標系を決定するようにしてもよい。

また、上記座標系決定部は、検出部により、２以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、接触操作部の座標系を決定するようにしてもよい。

上記相対位置算出部は、座標系決定部により接触操作部の座標系が決定された後に、２以上の操作体による追加接触操作により検出部により検出された２以上の操作体の接触位置から２以上の操作体の相対位置を算出するようにしてもよい。

上記情報処理装置の筐体の垂直方向をｙ軸とし、筐体の水平方向をｘ軸とする第１のモードと、操作体の操作方向と平行となる方向をｙ軸とし、操作方向と垂直となる方向をｘ軸とする第２のモードと、のいずれかを選択するモード選択部を備え、モード選択部は、検出部により、２以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、第２のモードを選択するようにしてもよい。

モード選択部により第２のモードが選択された場合に、座標系決定部は、２以上の操作体の操作方向に応じて接触操作部の座標系を決定し、相対位置算出部は、モード選択部により第２のモードが選択された後に検出部により検出される２以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、２以上の操作体の相対位置を算出するようにしてもよい。また、検出部は、２以上の操作体の接触順および接触回数を含む接触状態を検出し、コマンド発行部は、２以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行するようにしてもよい。

上記課題を解決するために、本発明の別の観点によれば、操作体によって接触操作される接触操作部に接触された操作体の接触状態を検出するステップと、検出された操作体の操作方向に応じて接触操作部の座標系を決定するステップと、２以上の操作体による追加接触操作により検出された２以上の操作体の接触位置と、座標系決定部により決定された接触操作部の座標系とから、２以上の操作体の相対位置を算出するステップと、算出された２以上の操作体の相対位置における、検出された２以上の操作体の接触状態に基づいて所定の操作コマンドを発行するステップと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、操作体によって接触操作される接触操作部と、接触操作部に接触された操作体の接触状態を検出する検出部と、検出部により検出された操作体の操作方向に応じて接触操作部の座標系を決定する座標系決定部と、２以上の操作体による追加接触操作により検出される２以上の操作体の接触位置と座標系決定部により決定された接触操作部の座標系とから、２以上の操作体の相対位置を算出する相対位置算出部と、相対位置算出部により算出された２以上の操作体の相対位置における、検出部により検出される２以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、を備える、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置のハードウェア構成
〔３〕情報処理装置の機能構成
〔４〕情報処理装置の動作
〔５〕接触操作とコマンドの例

〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。表示装置には、液晶ディスプレイなどの表示部の表面に静電容量方式や抵抗膜方式のタッチセンサを設けるタッチスクリーン（タッチパネル）がある。タッチスクリーンによれば、表示部の画面に触れることで情報処理装置の入力が可能となり、ユーザが容易に情報処理装置を扱うことができるようになる。

近年、タッチスクリーンを用いて線画の入力を受け付けるだけでなく、タッチスクリーンで検出された指によるジェスチャーに応じてメニュー画面の表示や表示画面の切り替えなどができることとなっている。これにより、タッチスクリーンを用いた入力において、ユーザの使い勝手を向上することが可能となった。

従来、ハードウェアボタンを備えた機器では、鞄の中やポケットの中などでも、ロックを解除した後に、当該ハードウェアボタンを探ることにより所望の操作をすることが可能であった。このような操作は以下の手順により行われていた。
（１）機器を一定の方向で把持する。
（２）ロック解除ボタンを探りロック解除を行う。
（３）機器に備わるハードウェアボタンを探す。
（４）ハードウェアボタンの押下等により所望の操作を行う。

上記（１）〜（４）の操作は、音楽機器における再生、早送り、曲送り、巻き戻し、曲戻し（以下、基本機能とも称する。）などには、通常、各機能にハードウェアボタンが割り当てられていた。このため、卓上においても機器を視認することなく操作することが可能であった。以下、このような機器を視認せずに行う操作をブラインド操作と称する。ブラインド操作では、デバイスを把持する向きを一定にしなければならず、また、指でボタンを探すのも困難であった。

一方、タッチスクリーンを用いた機器では、ディスプレイを視認し、ボタンの位置を確認して操作を行う必要がある。このため、上記のようなブラインド操作を行うことは困難であった。また、頻繁に使う基本機能に対しても、機器を把持し、ディスプレイを視認し、ロックを解除した後に、再度ディスプレイを視認して操作しなければならない。したがって、タッチスクリーンを用いた機器においては、基本機能を利用する際にも、ディスプレイを視認しなければならず、ユーザ操作に負担がかかるという問題があった。

上記問題を解決するために、例えば、機器とは別の小型操作装置を取り付けて、基本機能を当該小型操作装置で行うことが提案されている。しかしながら、このような小型操作装置を使用する際には、まず、装置を服などに取り付け、かつ、小型操作装置を視認して操作する必要がある。また、このような小型操作装置を作製するコストもかかってしまう。

また、タッチスクリーンを用いたデスクトップサイズの機器、もしくは機器を片手で把持し、もう片方の手で操作するようなデバイス機器において、複雑なジェスチャーを入力することにより、再生・停止などの操作を行うものも提案されている。しかし、片手で操作するデバイス機器では、当該デバイス機器を把持しながら操作を行う必要がある。そのため、指の稼働域が小さく、複雑なジェスチャーを入力することは難しい。

上記のように、タッチスクリーンを用いた操作方法は数多く提案されているが、これらの操作は機器自体やディスプレイを見ながら行うことが前提である。また、機器に対する操作方向を認識しながら、各操作を行う必要がある。そのため、デバイスに対する操作の向きが変わると、ユーザにより操作された内容を誤認識してしまうことがあった。したがって、機器の任意の向きで把持しながら操作を行うことは難しかった。

例えば、鞄の中やポケットの中などでタッチスクリーンを用いて任意の操作をする場合には、ディスプレイを視認するために機器を鞄やポケットから取り出さなければならず不便であった。さらに、決められたジェスチャーにより機器を操作するためには、機器を一定の方向で把持しなければならなかった。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、ディスプレイを視認せずともタッチスクリーンパネルを用いて所望の操作をすることが可能となる。

本実施形態では、情報処理装置１０として、図１に示したような小型のオーディオプレイヤーやメディアプレイヤー、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔｌ ａｓｓｉｓｔａｎｔ）、携帯電話などを例示して説明するが、かかる例に限定されず、パーソナルコンピュータなどに適用することも可能である。また、ディスプレイ等の表示装置と一体の装置として構成したが、かかる例に限定されず。情報処理装置１０と表示装置とを別体の装置として構成するようにしてもよい。

また、図１の把持例５０２および把持例５０４に示したように、ユーザは、情報処理装置１０を片手で把持しながら２本以上の指でタッチスクリーンに触れることができる。把持例５０２と把持例５０４とにより、ユーザによる把持の仕方によって指の向きが変わっていることがわかる。すなわち、把持例５０２では、ユーザの指の向きは情報処理装置１０の筐体の垂直方向と平行であるが、把持例５０４では、ユーザの指の向きは情報処理装置１０の筐体の垂直方向でも平行方向でもない。

情報処理装置１０が鞄やポケットに入っていた場合に、ユーザは、情報処理装置１０を把持例５０２のように持ったり、把持例５０４のように持ったりすることとなる。情報処理装置１０を一定の方向で把持しなければならないとすると、鞄やポケットから情報処理装置１０を取り出して、筐体の方向やディスプレイを確認しなければならない。しかし、本実施形態にかかる情報処理装置１０によれば、ユーザが情報処理装置１０を一定の方向で把持していなくとも、タッチスクリーンパネルを用いて所望の操作をすることが可能となる。

〔２〕情報処理装置のハードウェア構成
次に、図２に基づいて、本実施形態にかかる情報処理装置１０のハードウェア構成について説明する。図２は、本実施形態にかかる情報処理装置１０のハードウェア構成を示すブロック図である。

図２に示したように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インターフェイス１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。

ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０８は、例えば、マウス、キーボード、タッチスクリーン、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

本実施形態では、主に、タッチスクリーンを用いてユーザの指などの操作体を検知することで、ユーザの操作を受け付ける。タッチスクリーンは、表示と入力の２つの機能を備えている。本実施形態にかかるタッチスクリーンは、ユーザの指等の操作による線画の入力を受け付けるだけでなく、２以上のユーザの指によるジェスチャーを検出することもできる。すなわち、当該タッチスクリーンは２点以上の複数の接触点を検出することが可能な入力装置である。接触点の検出方法としては、透明電極を構成する金属薄膜を利用した抵抗膜方式、指先と導電膜との間での静電容量の変化を捉えて位置を検出する静電容量方式など、ディスプレイにおける操作体の位置情報を検出できる方法であればよい。

出力装置１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置はメニュー画面や再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置１１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。

ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体１２０に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

通信装置１１２は、例えば、通信網１２１に接続するための通信デバイス等で構成された通信インターフェイスである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置１１２は、外部機器との間で、通信網１２１を介して、各種データを送受信する。

〔３〕情報処理装置の機能構成
以上、図２を参照して本実施形態にかかる情報処理装置１０のハードウェア構成を説明した。次に、図３を参照して、本実施形態にかかる情報処理装置１０の機能を説明する。

図３は、本実施形態にかかる情報処理装置１０の機能構成を示したブロック図である。図３に示したように、本実施形態にかかる情報処理装置１０は、主に、接触操作部２０２、検出部２０４、モード選択部２０６、座標系決定部２０８、相対位置算出部２１０、コマンド発行部２１２などを備える。

接触操作部２０２および検出部２０４は、上記したタッチスクリーンの一例である。接触操作部２０２は、タッチスクリーンの表示部であり、少なくとも２以上の操作体によって接触操作される。２以上の操作体としては、ユーザの指や手、スタイラスなどを例示できるが、以下では、ユーザの２本以上の指を操作体の例として説明する。

検出部２０４は、接触操作部２０２に接触された２以上の操作体の接触状態を検出する機能を有する。検出部２０４は、検出した２以上の操作体の接触状態をモード選択部２０６または座標系決定部２０８に提供する。検出部２０４により検出される２以上の操作体の接触状態とは、２本以上の操作体の接触順、接触位置、接触回数、接触時間等である。ここで、図４を参照して、検出部２０４により検出される２以上の操作体の接触状態について説明する。

図４は、検出部２０４により検出される２以上の操作体の接触状態について説明する説明図である。図４に示したように、検出部２０４は、情報処理装置１０の筐体の垂直方向をｙ軸とし、該筐体の水平方向をｘ軸として、操作体の接触点の位置および接触回数（接触時間）などを取得することにより、データ配列４０２を取得する。データ配列４０２の数値は接触体の接触強さを表し、数値が大きい程接触強さが強いことを表す。このようなデータを、例えば１秒間に２０回程度取得することにより、接触体の接触本数や接触中心等を含む接触状態を検出することが可能となる。

図３に戻り、検出部２０４により検出結果を提供されたモード選択部２０６は、検出された接触状態に基づいて、ブラインドモードとするか通常モードとするか否かのモード選択を行う。ブラインドモードとは、ユーザが情報処理装置１０の筐体やディスプレイを視認せずに操作を行うモードである。具体的には、２以上の操作体の操作方向と平行となる方向をｙ軸とし、操作方向と垂直となる方向をｘ軸とするモードであって、本発明の第２のモードの一例である。

また、通常モードとは、ユーザが情報処理装置１０の筐体やディスプレイを視認しながら操作を行うモードである。具体的には、情報処理装置１０の筐体の垂直方向をｙ軸とし、筐体の水平方向をｘ軸とするモードであって、本発明の第１のモードの一例である。モード選択部２０６は、検出部２０４による検出の結果、２以上の操作体が所定の間隔で接触された状態で、接触操作部２０２上を所定距離移動したことが検出された場合に、ブラインドモードであると判定することができる。モード選択部２０６は、通常モード（第１のモード）かブラインドモード（第２のモード）か否かを座標系決定部２０８に通知する。

座標系決定部２０８は、検出部２０４により検出された２以上の操作体の操作方向に応じて、接触操作部２０２の座標系を決定する機能を有する。また、モード選択部２０６によりブラインドモードであるとの通知を受けた場合に、接触操作部２０２の座標系を決定するようにしてもよい。図５を参照して、座標系決定部２０８による、接触操作部２０２の座標系の決定について説明する。

図５は、座標系決定部２０８による接触操作部２０２の座標系の決定について説明する説明図である。図５の接触状態５０６に示したように、ユーザの２本の指である２以上の操作体２０は、接触方向３０に示した方向に接触操作部２０２を移動している。座標系決定部２０８は、操作体２０の操作方向３０と平行となる方向をｙ軸とし、操作方向３０と垂直となる方向をｘ軸として座標系を決定する。

図３に戻り、相対位置算出部２１０は、検出部２０４により検出された２以上の操作体の操作位置と、座標系決定部２０８により決定された接触操作部２０２の座標系とから、２以上の操作体の相対位置を算出する機能を有する。相対位置算出部２１０は、座標系決定部２０８により接触操作部２０２の座標系が決定された後に、検出部２０４により検出された２以上の操作体の接触位置から２以上の操作体の相対位置を算出するようにしてもよい。さらに、相対位置算出部２１０は、モード選択部２０６によりブラインドモード（第２のモード）が選択された後に、検出部２０４により検出される２以上の操作体の接触位置と座標系決定部２０８により決定された接触操作部２０２の座標系とから、２以上の操作体の相対位置を算出するようにしてもよい。

コマンド発行部２１２は、相対位置算出部２１０により算出された２以上の操作体の相対位置における、検出部２０４により検出された２以上の操作体の接触状態に基づいて所定の操作コマンドを発行する機能を有する。コマンド発行部２１２は、２以上の操作体の相対位置と該操作体の接触状態との組み合わせにより、情報処理装置１０の所定の機能を操作するためのコマンドを特定する。情報処理装置１０の所定の機能とは、例えば、情報処理装置１０が音楽再生機能を有する装置であった場合に、音楽の再生・停止、早送り・巻き戻し、曲送り・曲戻しなどの機能である。コマンド発行部２１２により発行されるコマンドについては、後で詳細に説明する。

〔４〕情報処理装置の動作
以上、情報処理装置１０の機能構成について説明した。次に、図６〜図８を参照して、情報処理装置１０の情報処理方法について説明する。図６は、情報処理装置１０の情報処理方法について説明するフローチャートである。

まず、検出部２０４は、２本以上の操作体の接触状態を検出する（Ｓ１０２）。そして、モード選択部２０６は、通常モードかブラインドモードか否かを判定する（Ｓ１０４）。ここで、図７を参照して、図６のステップＳ１０４におけるブラインドモードか否かの判定処理について詳細に説明する。図７は、ブラインドモードの判定処理を説明するフローチャートである。図７では、操作体が２本である場合について説明する。

図７に示したように、まず、検出部２０４は、２本の操作体の２点の接触点が接触操作部２０２に接しているか否かを判定する（Ｓ２０２）。ステップＳ２０２において、２本の操作体の２点の接触点が接触操作部２０２に接していないと判定された場合には、現在のモードを維持する（Ｓ２１６）。

ステップＳ２０２において２本の操作体の２点の接触点が接触操作部２０２に接していると判定された場合には、２点の接触点のドラッグ距離を算出する（Ｓ２０４）。ステップＳ２０４において算出されるドラッグ距離とは、接触操作部２０２における２本の操作体の移動距離である。そして、ステップＳ２０４において算出されたドラッグ距離が閾値以上か否かを判定する（Ｓ２０６）。

ステップＳ２０６における閾値は、例えば、３０ｍｍ程度を例示できるが、該閾値は、情報処理装置１００の筐体のサイズに応じて変化するようにしてもよい。ステップＳ２０６においてドラッグ距離が閾値以上であった場合には、ステップＳ２０８以下の処理によってモードの切り替えを行う。すなわち、２本の操作体のドラッグ距離が閾値以上であった場合には、２本の操作体の操作がモード切り替え指示であることを表す。モード切り替え指示とは、通常モードであった場合にはブラインドモードに切り替え、ブラインドモードであった場合には通常モードに切り換えることをいう。

ステップＳ２０６において、ドラッグ距離が閾値以上であった場合には、現在のモードがブラインドモードか否かを判定する（Ｓ２０８）。ステップＳ２０６において、ドラッグ距離が閾値以下であった場合には、現在のモードを維持する（Ｓ２１６）。

ステップＳ２０８において、現在のモードがブラインドモードであると判定された場合には、通常モードに切り換えるため通常モード指令とする（Ｓ２１４）。一方、ステップＳ２０８において、現在のモードがブラインドモードではないと判定された場合には、ブラインドモードに切り換えるため、ブラインドモードの座標系基底を算出する（Ｓ２１０）。そして、ブラインド入力モードを指令し、接触操作部２０２の座標系を基底する（Ｓ２１２）。

図６に戻り、ステップＳ１０４において、モード選択部２０６は、ステップＳ１０２において検出された接触状態で、２以上の操作体が所定の間隔で接触された状態で、接触操作部上を所定距離移動したことが検出された場合に、ブラインドモードであると判定する。

ステップＳ１０４において、ブラインドモードであると判定された場合に、座標系決定部２０８は、接触操作部２０２の座標系を決定する（Ｓ１０６）。そして、相対位置算出部２１０は、ステップＳ１０６において決定された接触操作部２０２の座標系と、２以上の操作体の接触位置とから、２以上の操作体の相対位置を算出する（Ｓ１０８）。ステップＳ１０４において、ブラインドモードではないと判定された場合、すなわち、通常モードであると判定された場合には、通常通り、筐体の垂直方向をｙ軸とし、水平方向をｘ軸として、２以上の操作体の接触位置を算出する（Ｓ１１０）。

その後、検出部２０４は、２以上の操作体の接触状態を検出する（Ｓ１１２）。そして、コマンド発行部２１２は、ステップＳ１０８に算出された相対位置における、ステップＳ１１２において検出された接触状態に基づいて所定の操作コマンドを発行する（Ｓ１１４）。ステップＳ１０４において通常モードであると判定された場合には、ステップＳ１１０において算出された位置における、接触状態に基づいて所定の操作コマンドを発行する（Ｓ１１４）。

ここで、図８を参照して、ステップＳ１１２における操作体の接触状態の検出およびコマンドの発行について詳細に説明する。図８は、操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。図８に示したように、まず、操作体が接触操作部２０２に接しているか否かを判定する（Ｓ３０２）。ステップＳ３０２において、接触体が接触操作部２０２に接していると判定された場合には、接触体の本数が変わったか否かを判定する（Ｓ３０４）。ステップＳ３０２において、接触体が接触操作部２０２に接していないと判定された場合には、コマンドは出力されない（Ｓ３１２）。

ステップＳ３０４において、接触体の本数が変わっていないと判定された場合には、操作履歴データ４０２の操作履歴を更新する（Ｓ３０６）。

そして、ステップＳ３０４において、接触操作部２０２に接触している本数が変わったと判定された場合には、操作履歴データに基づいてコマンドを認識する（Ｓ３０８）。ステップＳ２０８において認識したコマンドを出力する（Ｓ３１０）。

ここで、図９を参照して、ステップＳ３０８におけるコマンド認識について説明する。図９は、操作履歴データ４０２について説明する説明図である。図９に示したように、操作履歴データ例４１０では、人差し指（１本目の操作体）のみが接触した時間を開始１としている。その後、一定時間経過後に中指（２本目の操作体）が接触し、中指の接触時間が一定時間以下の時点を開始２としている。操作履歴データ例４１０では、開始２の時点で曲送りのコマンドを発行する。すなわち、指の接触本数が１→２→１と変化した場合に曲送りのコマンドを発行することとなる。

次に、操作履歴データ例４１２について説明する。操作履歴データ例４１２では、人差し指（１本目の操作体）が接触した時間を開始１としている。その後、一定時間経過後に中指（２本目の操作体）が接触し、中指の接触時間が一定時間以下の時点を開始２としている。操作履歴例４１２では、開始２の時点以降も一定時間中指が接触している場合には、接触している間早送りのコマンドを発行する。

〔５〕接触操作とコマンドの例
以上、情報処理装置１０の情報処理方法について説明した。次に、図１０〜図１６を参照して、コマンド発行部２１２により発行されるコマンドの例について説明する。図１０は、２本の接触操作体による接触操作例について説明する説明図である。図１０では、２本の接触操作体を、人差し指と中指として説明する。接触操作例２１は、人差し指で接触面を上下にフリック・ドラッグし、中指は接触していない状態を表す。ここでフリック・ドラッグとは、指で接触面をなぞってはじく行為である。

接触操作例２２は、人差し指および中指で接触面を同時にタップする状態を表す。ここでタップとは、指で接触面を軽く叩く行為である。接触操作例２３は、人差し指、中指の順で接触面をタップする状態を表す。接触操作例２４は、人差し指、中指で接触面を同時にダブルタップする状態を表す。

次に、図１１を参照して、２本指による接触操作例について説明する。図１１は、２本指の接触操作例を説明する説明図である。図１１に示したように、接触操作例２５は、２本指で接触面をフリック・ドラッグする状態を表している。例えば、人差し指と中指で交互に上下してフリック・ドラッグしたり、中指は接触した状態で人差し指のみをフリック・ドラッグしたりする。また、中指と人差し指を同時にフリック・ドラッグしてもよい。

接触操作例２６は、２本指でタップのみする状態を表している。例えば、人差し指と中指で同時にタップしたり、順番にタップしたりする。また、接触操作例２７は、人差し指または中指のいずれかの指で接触面をタップとフリック・ドラッグする状態を表している。例えば、人差し指のみまたは中指のみでフリック・ドラッグしたり、人差し指のみまたは中指のみでタップしたりする。

次に、図１２を参照して、３本指による接触操作例について説明する。図１２は、３本指の接触操作例を説明する説明図である。図１２に示したように、接触操作例２８は、人差し指、中指、薬指の３本指のいずれか２本の指で接触面をフリック・ドラッグする状態を表している。例えば、中指のフリック・ドラッグと薬指のタップを同時に行ったり、中指と薬指で同時にフリック・ドラッグを行ったりする。

接触操作例２９は、３本指のいずれか２本の指で接触面をタップする状態を表している。例えば、人差し指と薬指で同時にタップしたり、中指と薬指で順番にタップしたりする。接触例３０は、３本指のいずれかの１本の指で接触面をフリック・ドラッグしたりタップしたりする状態を表している。例えば、人差し指のみでタップしたり、薬指のみでフリック・ドラッグしたりする。

接触操作例３１は、３本指のいずれかの指でフリック・ドラッグ操作が行われる状態を表している。例えば、中指と薬指は接触面に接触したままで、人差し指のみフリック・ドラッグしたり、人差し指は接触したままで中指と薬指をフリック・ドラッグしたりする。接触操作例３２および接触操作例３３は、３本指で接触面をタップする状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップしたり、３本の指を順にタップしたりする。

次に、図１３を参照して、２本指でモード切り替え等を行う場合の接触操作例について説明する。図１３に示したように、接触操作例４１は、２本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、２本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、２本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。

接触操作例４２は、２本指のいずれかの指で接触面をダブルタップしたり、同時にタップしたりすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指のみでダブルタップすることにより音楽を再生し、人差し指と中指で同時にタップしたりすることにより音楽コンテンツの再生を停止する。

接触操作例４３および接触操作例４４は、２本指で順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指、中指の順にタップした場合に早送りや曲送りを行い、中指、人差し指の順にタップした場合に巻戻しや曲戻しを行う。接触操作例４５は、２本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指を下から上にフリック・ドラッグしてボリュームを大きくしたり、人差し指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。

次に、図１４を参照して、３本指でモード切り替え等を行う場合の接触操作例について説明する。図１４に示したように、接触操作例４６は、３本指で同時にフリック・ドラッグしてモードを切り替える状態を表している。例えば、３本指を上から下にフリック・ドラッグした場合にブラインドモードをオンにしたり、３本指を下から上にフリック・ドラッグした場合にブラインドモードをオフにしたりすることができる。

接触操作例４７は、３本指を同時にまたは順に接触面をダブルタップすることにより、音楽コンテンツの再生・停止を行う状態を表している。例えば、人差し指と薬指を同時にタップした後に中指をタップすることにより音楽を再生し、中指をタップした後に人差し指と薬指を同時にタップすることにより音楽コンテンツの再生を停止する。

接触操作例４８および接触操作例４９は、３本指で同時にまたは順に接触面をタップすることにより、音楽コンテンツの早送り・曲送りや巻戻し・曲戻しを行う状態を表している。例えば、人差し指と中指を同時にタップした後に薬指をタップした場合に早送りや曲送りを行う。また、中指と薬指を同時にタップした後に人差し指をタップした場合に巻戻しや曲戻しを行う。接触操作例５０は、３本指のいずれかの指で接触面をフリック・ドラッグすることにより、ボリュームを大きくしたり小さくしたりする状態を表している。例えば、人差し指と薬指は接した状態で中指を下から上にフリック・ドラッグしてボリュームを大きくしたり、中指を上から下にフリック・ドラッグしてボリュームを小さくしたりする。

次に、図１５および図１６を参照して、情報処理装置１０が、通常の音楽コンテンツを再生するアプリケーション（以下、音楽コンテンツ再生アプリと称する。）のユーザインタフェースと同様の階層構造を有する場合の接触操作について説明する。以下では、２本または３本の指により階層の選択範囲を変更したり階層を上下したりする場合について説明する。

図１５は、コンテンツが、階層構造により格納されている場合について説明する説明図である。図１５に示したように、階層が上から、ジャンル（Ｇｅｎｒｅ）、アーティスト（Ａｒｔｉｓｔ）、アルバム（Ａｌｂｕｍ）、ソング（Ｓｏｎｇ）、プレイリスト（Ｐｌａｙｌｉｓｔ）となっている。ユーザは、２本指または３本指で接触操作を行うことによって、選択範囲を変更したり、上の階層へ移動したり下の階層へ移動したりすることができる。

図１６を参照して、選択対象を変更したり、階層を移動したりする場合の接触操作例について説明する。図１６の接触操作例５２〜５４は、２本指を利用して接触操作を行う場合について説明する説明図である。接触操作例５２は、２本指を順に接触することで選択対象を変更する状態を表している。例えば、人差し指を接触した後に中指を接触し続けて選択対象をひとつ送りしたり、人差し指を接触した後に中指をタップして選択対象を順に送ったりしたりする。

接触操作例５３は、２本の指を同時にタップすることにより上の階層に移動する状態を表している。例えば、人差し指と中指を同時にタップして上の階層へ移動する。接触操作例５４は、２本の指のいずれかをダブルタップすることにより下の階層に移動する状態を表している。例えば、人差し指のみをダブルタップして下の階層へ移動する。

図１６の接触操作例５５〜５７は、３本指を利用して接触操作を行う場合について説明する説明図である。接触操作例５５は、３本指を同時にまたは順に接触することで選択対象を変更する状態を表している。例えば、人差し指と中指を同時に接触した後に薬指を接触し続けて選択対象をひとつ送りしたり、中指と薬指を接触した後に人差し指でタップして選択対象を順に送ったりしたりする。

接触操作例５６は、３本の指をダブルタップしたりタップしたりすることにより上の階層に移動する状態を表している。例えば、３本の指を同時に接触させて、人差し指をダブルタップし、中指と薬指をタップして上の階層に移動する。接触操作例５７は、３本の指をダブルタップしたりタップしたりすることにより下の階層に移動する状態を表している。例えば、３本の指を同時に接触させて、人差し指と中指をタップし、薬指をダブルタップしたりすることにより下の階層に移動する。以上、接触操作とコマンドの例について説明した。

本実施形態にかかる情報処理装置１０によれば、接触操作部２０２に接触した２以上の操作体の操作状態を検出して、当該２以上の操作体の操作方向に応じて接触操作部２０２の座標系を決定する。そして、２以上の操作体の接触位置と決定した座標系とから２以上の操作体の相対位置を算出し、当該相対位置における、２以上の操作体の接触状態に基づいて上記したような種々の操作コマンドを発行することができる。

これにより、情報処理装置１０の筐体がどのような向きにあったとしても、操作体の操作方向を判別することにより、筐体の向きを気にすることなくユーザは所望の操作をすることが可能となる。したがって、ユーザは、情報処理装置１０の筐体やディスプレイを視認せずとも、タッチスクリーンパネルを用いて所望の操作をすることができる。例えば、鞄の中やポケットの中に情報処理装置１０が収納されている場合でも、装置を鞄やポケットから取り出さずとも所望の操作が可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ユーザが情報処理装置１０の筐体やディスプレイを視認していない場合でも所望の操作ができる場合について説明したが、本発明はかかる例に限定されない。例えば、音楽コンテンツを再生するアプリケーション（以下音楽コンテンツ再生アプリと称する。）とは別のアプリケーションを起動している場合に、表示されているアプリケーションの切り替えを行うことなく音楽コンテンツの再生や停止等の操作をするようにしてもよい。すなわち、音楽コンテンツ再生アプリとは別のアプリケーションが起動しているときに、上記したような操作体の特定の操作によりブラインドモードに切り替えて操作体の操作を検出する。ブラインドモードに切り替えて操作体の操作を検出することにより、音楽コンテンツ再生アプリとは別のアプリケーションを起動させたまま、音楽コンテンツの再生や停止等が可能となる。

本発明の一実施形態にかかる情報処理装置の把持例を示す断面図である。 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる情報処理装置の機能構成を示したブロック図である。 同実施形態にかかる検出される２以上の操作体の接触状態について説明する説明図である。 同実施形態にかかる座標系決定部による接触操作部の座標系の決定について説明する説明図である。 同実施形態にかかる情報処理方法について説明するフローチャートである。 同実施形態にかかるブラインドモードの判定処理を説明するフローチャートである。 同実施形態にかかる操作体の接触状態の検出処理からコマンド発行処理までの流れを示すフローチャートである。 同実施形態にかかる操作履歴について説明する説明図である。 同実施形態にかかる２本の接触操作体による接触操作例について説明する説明図である。 同実施形態にかかる２本指の接触操作例を説明する説明図である。 同実施形態にかかる３本指の接触操作例を説明する説明図である。 同実施形態にかかる２本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。 同実施形態にかかる３本指でモード切り替え等を行う場合の接触操作例について説明する説明図である。 同実施形態にかかる情報処理装置１０が有する階層構造について説明する説明図である。 同実施形態にかかる階層構造を有する場合の接触操作について説明する説明図である。

符号の説明

１０ 情報処理装置
２０２ 接触操作部
２０４ 検出部
２０６ モード選択部
２０８ 座標系決定部
２１０ 相対位置算出部
２１２ コマンド発行部

Claims (7)

1. 操作体によって接触操作される接触操作部と、
   前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
   前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
   ２以上の操作体による追加接触操作により前記検出部により検出される前記２以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記２以上の操作体の相対位置を算出する相対位置算出部と、
   前記相対位置算出部により算出された前記２以上の操作体の相対位置における、前記検出部により検出される前記２以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
   を備え、
   前記座標系決定部は、前記検出部により、２以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記接触操作部の座標系を決定し、
   前記検出部は、前記２以上の操作体の接触順および接触回数を含む接触状態を検出し、
   前記コマンド発行部は、前記２以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行する、情報処理装置。
2. 前記座標系決定部は、
   前記検出部により検出された前記操作体の操作方向と平行となる方向をｙ軸とし、前記操作方向と垂直となる方向をｘ軸として前記接触操作部の座標系を決定する、請求項１に記載の情報処理装置。
3. 前記相対位置算出部は、
   前記座標系決定部により前記接触操作部の座標系が決定された後に、２以上の操作体による追加接触操作により前記検出部により検出された前記２以上の操作体の接触位置から前記２以上の操作体の相対位置を算出する、請求項１または２に記載の情報処理装置。
4. 前記情報処理装置の筐体の垂直方向をｙ軸とし、前記筐体の水平方向をｘ軸とする第１のモードと、前記操作体の操作方向と平行となる方向をｙ軸とし、前記操作方向と垂直となる方向をｘ軸とする第２のモードと、のいずれかを選択するモード選択部を備え、
   前記モード選択部は、前記検出部により、２以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記第２のモードを選択する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記モード選択部により前記第２のモードが選択された場合に、
   前記座標系決定部は、前記２以上の操作体の操作方向に応じて前記接触操作部の座標系を決定し、
   前記相対位置算出部は、前記モード選択部により前記第２のモードが選択された後に前記検出部により検出される２以上の操作体の接触位置と前記座標系決定部により決定された前記接触操作部の座標系とから、前記２以上の操作体の相対位置を算出する、請求項４に記載の情報処理装置。
6. 操作体によって接触操作される接触操作部に接触された前記操作体の接触状態を検出部により検出する検出ステップと、
   前記検出された前記操作体の操作方向に応じて前記接触操作部の座標系を座標系決定部により決定する決定ステップと、
   ２以上の操作体による追加接触操作により前記検出される２以上の操作体の接触位置と、前記決定ステップで決定された前記接触操作部の座標系とから、前記２以上の操作体の相対位置を相対位置算出部により算出する算出ステップと、
   前記算出された前記２以上の操作体の相対位置における、前記検出された前記２以上の操作体の接触状態に基づいて所定の操作コマンドをコマンド発行部により発行する発行ステップと、
   を含み、
   前記決定ステップでは、前記検出ステップにて、２以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記接触操作部の座標系を決定し、
   前記検出ステップでは、前記２以上の操作体の接触順および接触回数を含む接触状態を検出し、
   前記発行ステップでは、前記２以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行する、情報処理方法。
7. コンピュータを、
   操作体によって接触操作される接触操作部と、
   前記接触操作部に接触された前記操作体の接触状態を検出する検出部と、
   前記検出部により検出された前記操作体の操作方向に応じて前記接触操作部の座標系を決定する座標系決定部と、
   ２以上の操作体による追加接触操作により前記検出部により検出される前記２以上の操作体の接触位置と、前記座標系決定部により決定された前記接触操作部の座標系とから、前記２以上の操作体の相対位置を算出する相対位置算出部と、
   前記相対位置算出部により算出された前記２以上の操作体の相対位置における、前記検出部により検出される前記２以上の操作体の接触状態に基づいて所定の操作コマンドを発行するコマンド発行部と、
   を備え、
   前記座標系決定部は、前記検出部により、２以上の操作体が所定の間隔で接触された状態で、前記接触操作部上を所定距離移動したことが検出された場合に、前記接触操作部の座標系を決定し、
   前記検出部は、前記２以上の操作体の接触順および接触回数を含む接触状態を検出し、
   前記コマンド発行部は、前記２以上の操作体の接触順および接触回数に応じて所定の操作コマンドを発行する、情報処理装置として機能させるためのプログラム。
   

Images