JP5205157B2 - 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、ユーザが携帯して使用する携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体に関する。

近年、携帯型ゲーム機、携帯電話、携帯情報端末（ＰＤＡ）など、ユーザが携帯して使用でき、ユーザに各種の情報を提示する表示画面を備えた各種の画像表示装置が登場している（例えば特許文献１参照）。このような携帯型画像表示装置は、ユーザの操作入力に応じて各種の情報処理を実行して、その結果を表示画面に表示する。
米国特許出願公開第２００７／０２０２９５６号明細書

上述したような携帯型画像表示装置は、ユーザが多様な操作入力を容易に行うことのできるユーザインタフェースを備えることが望ましい。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが容易に多様な操作入力を行うことのできる携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体を提供することにある。

上記課題を解決するための本発明に係る携帯型画像表示装置は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも２つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段と、を含むことを特徴とする。

また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。

また、上記携帯型画像表示装置において、前記表示画像制御手段は、前記複数のタッチセンサにより検知される複数の指の位置それぞれの動く向きの組み合わせに応じて、前記表示画面に表示する画像を変化させることとしてもよい。

また、前記携帯型画像表示装置は、略矩形の平板状の筐体を備え、前記表示画面は、前記筐体の表面に設けられ、前記複数のタッチセンサのそれぞれは、前記筐体の側面に設けられることとしてもよい。

また、本発明に係る携帯型画像表示装置の制御方法は、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも２つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置の制御方法であって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させるステップ、を含むことを特徴とする。

また、本発明に係るプログラムは、略矩形の表示画面と、前記表示画面の外周を構成する少なくとも２つの辺のそれぞれに沿って設けられ、それぞれユーザの指が触れた位置を検知する複数のタッチセンサと、を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、前記複数のタッチセンサのそれぞれにより検知される複数の指の位置の組み合わせに応じて、前記表示画面に表示する画像を変化させる表示画像制御手段、として前記コンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。

以下、本発明の実施の形態について、図面に基づき詳細に説明する。

図１（ａ）及び図１（ｂ）は、本発明の一実施形態に係る携帯型画像表示装置１の外観を示す斜視図であって、図１（ａ）は携帯型画像表示装置１を表面（正面）側から見た様子を、図１（ｂ）は同じ携帯型画像表示装置１を裏面側から見た様子を、それぞれ示している。

これらの図に示されるように、携帯型画像表示装置１の筐体１０は、全体として略矩形の平板状の形状をしており、その表面に第１表示画面１２ａが、裏面に第２表示画面１２ｂが、それぞれ設けられている。これらの表示画面は、いずれも略矩形の形状をしており、筐体１０の表面又は裏面の大部分を占めるように配置されている。第１表示画面１２ａ及び第２表示画面１２ｂは、例えば液晶表示パネルや有機ＥＬ表示パネル等、画像の表示が可能な各種のデバイスであってよい。また、これらの表示画面に対して、ユーザの指などが触れた位置を検知可能なタッチパネルが重ねて配置されることとしてもよい。

さらに、本実施形態に係る携帯型画像表示装置１では、表示画面の外周を構成する４辺のそれぞれに沿って、４つのタッチセンサが設けられている。これらのタッチセンサは筐体１０の四方の側面それぞれに配置されており、それぞれ直線状の検知領域を備えている。このように筐体１０の側面に配置されることで、各タッチセンサは、筐体１０の表面に配置された第１表示画面１２ａの外周の一辺、及び裏面に配置された第２表示画面１２ｂの外周の一辺、の双方に沿って配置されることとなる。

具体的に、本実施形態では、第１表示画面１２ａ及び第２表示画面１２ｂの長辺方向（左右方向）に沿った側面に、第１タッチセンサ１４ａ及び第３タッチセンサ１４ｃが、第１表示画面１２ａ及び第２表示画面１２ｂの短辺方向（上下方向）に沿った側面に、第２タッチセンサ１４ｂ及び第４タッチセンサ１４ｄが、それぞれ配置されている。

これらのタッチセンサは、携帯型画像表示装置１を使用するユーザの指が触れた位置を検知するために用いられる。各タッチセンサは、例えば静電容量式や感圧式、光学式など各種の方式のものであってよい。また、各タッチセンサは、ユーザの指が触れた位置だけでなく、例えば指の接触面積や圧力などを検知することによって、ユーザの指がタッチセンサを押さえる強さを検知することとしてもよい。これらのタッチセンサがユーザの指の位置を検知することによって、携帯型画像表示装置１は、第１表示画面１２ａや第２表示画面１２ｂの外周に沿った方向のユーザの指の位置を、操作入力として受け付けることができる。

また、筐体１０表面には、第１表示画面１２ａに隣接して第１遠赤外線センサ１６ａが設けられている。さらに、筐体１０裏面には、第２表示画面１２ｂに隣接して第２遠赤外線センサ１６ｂが設けられている。これらの遠赤外線センサは、熱源から放射される遠赤外線を検知する。これによって、携帯型画像表示装置１は、各遠赤外線センサの前方にユーザがいるか否かを検知することができる。なお、携帯型画像表示装置１は、遠赤外線センサに代えて、またはこれに加えて、例えばＣＣＤカメラなど、ユーザの位置を検知可能な各種のデバイスを備えることとしてもよい。

また、携帯型画像表示装置１の筐体１０の内部には、加速度センサ１８及びジャイロセンサ２０が配置されている。加速度センサ１８は３軸加速度センサであって、筐体１０に対して設定された３つの基準軸（Ｘ軸、Ｙ軸及びＺ軸）それぞれの方向に生じる加速度を検知する。ここで、３つの基準軸は互いに略直交しており、Ｘ軸は筐体１０表面の矩形の長辺方向、Ｙ軸は矩形の短辺方向、Ｚ軸は筐体１０の厚さ方向にそれぞれ設定されているものとする。重力によって各基準軸に生じる加速度を加速度センサ１８が検知することによって、携帯型画像表示装置１は、自分自身の姿勢（すなわち、重力が働く鉛直方向に対する筐体１０の傾き）を検知することができる。

ジャイロセンサ２０は、ジャイロ基準軸（ここではＺ軸）を中心とした回転の角速度を検知し、当該検知した角速度に応じた電気信号を出力する。例えばジャイロセンサ２０は圧電振動型ジャイロなどであってよい。ジャイロセンサ２０によって検知される角速度を積分することで、携帯型画像表示装置１はＺ軸を基準とした筐体１０の回転角を算出することができる。

なお、図１には示されていないが、携帯型画像表示装置１は、タッチセンサ以外にも、例えばボタンやスイッチなど、ユーザの操作入力を受け付けるための各種の操作部材を筐体１０の表面や裏面、側面などに備えることとしてもよい。

図２は、携帯型画像表示装置１の内部構成を示す構成ブロック図である。同図に示されるように、携帯型画像表示装置１は、制御部３０と、記憶部３２と、画像処理部３４と、を含んで構成されている。制御部３０は、例えばＣＰＵ等であって、記憶部３２に格納されているプログラムに従って、各種の情報処理を実行する。記憶部３２は、例えばＲＡＭやＲＯＭ等のメモリ素子や、ディスクデバイスなどであって、制御部３０によって実行されるプログラムや各種のデータを格納する。また、記憶部３２は、制御部３０のワークメモリとしても機能する。

画像処理部３４は、例えばＧＰＵとフレームバッファメモリとを含んで構成され、制御部３０が出力する指示に従って、第１表示画面１２ａ及び第２表示画面１２ｂのそれぞれに表示する画像を描画する。具体例として、画像処理部３４は第１表示画面１２ａ及び第２表示画面１２ｂのそれぞれに対応した２つのフレームバッファメモリを備え、ＧＰＵは、制御部３０からの指示に従って、所定時間おきにこれら２つのフレームバッファメモリのそれぞれに対して画像を書き込む。そして、これらのフレームバッファメモリに書き込まれた画像が、所定のタイミングでビデオ信号に変換されて、それぞれ対応する表示画面に表示される。

本実施形態では、制御部３０は、タッチセンサ１４ａ〜１４ｄ、遠赤外線センサ１６ａ及び１６ｂ、加速度センサ１８、並びにジャイロセンサ２０のそれぞれによる検知結果などに基づいて、各種の処理を実行する。特に、制御部３０は、タッチセンサ１４ａ〜１４ｄによるユーザの指の位置の検知結果に基づいて、ユーザによる指示操作の内容を判断して、当該指示操作に応じた処理を実行し、処理結果を表示画面に表示してユーザに提示する。

ここで、ユーザが閲覧する表示画面は、場合によって、第１表示画面１２ａになったり第２表示画面１２ｂになったりする。そこで、携帯型画像表示装置１は、ユーザが主に閲覧していると想定される表示画面（以下、主表示画面という）を特定し、この主表示画面に主として表示すべき画像を表示する。また、主表示画面と反対側の表示画面（以下、副表示画面という）には、主表示画面に表示する画像と関連する補助的な情報を表示してもよいし、あるいは主表示画面に表示する画像を生成するプログラムとは別のプログラムよって生成される、他の画像を表示してもよい。また、副表示画面は、ユーザの操作などによって主表示画面に切り替わるまで画像を表示しないこととしてもよい。

なお、第１表示画面１２ａ及び第２表示画面１２ｂのどちらを主表示画面とするかは、例えば第１遠赤外線センサ１６ａ及び第２遠赤外線センサ１６ｂにより検知されるユーザが筐体１０のどちら側に存在するかを示す情報や、加速度センサ１８により検知される筐体１０の姿勢などに応じて切り替えられることとしてもよい。あるいは、ユーザの明示の指示操作に応じて切り替えられることとしてもよい。

以下、本実施形態において、各タッチセンサの検知結果に応じて制御部３０が実行する処理の具体例について、説明する。本実施形態では、制御部３０は、タッチセンサ１４ａ〜１４ｄにより検知されるユーザの指の複数の位置の組み合わせに応じて、主表示画面に表示する画像を変化させる処理を実行する。このような処理を実行するため、携帯型画像表示装置１は、機能的に、図３に示すように、検知位置・情報取得部４０と、操作種別判定部４２と、表示画像制御処理部４４と、を含んでいる。これらの機能は、制御部３０が記憶部３２に格納されたプログラムを実行することにより実現される。このプログラムは、例えば光ディスクやメモリカード等のコンピュータ読み取り可能な各種の情報記憶媒体に格納されて提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。

検知位置・情報取得部４０は、タッチセンサ１４ａ〜１４ｄがユーザの指の位置を検知して出力する座標値を取得する。本実施形態において、タッチセンサ１４ａ〜１４ｄのそれぞれは、ユーザの指が触れた位置を検知した場合に、その位置を示す座標値を所定時間おきに出力する。なお、ここでは各タッチセンサが出力する座標値は、直線状の検知領域内の位置を示す一次元の値であることとする。検知位置・情報取得部４０は、４つのタッチセンサのそれぞれが出力する座標値を所定時間おきに取得する。これによって、４つのタッチセンサに対応して、ユーザの指の位置の動き（時間変化）を示す最大で４個の座標値列が得られる。また、検知位置・情報取得部４０は、検知位置を示す座標値だけでなく、その位置をユーザが押さえる強さを示す圧力値を取得してもよい。この場合、検知位置・情報取得部４０は、この圧力値が所定の閾値以上となっている座標値だけを、ユーザの指が接触している位置を示す座標値として採用することとしてもよい。

操作種別判定部４２は、検知位置・情報取得部４０が取得したユーザの指の位置の動きを示す複数の座標値列に基づいて、ユーザが実行する操作の種別を判定する。例えば操作種別判定部４２は、まず４つのタッチセンサのそれぞれについて、予め定められた期間にわたってユーザの指が触れ続け、かつその期間内にユーザの指が所定量以上動いたか否かを判定する。そして、ユーザの指が所定量以上動いたと判定されるタッチセンサが複数ある場合に、これらタッチセンサの組み合わせと、ユーザの指の動きの方向（すなわち、座標値列内において座標値が増大したか、あるいは減少したか）とに基づいて、ユーザによる操作の種別を判定する。これにより、複数のタッチセンサが検知するユーザの指の位置それぞれの動き（ここでは動く向き）の組み合わせに応じて、操作種別の判定を行うことができる。

表示画像制御処理部４４は、操作種別判定部４２によって判定される操作種別に応じて、主表示画面に表示する画像を変化させる。具体的には、例えば画面に表示されている画像を拡大又は縮小したり、左右上下の方向にスクロール（平行移動）させたりする画像処理を実行する。

以下、ユーザ操作の種別に応じた画像の変化の具体例について、図４から図９までの各図に基づいて説明する。なお、これらの図においては、第１表示画面１２ａを主表示画面とし、その外周を構成する４辺に沿って実際には筐体１０の側面に配置されている各タッチセンサを、第１表示画面１２ａの各辺に並べて模式的に表している。また、ユーザの指の動きを各タッチセンサ上の矢印で示している。

図４は、ユーザの操作に応じて制御部３０が第１表示画面１２ａに表示されている画像を左右方向にスクロールさせる場合の例について、示している。この図の例では、表示画面の左右方向に沿って配置された第１タッチセンサ１４ａ及び第３タッチセンサ１４ｃの双方が、表示画面に向かって左方向（すなわち、Ｘ軸負方向）にユーザの指が動く動きを検知している。この場合、制御部３０は、第１表示画面１２ａに表示されている画像を、ユーザの指の動く方向と同じ左方向に向けてスクロールさせる処理を実行する。逆に第１タッチセンサ１４ａ及び第３タッチセンサ１４ｃが、表示画面に向かって右方向（Ｘ軸正方向）へのユーザの指の動きを検知した場合、制御部３０は、第１表示画面１２ａに表示されている画像を右方向に向けてスクロールさせる。

図５は、第１表示画面１２ａに表示されている画像を上下方向にスクロールさせる場合の例について、示している。この図に示されるように、表示画面の上下方向に沿って配置された第２タッチセンサ１４ｂ及び第４タッチセンサ１４ｄにより、表示画面に向かって上方向（Ｙ軸正方向）へのユーザの指の動きが検知された場合、制御部３０は、第１表示画面１２ａに表示されている画像を上方向に向けてスクロールさせる。また、下方向（Ｙ軸負方向）へのユーザの指の動きが検知された場合、制御部３０は、表示画像を下方向に向けてスクロールさせる。

図６は、ユーザが画像の縮小を指示する場合の例について、示している。この図の例では、第１タッチセンサ１４ａがＸ軸正方向へのユーザの指の動きを、第２タッチセンサ１４ｂがＹ軸負方向へのユーザの指の動きを、それぞれ検知している。すなわち、互いに隣接する２つのタッチセンサ同士が、いずれも他方のタッチセンサに近づく向きのユーザの指の動きを検知していることになる。この場合、制御部３０は、第１表示画面１２ａに表示された画像を縮小する処理を実行する。同様に、第２タッチセンサ１４ｂがＹ軸正方向、第３タッチセンサ１４ｃがＸ軸正方向へのユーザの指の動きをそれぞれ検知した場合や、第３タッチセンサ１４ｃがＸ軸負方向、第４タッチセンサ１４ｄがＹ軸正方向へのユーザの指の動きをそれぞれ検知した場合、また第４タッチセンサ１４ｄがＹ軸負方向、第１タッチセンサ１４ａがＸ軸負方向へのユーザの指の動きをそれぞれ検知した場合にも、同様に、画像の縮小処理を実行することとしてもよい。

逆に、隣接する２つのタッチセンサのそれぞれが、いずれも他方のタッチセンサから離れる向きのユーザの指の動きを検知した場合、制御部３０は、第１表示画面１２ａに表示されている画像を拡大する処理を実行する。図７は、ユーザによるこのような画像拡大の指示の一例として、第４タッチセンサ１４ｄがＹ軸正方向へのユーザの指の動きを検知するとともに、第１タッチセンサ１４ａがＸ軸正方向へのユーザの指の動きを検知している場合の例について示している。このように、前述した画像の縮小の指示と逆方向へのユーザの指の動きの組み合わせが検知された場合に、制御部３０は第１表示画面１２ａに表示されている画像を拡大する処理を実行する。

図８及び図９は、回転の指示を行う際のユーザの指の動きの一例を示している。図８の例では、互いに対向する第１タッチセンサ１４ａ及び第３タッチセンサ１４ｃが、互いに逆向きのユーザの指の動きを検知している。すなわち、第１タッチセンサ１４ａはＸ軸正方向、第３タッチセンサ１４ｃはＸ軸負方向へのユーザの指の動きを検知している。これに応じて、制御部３０は、第１表示画面１２ａに表示されている画像を反時計回りに回転させる処理を行う。また、これとは逆に、第１タッチセンサ１４ａがＸ軸負方向、第３タッチセンサ１４ｃがＸ軸正方向へのユーザの指の動きを検知した場合には、表示画像を時計回りに回転させる処理を行う。

また、図９は、やはり互いに対向する第２タッチセンサ１４ｂ及び第４タッチセンサ１４ｄが、互いに逆向きのユーザの指の動きを検知している例を示している。この図の例では、第２タッチセンサ１４ｂはＹ軸正方向、第４タッチセンサ１４ｄはＹ軸負方向へのユーザの指の動きを検知しており、これに応じて制御部３０は表示画像を反時計回りに回転させる。また、第２タッチセンサ１４ｂがＹ軸負方向、第４タッチセンサ１４ｄがＹ軸正方向へのユーザの指の動きを検知した場合、制御部３０は、逆に表示画像を時計回りに回転させる。

なお、以上の例においては、第１表示画面１２ａが主表示画面であると仮定したが、第２表示画面１２ｂが主表示画面として選択されているときにも、制御部３０が同様の処理を実行することにより、ユーザは表示画面に表示されている画像を変化させる操作入力を行うことができる。ただし、この場合、制御部３０は、どちらの表示画面が主表示画面として選択されているか、また主表示画面に対してどのような向きで画像が表示されているかに応じて、各タッチセンサが検出する指の位置の動く向きと、画像のスクロール方向や回転方向との対応関係を変化させることとする。これにより、ユーザが指を動かした方向に合わせて、画像を変化させることができる。

また、以上の例において、制御部３０は、各タッチセンサにより検知されるユーザの指の動く向きだけでなく、その移動量に応じて、第１表示画面１２ａに表示する画像を変化させてもよい。例えば、ユーザの指が動いた量に応じて、画像を変化させる際におけるスクロール量やスクロール速度、拡大率・縮小率や拡大縮小の速度、回転量や回転速度などを変化させてもよい。さらに、以上の例においては、制御部３０は主表示画面に表示されている画像の全体をスクロールしたり、拡大・縮小したり、回転したりすることとしたが、これに限らず、表示されている画像の一部や、画像内に配置された操作対象のオブジェクトなどを、ユーザの指の動きに応じて移動させたり、拡大・縮小したり、回転したりする処理を実行することにより、主表示画面に表示する画像を変化させてもよい。

また、これまでの説明では、複数の指の位置それぞれの動きの組み合わせに応じて表示画像を変化させる例について説明したが、これに限らず、制御部３０は、例えば予め定められた複数の位置に対してユーザが単に指を触れる操作に応じて、表示画像を変化させる各種の処理を実行してもよい。

さらに、これまでの説明では、タッチセンサ１４ａ〜１４ｄは、いずれもユーザの指が触れる位置を１箇所だけ検知することとしている。しかしながら、これに限らず、タッチセンサ１４ａ〜１４ｄのそれぞれは、同時期に複数の指が触れる場合に、これら複数の指それぞれの位置を検知する多点検知が可能なものであってもよい。この場合、制御部３０は、一つのタッチセンサが検知する複数の指の位置の組み合わせに応じて、主表示画面に表示する画像を変化させることとしてもよい。

具体的に、一つのタッチセンサによって複数の指の位置が検知される場合、検知位置・情報取得部４０は、当該タッチセンサが出力する複数の座標値を取得する。そして、取得した複数の座標値の間の大小（すなわち、それぞれの座標値が示す検知領域内の位置の順序）や、前回検知された指の位置との間の距離などの情報を用いて、取得した複数の座標値のそれぞれを、前回タッチセンサが出力した座標値のうち、ユーザの同じ指が触れた位置を示すと推定される座標値と関連づける。これによって、検知位置・情報取得部４０は、一つのタッチセンサの出力に基づいて、ユーザの複数の指のそれぞれについて、その動きを示す複数の座標値列を取得できる。この複数の座標値列を、前述した例において複数のタッチセンサそれぞれが出力する座標値に基づいて取得された複数の座標値列と同じように用いることによって、操作種別判定部４２は、ユーザが実行する操作の種別を判定する。

図１０は、このような多点検知型のタッチセンサにより検知されるユーザの指の動きの一例を示している。この図の例では、第１タッチセンサ１４ａが、ユーザの２本の指が互いに近づく動きを検知している。この場合、図６の例と同様に、表示画像制御処理部４４は、表示画像を縮小する処理を実行する。また、逆に２本の指が互いに離れる動きを検知した場合には、表示画像制御処理部４４は、表示画像を拡大する処理を実行する。なお、第１タッチセンサ１４ａに限らず、他の３つのタッチセンサが同様のユーザの指の動きを検知することにより、表示画像が縮小又は拡大されることとしてもよい。

なお、このようにタッチセンサが多点検知型の場合、各タッチセンサからの出力に対して、位置の変化しない座標値列と、位置が時間とともに変化する座標値列と、が混在する複数の座標値列が取得される場合がある。このような場合、操作種別判定部４２は、位置の変化しない座標値列を、ユーザが筐体１０を把持することによってユーザの手が触れている位置であると判定して、このような座標値列を操作種別判定の対象から除外することとしてもよい。こうすれば、タッチセンサがユーザの意図しない指や手のひらの接触を検知してしまっている場合にも、ユーザがタッチセンサ上で指を動かす操作だけを対象として、図４から図９までの図で例示したような複数のタッチセンサに対するユーザの操作を特定することができる。

また、制御部３０は、１つのタッチセンサがユーザの１本の指の動きを検知しただけの場合にも、当該検知されたユーザの指の位置に応じて各種の処理を実行することとしてもよい。例えば制御部３０は、前述した表示画像を上下左右のいずれかにスクロールさせる図４や図５の例と同様の処理を、いずれか一つのタッチセンサによりユーザの指の動きが検知される場合に実行してもよい。また、制御部３０は、１つのタッチセンサによりユーザの指が単に予め定められた位置に接触したことが検知された場合にも、各種の処理を実行してよい。一例として、携帯型画像表示装置１がカメラデバイスを備えている場合、一般的なカメラにおいてシャッターが設けられる位置をユーザが所定の強さを超える圧力で押さえたことが検知されたときに、制御部３０は、このカメラデバイスによる画像の撮像処理を実行してもよい。

ここで、ユーザによる実際の指の動きを判別するために、検知位置・情報取得部４０が出力する複数の座標値列に対して操作種別判定部４２が実行する処理の例について、説明する。なお、以下の例では、タッチセンサ１４ａ〜１４ｄは多点検知型のセンサであって、検知位置・情報取得部４０は、各タッチセンサについて複数の座標値列を出力可能であることとする。

まず、操作種別判定部４２は、各座標値列に対して、所定のカットオフ周波数（例えば５Ｈｚ程度）以下の周波数成分だけを通過させるローパスフィルタ処理を実行する。これにより、ユーザの指の検知位置を示す座標値列から、手ぶれなどによって生じる比較的高い周波数の信号成分が除去される。

続いて操作種別判定部４２は、それぞれローパスフィルタ処理がなされた複数の座標値列を、所定の基準に従って並べ替える。この並べ替えの順序は、ユーザが何らかの操作入力を行う意図でタッチセンサに指を触れたことによって得られた可能性が高い座標値ほど、順位が高くなるような順序である。具体的に、例えば操作種別判定部４２は、以下に列挙するような条件に従って各座標値列の指標値を算出し、この算出された指標値の順に座標値列を並べ替える。一例として、この指標値は、座標値列を構成する各座標値を検知したときに併せて検知された圧力値が高い座標値列ほど、高く算出される。これにより、ユーザの指が意図せずタッチセンサに触れてしまうことによって得られる座標値列の順位は低くなる。また、座標値列によって示される検知位置が比較的同じ位置に安定して存在している、または一方向に向けて安定的に変化している座標値列については、指標値が高く算出される。すなわち、短時間に極端に大きく位置が変化している座標値列や、位置の変化する方向が短時間に繰り返し変化している座標値列は、誤検出などによって生じた可能性があるので、指標値が低く算出される。また、当該座標値列によって示される検知位置の近傍に、他の座標値列による検知位置が存在しない座標値列（すなわち、他から独立した座標値列）の指標値を、高く算出する。こうすれば、複数の座標値列によって示される検知位置が比較的狭い範囲に密接している場合、このような座標値列はユーザが携帯型画像表示装置１を把持することによって得られるものと想定されるので、このような座標値列の指標値を低くすることができる。また、各座標値列を構成する座標値の数（すなわち、ユーザの指の接触が継続している期間）を、指標値の算出に用いてもよい。

さらに、操作種別判定部４２は、この並べ替えられた順序に従って各座標値列を評価して、各座標値列が所定の操作パターンに該当するか否かを判別することによって、ユーザによる操作種別の判定を行う。こうすれば、ユーザが意図的にタッチセンサに指を触れたことによって得られたと想定される座標値列を優先的に判定対象として、操作種別の判定を行うことができる。このとき、判定の対象となる操作種別にも、予め優先順位が定められていることとしてもよい。すなわち、携帯型画像表示装置１は、判別対象となる複数の操作パターンのそれぞれに対して、優先順位を関連付けたテーブルを予め記憶しておく。そして、複数の操作パターンのそれぞれについて、優先順位の高い操作パターンから順に、当該操作パターンに該当する座標値列があるか否かを判定する。さらに、この各座標値列が当該操作パターンに該当するか否かの判定を、各座標値列について前述した並べ替えを行った順序で行うこととする。この操作パターンの順序の具体例としては、優先順位の高いものから順に、ユーザの２本以上の指の動きによる操作、１本の指の動きによる操作、１本の指が所定位置に触れる操作、１本の指が所定位置から離れる操作、といった順序が挙げられる。そして、この順序で操作種別の判定を行った結果、最初に該当する座標値列が存在すると判定された操作パターンを、ユーザが実際に行った操作入力であると判定する。こうすれば、より誤検出のおそれが低い操作を優先してユーザの操作として判定することができる。また、２本以上の指の動きによる操作や１本の指の動きによる操作などがそれぞれ複数種類ある場合、これら複数種類の操作パターンの間の優先順位も定められていることとしてもよい。また、この優先順位は、アプリケーションプログラムによって実行中の処理の内容に応じて変化することとしてもよい。こうすれば、実行中の処理の内容（状態）によって、ユーザが実行する可能性が低いと思われる操作や、誤判定してしまうことを避けたい操作（処理内容を最終的に決定するための操作など）の優先順位を低くすることができる。

なお、各座標値列が所定の操作パターンに該当するか否かの判定を操作種別判定部４２が行う際には、検知位置が所与の遊び量を超える量だけ変化することを、当該操作パターンに該当するか否かの判定条件に加えてもよい。こうすれば、ユーザの意図に反してわずかにユーザの指がタッチセンサに触れてしまった場合などに、ユーザがタッチセンサ上で所定の向きに指を動かす操作を行ったと判定してしまうことを避けることができる。なお、この遊び量は、複数の操作パターンの種別ごとに、互いに異なる値であってもよい。例えば図５に例示するような互いに離れたタッチセンサに対する操作パターンと、図６に例示するような互いに隣接するタッチセンサに対する操作パターンとでは、遊び量を変化させてもよい。

以上説明した本実施の形態によれば、表示画面の外周に沿って設けられた複数のタッチセンサのそれぞれにより検知される指の位置の組み合わせに応じて、当該表示画面に表示される画像が変化する。これにより、ユーザは、表示画面に対応する複数のタッチセンサ上の位置を指で触ることで、表示画面に表示された画像に対して、容易に、かつ直感的に理解しやすい態様で操作入力を行うことができる。また、複数のタッチセンサにより複数の指の位置を検知し、その組み合わせに応じて画像を変化させることによって、本実施形態に係る携帯型画像表示装置１は、ユーザによる多様な種別の操作入力を受け付けることができる。さらに、複数のタッチセンサは表示画面の外周に沿って設けられているので、ユーザがこれらのタッチセンサを指で触って操作する際に、表示画面が指で隠れてしまうことがなく、画面の閲覧性を損ねにくくすることができる。

なお、本発明の実施の形態は以上説明したものに限られない。

例えば、携帯型画像表示装置１の筐体１０の各側面にタッチセンサを設ける場合、筐体の側面を、表示画面が設けられた表面及び当該側面の双方に平行な方向から見て凹状になるように形成して、タッチセンサをこの凹部の底面に沿って直線状に配置することとしてもよい。図１１は、このように側面が凹状に形成された携帯型画像表示装置の断面形状を示している。なお、この図に示される携帯型画像表示装置は、側面が凹状に形成されているほかは、図１に示す携帯型画像表示装置と同様の構造をしており、同様に各表示画面やタッチセンサが配置されていることとしている。また、この図においては、各表示画面に垂直で、第１タッチセンサ１４ａ及び第３タッチセンサ１４ｃを通る平面で携帯型画像表示装置１を切った様子が示されている。このようにタッチセンサを凹部の底面に沿って配置すれば、同図に示されるように、ユーザが意図的にタッチセンサに触れようとしたときにはタッチセンサに指を接触させることができ、一方でユーザが単に筐体を把持している箇所では、意図せずにユーザの指や手のひらがタッチセンサに触れてしまわないようにすることができる。

また、以上説明した例においては、各タッチセンサを筐体１０の側面に設けることとしている。しかしながら、タッチセンサは、筐体の各表示画面と同じ面上において、当該表示画面の外周を構成する各辺に隣接して設けられてもよい。また、タッチセンサは必ずしも矩形の外周を構成する４辺全てに沿って設けられていなくともよい。例えば一方の長辺と一方の短辺など、少なくとも２辺のそれぞれに沿って２つのタッチセンサが設けられていれば、これらタッチセンサのそれぞれが検知するユーザの指の位置の組み合わせに応じて制御部３０が表示画面に表示する画像を変化させることにより、ユーザは表示画面に対する拡大や縮小などの各種の操作を直感的に行うことができる。

本発明の実施の形態に係る携帯型画像表示装置の外観を示す斜視図である。 本実施形態に係る携帯型画像表示装置の内部構成を示すブロック図である。 本実施形態に係る携帯型画像表示装置の機能例を示す機能ブロック図である。 ユーザによるタッチセンサに対する操作の一例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 ユーザによるタッチセンサに対する操作の別の例を示す説明図である。 本発明の実施の形態に係る他の携帯型画像表示装置の断面形状を示す図である。

符号の説明

１ 携帯型画像表示装置、１０ 筐体、１２ａ 第１表示画面、１２ｂ 第２表示画面、１４ａ〜１４ｄ タッチセンサ、１６ａ及び１６ｂ 遠赤外線センサ、１８ 加速度センサ、２０ ジャイロセンサ、３０ 制御部、３２ 記憶部、３４ 画像処理部、４０ 検知位置・情報取得部、４２ 操作種別判定部、４４ 表示画像制御処理部。

Claims (7)

1. 略矩形の平板状の筐体と、
   前記筐体の表面に設けられた略矩形の表示画面と、
   前記筐体の互いに対向する２つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する２つのタッチセンサと、
   前記２つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させる表示画像制御手段と、
   を含むことを特徴とする携帯型画像表示装置。
2. 請求項１に記載の携帯型画像表示装置において、
   前記２つのタッチセンサのそれぞれについて、当該タッチセンサが所定時間おきに検知した位置を示す座標値からなる１又は複数の座標値列を取得する取得手段をさらに含み、
   前記表示画像制御手段は、前記取得された座標値列のうち、位置の変化しない座標値列を除外し、位置の変化する座標値列が示すユーザの指の動きに応じて、前記表示画面に表示する画像を変化させる
   ことを特徴とする携帯型画像表示装置。
3. 請求項１に記載の携帯型画像表示装置において、
   前記２つのタッチセンサのそれぞれについて、当該タッチセンサが所定時間おきに検知した位置を示す座標値からなる１又は複数の座標値列を取得する取得手段をさらに含み、
   前記表示画像制御手段は、前記取得された座標値列のそれぞれについて、当該座標値列がユーザの操作入力によって得られた可能性を示す指標値を算出し、当該算出された指標値の順序にしたがって、各座標値列が示すユーザの指の動きが複数の操作パターンのうちのどの操作パターンに該当するかを判別し、当該判別した操作パターンに応じて前記表示画面に表示する画像を変化させる
   ことを特徴とする携帯型画像表示装置。
4. 請求項１から３のいずれか一項記載の携帯型画像表示装置において、
   前記２つのタッチセンサのそれぞれは、前記筐体の側面に形成された凹部内に配置される
   ことを特徴とする携帯型画像表示装置。
5. 略矩形の平板状の筐体と、
   前記筐体の表面に設けられた略矩形の表示画面と、
   前記筐体の互いに対向する２つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する２つのタッチセンサと、
   を備える携帯型画像表示装置の制御方法であって、
   前記２つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させるステップ、
   を含むことを特徴とする携帯型画像表示装置の制御方法。
6. 略矩形の平板状の筐体と、
   前記筐体の表面に設けられた略矩形の表示画面と、
   前記筐体の互いに対向する２つの側面のそれぞれに設けられ、それぞれユーザの指が触れた位置を検知する２つのタッチセンサと、
   を備える携帯型画像表示装置としてコンピュータを機能させるためのプログラムであって、
   前記２つのタッチセンサが互いに逆向きの指の動きを検知した場合に、前記表示画面に表示する画像を回転させる表示画像制御手段、
   として前記コンピュータを機能させるためのプログラム。
7. 請求項６記載のプログラムを格納したコンピュータ読み取り可能な情報記憶媒体。

Images