JP6368455B2 - 装置、方法、及びプログラム - Google Patents

Description

本出願は、装置、方法、及びプログラムに関する。特に、本出願は、タッチスクリーンを有する装置、その装置を制御する方法、及びその装置を制御するためのプログラムに関する。

タッチスクリーンを備えるタッチスクリーンデバイスが知られている。タッチスクリーンデバイスは、例えば、スマートフォン及びタブレットを含むが、これらに限定されない。タッチスクリーンデバイスは、タッチスクリーンを介して指、ペン、又はスタイラスペンのジェスチャを検出する。そして、タッチスクリーンデバイスは、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。

タッチスクリーンデバイスの基本的な動作は、デバイスに搭載されるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって実現される。タッチスクリーンデバイスに搭載されるＯＳは、例えば、Ａｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標） ＯＳ、ｉＯＳ、Ｓｙｍｂｉａｎ（登録商標） ＯＳ、及びＷｉｎｄｏｗｓ（登録商標） Ｐｈｏｎｅを含むが、これらに限定されない。

国際公開第２００８／０８６３０２号

タッチスクリーンデバイスは、直感的な操作性を利用者に提供すると言われる。しかしながら、タッチスクリーンデバイスが表示する画面によっては、どのようなジェスチャをすればどのような処理が実行されるのかが利用者に分かり難いことがある。

上記のことから、表示される画面にどのようなジェスチャが割り当てられているかを利用者が容易に知ることができる装置、方法、及びプログラムに対するニーズがある。

１つの態様に係る装置は、ジェスチャが割り当てられた画面を表示するディスプレイと、前記ジェスチャを検出するタッチスクリーンと、前記画面が表示されているときに前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するコントローラとを備える。前記コントローラは、前記画面が前記ディスプレイに表示されているときに、前記ジェスチャに関する情報を前記ディスプレイにさらに表示させる。

１つの態様に係る方法は、ディスプレイを有する装置を制御する方法であって、ジェスチャが割り当てられた画面をディスプレイに表示するステップと、前記画面が表示されているときに、前記ジェスチャに関する情報を前記ディスプレイにさらに表示するステップと、前記画面が表示されているときに前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するステップとを含む。

１つの態様に係るプログラムは、ディスプレイを有する装置に、ジェスチャが割り当てられた画面をディスプレイに表示するステップと、前記画面が表示されているときに、前記ジェスチャに関する情報を前記ディスプレイにさらに表示するステップと、前記画面が表示されているときに前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するステップとを実行させる。

図１は、実施形態に係るスマートフォンの斜視図である。 図２は、スマートフォンの正面図である。 図３は、スマートフォンの背面図である。 図４は、ホーム画面の例を示す図である。 図５は、スマートフォンのブロック図である。 図６は、ディスプレイに表示される画面の例を示す図である。 図７は、画面に割り当てられているジェスチャを利用者に提示する例を示す図である。 図８は、ジェスチャに応じて実行される処理に関する情報を操作ガイドに含める例を示す図である。 図９は、画面の中央に操作ガイドを表示する例を示す図である。 図１０は、画面上の上部に操作ガイドを表示する例を示す図である。 図１１は、操作ガイド情報を作成する方法の例を示す図である。 図１２は、画面定義ファイルの例を示す図である。 図１３は、操作履歴に基づいて操作ガイド情報を作成する例を示す図である。 図１４は、操作ガイドを表示するための処理手順の例を示すフローチャートである。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、タッチスクリーンを備える装置の例として、スマートフォンについて説明する。

（実施形態）
図１から図３を参照しながら、実施形態に係るスマートフォン１の全体的な構成について説明する。図１から図３に示すように、スマートフォン１は、ハウジング２０を有する。ハウジング２０は、フロントフェイス１Ａと、バックフェイス１Ｂと、サイドフェイス１Ｃ１〜１Ｃ４とを有する。フロントフェイス１Ａは、ハウジング２０の正面である。バックフェイス１Ｂは、ハウジング２０の背面である。サイドフェイス１Ｃ１〜１Ｃ４は、フロントフェイス１Ａとバックフェイス１Ｂとを接続する側面である。以下では、サイドフェイス１Ｃ１〜１Ｃ４を、どの面であるかを特定することなく、サイドフェイス１Ｃと総称することがある。

スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３Ａ〜３Ｃと、照度センサ４と、近接センサ５と、レシーバ７と、マイク８と、カメラ１２とをフロントフェイス１Ａに有する。スマートフォン１は、スピーカ１１と、カメラ１３とをバックフェイス１Ｂに有する。スマートフォン１は、ボタン３Ｄ〜３Ｆと、コネクタ１４とをサイドフェイス１Ｃに有する。以下では、ボタン３Ａ〜３Ｆを、どのボタンであるかを特定することなく、ボタン３と総称することがある。

タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。図１の例では、ディスプレイ２Ａ及びタッチスクリーン２Ｂはそれぞれ略長方形状であるが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの形状はこれに限定されない。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、それぞれが正方形又は円形等のどのような形状もとりうる。図１の例では、ディスプレイ２Ａ及びタッチスクリーン２Ｂは重ねて配置されているが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの配置はこれに限定されない。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、並べて配置されてもよいし、離して配置されてもよい。図１の例では、ディスプレイ２Ａの長辺はタッチスクリーン２Ｂの長辺に沿っており、ディスプレイ２Ａの短辺はタッチスクリーン２Ｂの短辺に沿っているが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの重ね方はこれに限定されない。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。

ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。

タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン２Ｂに接触した位置を検出することができる。以下の説明では、タッチスクリーン２Ｂに対して接触する指、ペン、又はスタイラスペン等を、「接触オブジェクト（接触物）」と呼ぶことがある。

タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。

スマートフォン１は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン２Ｂに対して行われる操作である。スマートフォン１によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。

「タッチ」は、タッチスクリーン２Ｂに指が触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が接触するジェスチャをタッチとして判別する。「ロングタッチ」は、タッチスクリーン２Ｂに指が一定時間より長く触れるジェスチャである。スマートフォン１は、タッチスクリーン２Ｂに指が一定時間より長く接触するジェスチャをロングタッチとして判別する。

「リリース」は、指がタッチスクリーン２Ｂから離れるジェスチャである。スマートフォン１は、指がタッチスクリーン２Ｂから離れるジェスチャをリリースとして判別する。「スワイプ」は、指がタッチスクリーン２Ｂに接触したままで移動するジェスチャである。スマートフォン１は、指がタッチスクリーン２Ｂに接触したままで移動するジェスチャをスワイプとして判別する。

「タップ」は、タッチに続いてリリースをするジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャをタップとして判別する。「ダブルタップ」は、タッチに続いてリリースをするジェスチャが２回連続するジェスチャである。スマートフォン１は、タッチに続いてリリースをするジェスチャが２回連続するジェスチャをダブルタップとして判別する。

「ロングタップ」は、ロングタッチに続いてリリースをするジェスチャである。スマートフォン１は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。「ドラッグ」は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。スマートフォン１は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。

「フリック」は、指が、タッチスクリーン２Ｂに触れた後移動しながらタッチスクリーン２Ｂから離れるジェスチャである。すなわち、「フリック」は、タッチに続いて指が移動しながらリリースが行われるジェスチャである。スマートフォン１は、指が、タッチスクリーン２Ｂに触れた後移動しながらタッチスクリーン２Ｂから離れるジェスチャをフリックとして判別する。フリックは、指が一方方向へ移動しながら行われることが多い。フリックは、指が画面の上方向へ移動する「上フリック」、指が画面の下方向へ移動する「下フリック」、指が画面の右方向へ移動する「右フリック」、指が画面の左方向へ移動する「左フリック」等を含む。フリックにおける指の移動は、スワイプにおける指の移動よりも素早いことが多い。

「ピンチイン」は、複数の指が互いに近付く方向にスワイプするジェスチャである。スマートフォン１は、タッチスクリーン２Ｂにより検出されるある指の位置と他の指の位置との間の距離が短くなるジェスチャをピンチインとして判別する。「ピンチアウト」は、複数の指が互いに遠ざかる方向にスワイプするジェスチャである。スマートフォン１は、タッチスクリーン２Ｂにより検出されるある指の位置と他の指の位置との間の距離が長くなるジェスチャをピンチアウトとして判別する。

本実施形態では、１本の指により行われるジェスチャを「シングルタッチジェスチャ」と呼ぶことがある。本実施形態では、２本以上の指により行われるジェスチャを「マルチタッチジェスチャ」と呼ぶことがある。ピンチインおよびピンチアウトは、マルチタッチジェスチャである。タップ、フリックおよびスワイプ等は、１本の指で行われればシングルタッチジェスチャであり、２本以上の指で行われればマルチタッチジェスチャである。

スマートフォン１は、タッチスクリーン２Ｂを介して判別するこれらのジェスチャに従って動作を行う。このため、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってスマートフォン１が行う動作は、ディスプレイ２Ａに表示されている画面に応じて異なることがある。以下の説明では、説明を簡単にするために、「タッチスクリーン２Ｂがジェスチャを検出し、検出されたジェスチャの種別をスマートフォン１がＸと判別すること」を、「スマートフォン１がＸを検出する」、又は「コントローラがＸを検出する」と記載することがある。

図４を参照しながら、ディスプレイ２Ａに表示される画面の例について説明する。図４は、ホーム画面の例を示している。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。ホーム画面は、ディスプレイ２Ａに表示される。ホーム画面は、スマートフォン１にインストールされているアプリケーションのうち、どのアプリケーションを実行するかを利用者に選択させる画面である。スマートフォン１は、ホーム画面で選択されたアプリケーションをフォアグランドで実行する。フォアグランドで実行されるアプリケーションの画面は、ディスプレイ２Ａに表示される。

スマートフォン１は、ホーム画面にアイコンを配置することができる。図４に示すホーム画面４０には、複数のアイコン５０が配置されている。それぞれのアイコン５０は、スマートフォン１にインストールされているアプリケーションと予め対応付けられている。スマートフォン１は、アイコン５０に対するジェスチャを検出すると、ジェスチャが検出されたアイコン５０に対応付けられているアプリケーションを実行する。例えば、スマートフォン１は、メールアプリケーションに対応付けられたアイコン５０に対するタップが検出されると、メールアプリケーションを実行する。

アイコン５０は、画像と文字列を含む。アイコン５０は、画像に代えて、記号又は図形を含んでもよい。アイコン５０は、画像又は文字列のいずれか一方を含まなくてもよい。アイコン５０は、配置パターンに基づいて配置される。アイコン５０の背後には、壁紙４１が表示される。壁紙は、フォトスクリーン、バックスクリーン、アイドル画像又は背景画像と呼ばれることもある。スマートフォン１は、任意の画像を壁紙４１として用いることができる。スマートフォン１は、壁紙４１として表示する画像を利用者が選択できるように構成されてもよい。

スマートフォン１は、複数のホーム画面を有していてよい。スマートフォン１は、例えば、ホーム画面の数を利用者による設定に従って決定する。スマートフォン１は、ホーム画面の数が複数であっても、選択された１つをディスプレイ２Ａに表示する。

スマートフォン１は、ディスプレイ２Ａに表示するホーム画面を変更することができる。スマートフォン１は、ホーム画面の１つを表示中にジェスチャが検出されると、ディスプレイ２Ａに表示するホーム画面を別のホーム画面に変更する。例えば、スマートフォン１は、右フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ左のホーム画面に変更する。例えば、スマートフォン１は、左フリックを検出すると、ディスプレイ２Ａに表示するホーム画面を１つ右のホーム画面に変更する。スマートフォン１は、第１のホーム画面をディスプレイ２Ａに表示中にジェスチャが検出されると、ディスプレイ２Ａに表示される第１のホーム画面の面積が徐々に狭くなり、ディスプレイ２Ａに表示される第２のホーム画面の面積が徐々に広くなるようにディスプレイ２Ａに表示するホーム画面を第１のホーム画面から第２のホーム画面へ変更する。スマートフォン１は、第１のホーム画面が第２のホーム画面に即座に置き換わるようにホーム画面を切り替えてもよい。

ディスプレイ２Ａの上端には、領域４２が設けられている。領域４２には、電源の残量を示す残量マーク４３、及び通信用の電波の電界強度を示す電波レベルマーク４４が表示される。スマートフォン１は、領域４２に、時刻、天気、実行中のアプリケーション、通信システムの種別、電話のステータス、装置のモード、装置に生じたイベント等を表示してもよい。このように、領域４２は、利用者に対して各種の通知を行うために用いられる。領域４２は、ホーム画面４０以外の画面でも設けられることがある。領域４２が設けられる位置は、ディスプレイ２Ａの上端に限定されない。

図４に示したホーム画面４０は、例であり、各種の要素の形態、各種の要素の配置、ホーム画面４０の数、及びホーム画面４０での各種の操作の仕方等は上記の説明の通りでなくてもよい。

図５は、スマートフォン１のブロック図である。スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２及び１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６と、ジャイロスコープ１７とを有する。

タッチスクリーンディスプレイ２は、上述したように、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、文字、画像、記号、又は図形等を表示する。タッチスクリーン２Ｂは、ジェスチャを検出する。

ボタン３は、利用者によって操作される。ボタン３は、ボタン３Ａ〜ボタン３Ｆを有する。コントローラ１０はボタン３と協働することによってボタン３に対する操作を検出する。ボタン３に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。

ボタン３Ａ〜３Ｃは、例えば、ホームボタン、バックボタンまたはメニューボタンである。ボタン３Ｄは、例えば、スマートフォン１のパワーオン／オフボタンである。ボタン３Ｄは、スリープ／スリープ解除ボタンを兼ねてもよい。ボタン３Ｅ及び３Ｆは、例えば、音量ボタンである。

照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、タッチスクリーンディスプレイ２が顔に近付けられたことを検出する。照度センサ４及び近接センサ５は、一つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。無線通信規格として、さらに、例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

レシーバ７及びスピーカ１１は、音出力部である。レシーバ７及びスピーカ１１は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２Ａに画面を表示させ、タッチスクリーン２Ｂによって検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳである。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、例えば、制御プログラム９Ａ、メールアプリケーション９Ｂ、ブラウザアプリケーション９Ｃ、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）アプリケーション９Ｄ、操作ガイド情報９Ｙ、及び設定データ９Ｚを記憶する。メールアプリケーション９Ｂは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。ブラウザアプリケーション９Ｃは、ＷＥＢページを表示するためのＷＥＢブラウジング機能を提供する。ＳＮＳアプリケーション９Ｄは、メッセージサービス、日記サービス、コミュニティサービス等を含むＳＮＳへのアクセス機能を提供する。操作ガイド情報９Ｙは、ディスプレイ２Ａに表示されるそれぞれの画面に割り当てられている操作（ジェスチャ）に関する情報を含む。設定データ９Ｚは、スマートフォン１の動作に関する各種の設定に関する情報を含む。

制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、通信ユニット６、レシーバ７、及びマイク８等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能には、ディスプレイ２Ａに表示される画面に割り当てられているジェスチャに関する情報を利用者に提示する機能が含まれる。制御プログラム９Ａが提供する機能は、メールアプリケーション９Ｂ等の他のプログラムが提供する機能と組み合わせて利用されることがある。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、レシーバ７、カメラ１２、カメラ１３、加速度センサ１５、方位センサ１６、及びジャイロスコープ１７を含むが、これらに限定されない。

コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、ディスプレイ２Ａに表示される画面に割り当てられているジェスチャに関する情報を利用者に提示する制御等の各種制御を実行する。

カメラ１２は、フロントフェイス１Ａに面している物体を撮影するインカメラである。カメラ１３は、バックフェイス１Ｂに面している物体を撮影するアウトカメラである。

コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタ１４に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。

加速度センサ１５は、スマートフォン１に働く加速度の方向及び大きさを検出する。方位センサ１６は、地磁気の向きを検出する。ジャイロスコープ１７は、スマートフォン１の角度及び角速度を検出する。加速度センサ１５、方位センサ１６及びジャイロスコープ１７の検出結果は、スマートフォン１の位置及び姿勢の変化を検出するために、組み合わせて利用される。

図５においてストレージ９が記憶するプログラム及びデータの一部又は全部は、通信ユニット６による無線通信で他の装置からダウンロードされてもよい。図５においてストレージ９が記憶するプログラム及びデータの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図５においてストレージ９が記憶するプログラム及びデータの一部又は全部は、コネクタ１４に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。

図５に示したスマートフォン１の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン３の数と種類は図５の例に限定されない。スマートフォン１は、画面に関する操作のためのボタンとして、ボタン３Ａ〜３Ｃに代えて、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。スマートフォン１は、画面に関する操作のために、ボタンを１つだけ備えてもよいし、ボタンを備えなくてもよい。図５に示した例では、スマートフォン１が２つのカメラを備えるが、スマートフォン１は、１つのカメラのみを備えてもよいし、カメラを備えなくてもよい。図５に示した例では、スマートフォン１が位置及び姿勢を検出するために３種類のセンサを備えるが、スマートフォン１は、このうちいくつかのセンサを備えなくてもよい。あるいは、スマートフォン１は、位置及び姿勢の少なくとも１つを検出するための他の種類のセンサを備えてもよい。

次に、図６から図１０を参照しながら、画面に割り当てられているジェスチャに関する情報を利用者に提示する制御について説明する。図６は、ディスプレイ２Ａに表示される画面の例を示す図である。図７は、画面に割り当てられているジェスチャを利用者に提示する例を示す図である。

図６に示す例において、ディスプレイ２Ａは、日記画面６０を表示している。日記画面６０は、ＳＮＳアプリケーション９Ｄが提供する画面の１つである。日記画面６０は、プロフィール表示領域６１と、日記表示領域６２と、ツールバー領域６３とを含む。

プロフィール表示領域６１は、日記の作者のプロフィールが表示される領域である。日記表示領域６２は、日記が表示される領域である。日記表示領域６２は、縦にスクロールするように構成されている。ツールバー領域６３は、所定の処理を実行するためのアイコンが配置される領域である。図６に示す例において、ツールバー領域６３は、利用者のホームページを表示するためのアイコン６３ａ、日記の検索ページを表示するためのアイコン６３ｂ、及びコメントの入力画面を表示するためのアイコン６３ｃを含んでいる。

スマートフォン１は、日記画面６０に割り当てられているジェスチャを利用者に提示するために、図７に示すように、日記画面６０に重ねて、操作ガイドを表示する。図７に示す例では、吹き出し６１ａ、吹き出し６２ａ、吹き出し６３ｄ、吹き出し６３ｅ、及び吹き出し６３ｆが操作ガイドとして表示されている。

吹き出し６１ａは、「タップ」という文字列を含み、プロフィール表示領域６１を指し示している。すなわち、吹き出し６１ａは、プロフィール表示領域６１に、何らかの処理を実行するためのジェスチャとして、タップが割り当てられていることを示している。

吹き出し６２ａは、「タップ」、「ロングタップ」、「フリック」、及び「スワイプ」という文字列を含み、日記表示領域６２を指し示している。すなわち、吹き出し６２ａは、日記表示領域６２に、何らかの処理を実行するためのジェスチャとして、タップ、ロングタップ、フリック、及びスワイプが割り当てられていることを示している。

吹き出し６３ｄは、「タップ」という文字列を含み、アイコン６３ａを指し示している。吹き出し６３ｅは、「タップ」という文字列を含み、アイコン６３ｂを指し示している。吹き出し６３ｆは、「タップ」という文字列を含み、アイコン６３ｃを指し示している。すなわち、吹き出し６３ｄ〜６３ｆは、それぞれ、アイコン６３ａ〜６３ｃに、何らかの処理を実行するためのジェスチャとして、タップが割り当てられていることを示している。

このように、操作ガイドを表示することにより、スマートフォン１は、画面のどの部分にどのようなジェスチャを行えば何らかの処理が実行されるのかを、利用者に把握させることができる。利用者は、画面のどの部分にどのようなジェスチャが割り当てられているかを把握することができれば、類似の画面に関する知見又は試行錯誤によって、画面に対するジェスチャに応じて実行される処理を知ることができる。

スマートフォン１は、ジェスチャに応じて実行される処理に関する情報を操作ガイドに含めてもよい。図８は、ジェスチャに応じて実行される処理に関する情報を操作ガイドに含める例を示す図である。図８に示す例では、吹き出し６１ｂ、吹き出し６２ｂ、吹き出し６３ｇ、吹き出し６３ｈ、及び吹き出し６３ｉが操作ガイドとして表示されている。

吹き出し６１ｂは、「タップ：詳細表示」という文字列を含み、プロフィール表示領域６１を指し示している。すなわち、吹き出し６１ｂは、プロフィール表示領域６１に、何らかの処理を実行するためのジェスチャとして、タップが割り当てられていることを示している。さらに、吹き出し６１ｂは、プロフィール表示領域６１に対するタップが行われた場合に日記の作者のプロフィールの詳細が表示されることを示している。

吹き出し６２ｂは、「タップ：詳細表示」、「ロングタップ：メニュー」、「フリック：スクロール」、及び「スワイプ：スクロール」という文字列を含み、日記表示領域６２を指し示している。すなわち、吹き出し６２ｂは、日記表示領域６２に、何らかの処理を実行するためのジェスチャとして、タップ、ロングタップ、フリック、及びスワイプが割り当てられていることを示している。さらに、吹き出し６２ｂは、日記表示領域６２に対するタップが行われた場合に日記の詳細が表示され、日記表示領域６２対するロングタップが行われた場合にメニューが表示され、日記表示領域６２対するフリック又はスワイプが行われた場合に日記がスクロールすることを示している。

吹き出し６３ｇは、「タップ：ホーム」という文字列を含み、アイコン６３ａを指し示している。吹き出し６３ｈは、「タップ：検索」という文字列を含み、アイコン６３ｂを指し示している。吹き出し６３ｉは、「タップ：コメント」という文字列を含み、アイコン６３ｃを指し示している。すなわち、吹き出し６３ｇ〜６３ｉは、それぞれ、アイコン６３ａ〜６３ｃに、何らかの処理を実行するためのジェスチャとして、タップが割り当てられていることを示している。さらに、吹き出し６３ｇは、アイコン６３ａに対するタップが行われた場合に利用者のホームページが表示されることを示している。吹き出し６３ｈは、アイコン６３ｂに対するタップが行われた場合に日記の検索ページが表示されることを示している。吹き出し６３ｉは、アイコン６３ｃに対するタップが行われた場合にコメントの入力画面が表示されることを示している。

このように、ジェスチャに応じて実行される処理に関する情報を操作ガイドに含めることにより、スマートフォン１は、画面のどの部分にどのようなジェスチャを行えばどのような処理が実行されるのかを、利用者に把握させることができる。

図７および図８では、操作ガイドとして吹き出しを表示する例を示した。しかしながら、スマートフォン１は、画面に割り当てられているジェスチャの種類を利用者が把握できる情報を操作ガイドとして表示すればよい。ジェスチャの種類を利用者が把握できる情報は、例えば、ジェスチャを表す文字、画像、線図、又はアニメーション等のシンボルである。ジェスチャの種類を利用者が把握できる情報は、ジェスチャが割り当てられている領域に重ねて表示されてもよい。

図７および図８では、ジェスチャが割り当てられているそれぞれの領域に対応付けて操作ガイドを表示する例を示した。しかしながら、スマートフォン１は、少なくとも、ディスプレイ２Ａに表示されている画面のどこかに割り当てられているジェスチャを利用者が把握できるように、操作ガイドを表示すればよい。

図９は、画面の中央に操作ガイドを表示する例を示す図である。図９に示す例では、タップ（Ｔａｐ）を表すシンボル６０ａと、ロングタップ（Ｌｏｎｇ Ｔａｐ）を表すシンボル６０ｂと、フリック（Ｆｌｉｃｋ）を表すシンボル６０ｃと、スワイプ（Ｓｗｉｐｅ）を表すシンボル６０ｄとが日記画面６０に重ねて表示されている。

シンボル６０ａは、日記画面６０のどこかに、何らかの処理を実行するためのジェスチャとして、タップが割り当てられていることを示している。シンボル６０ｂは、日記画面６０のどこかに、何らかの処理を実行するためのジェスチャとして、ロングタップが割り当てられていることを示している。シンボル６０ｃは、日記画面６０のどこかに、何らかの処理を実行するためのジェスチャとして、フリックが割り当てられていることを示している。シンボル６０ｄは、日記画面６０のどこかに、何らかの処理を実行するためのジェスチャとして、スワイプが割り当てられていることを示している。

このように、スマートフォン１は、ジェスチャが割り当てられている領域に対応付けて操作ガイドを表示しなくても、画面に割り当てられているジェスチャを利用者に把握させることができる。

図９に示す例では、ジェスチャを表す情報として、ジェスチャの頭文字が表示されている。しかしながら、ジェスチャを表すシンボルは、これに限定されない。例えば、ジェスチャを表す画像、線図、又はアニメーションが、ジェスチャを表す情報として表示されてもよい。

図９に示す例では、画面の中央に操作ガイドが表示されている。しかしながら、操作ガイドを表示する位置は、これに限定されない。例えば、スマートフォン１は、利用者が画面上の要素を見ることを妨げない位置に操作ガイドを表示してもよい。

図１０は、利用者が画面上の要素を見ることを妨げない位置に操作ガイドを表示する例を示す図である。図１０に示す例では、日記画面６０の上部に操作ガイド領域６０ｅが表示されている。操作ガイド領域６０ｅは、「タップ」、「ロングタップ」、「フリック」、及び「スワイプ」の文字列を含んでいる。これらの文字列は、日記画面６０のどこかに、何らかの処理を実行するためのジェスチャとして、タップ、ロングタップ、フリック、及びスワイプが割り当てられていることを示している。

操作ガイド領域６０ｅは、日記画面６０のタイトル部分に重なるように表示されている。タイトル部分が操作ガイド領域６０ｅに覆われても、日記画面６０においてジェスチャが割り当てられているそれぞれの要素は露出したままである。このように、画面上に配置されている要素と重ならない位置に操作ガイドを表示することにより、操作ガイドの表示が画面の視認性を損なうことを抑止できる。

上述してきたように、スマートフォン１は、操作ガイドを表示することによって、画面に割り当てられているジェスチャに関する情報を利用者に提示する。利用者は、操作ガイドを見ることにより、初めて見る画面であっても、その画面にどのようなジェスチャが割り当てられているかを把握することができる。

スマートフォン１が操作ガイドを表示するタイミングは、例えば、画面が表示されたタイミング、画面に対するジェスチャが検出されない時間が所定の期間より長く継続したタイミング、及び利用者による所定の指示が検出されたタイミングの少なくとも１つである。利用者による所定の指示は、例えば、タッチスクリーン２Ｂに対する所定のジェスチャ、ボタン３の押下、スマートフォン１を振る操作、及び音声の入力の少なくとも１つによって行われる。

画面が表示されたタイミングで操作ガイドが表示される場合、利用者は、新たな画面が表示される度にその画面の操作ガイドを見ることができる。画面に対するジェスチャが検出されない時間が所定の期間より長く継続したタイミングで操作ガイドが表示される場合、利用者が画面に割り当てられているジェスチャが分からずに戸惑っているときに操作ガイドが自動的に表示される。利用者による所定の指示が検出されたタイミングで操作ガイドが表示される場合、利用者は、任意のタイミングで操作ガイドを表示させることができる。

スマートフォン１が操作ガイドの表示を終了するタイミングは、例えば、画面に割り当てられたジェスチャが検出されたタイミング、操作ガイドが表示されてから所定の期間が経過したタイミング、利用者による所定の指示が検出されたタイミング、及び画面が切り替わったタイミングの少なくとも１つである。利用者による所定の指示は、例えば、タッチスクリーン２Ｂに対する所定のジェスチャ、ボタン３の押下、スマートフォン１を振る操作、及び音声の入力の少なくとも１つによって行われる。

画面に割り当てられたジェスチャが検出されたタイミングで操作ガイドの表示が終了する場合、利用者は、所望の処理を実行するためのジェスチャをするだけで、余分な操作をすることなく操作ガイドを非表示にすることができる。操作ガイドが表示されてから所定の期間が経過したタイミングで操作ガイドの表示が終了する場合、利用者は、操作ガイドを非表示にするために特に操作を行う必要がない。利用者による所定の指示が検出されたタイミングで操作ガイドの表示が終了する場合、利用者は、任意のタイミングで操作ガイドを非表示にすることができる。

スマートフォン１は、操作ガイドを半透明で表示してもよい。この場合、スマートフォン１は、操作ガイドの透明度を利用者が設定できるように構成されてもよい。あるいは、スマートフォン１は、操作ガイドを点滅表示してもよい。このように操作ガイドの表示を制御することにより、利用者は、操作ガイドが表示されていても、画面がどのような要素を含んでいるかを把握することができる。

スマートフォン１は、ある画面の操作ガイドを所定の回数表示した後は、その画面を表示する場合に操作ガイドを表示しないようにしてもよい。所定の回数は、利用者が画面に割り当てられたジェスチャをほぼ覚えることができる回数に設定される。スマートフォン１は、所定の回数を利用者が設定できるように構成されてもよい。スマートフォン１は、操作ガイドを所定の回数表示した後であっても、利用者による所定の指示が検出された場合には操作ガイドを表示してもよい。

スマートフォン１は、操作ガイドを、操作ガイド情報９Ｙに基づいて表示する。操作ガイド情報９Ｙは、画面を識別するための情報と、その画面に割り当てられているジェスチャを示す情報とを対応付けて保持する。ジェスチャが画面上の特定の領域に割り当てられている場合、操作ガイド情報９Ｙは、ジェスチャを示す情報を、そのジェスチャが割り当てられている領域を示す情報とさらに対応付けて保持してもよい。図５では、操作ガイド情報９Ｙは、アプリケーションから独立した単一の情報として図示されているが、操作ガイド情報９Ｙは、アプリケーション毎に記憶されていてもよいし、それぞれのアプリケーションに埋め込まれていてもよい。

操作ガイド情報９Ｙは、画面を提供するアプリケーションの制作者によって提供され、アプリケーションと共にスマートフォン１に導入されてもよい。

操作ガイド情報９Ｙは、図１１に示すように、画面を提供するアプリケーション９Ｘに対して解析処理を行った結果に基づいて作成されてもよい。アプリケーション９Ｘに対して解析処理を行う装置は、スマートフォン１であってもよいし、アプリケーション９Ｘを配布する業者が有する装置であってもよい。

アプリケーション９Ｘに対する解析処理は、例えば、アプリケーション９Ｘに含まれるコード又は文字列に基づいて、各種のジェスチャに対応するイベントにハンドラが作成されているかを判定する処理である。ハンドラは、イベントが検出された場合に実行すべき処理を実現するためのコードの集まりである。ある画面（画面上の要素）に対して、ジェスチャに対応するイベントにハンドラが作成されている場合、その画面（その画面上の要素）にそのジェスチャが割り当てられていると判定できる。

アプリケーションが、画面の定義を定義ファイルから読み込むように構成されている場合、操作ガイド情報９Ｙは、定義ファイルに基づいて作成されてもよい。定義ファイルは、例えば、画面定義ファイル、又はＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルである。ＨＴＭＬファイルは、ＪａｖａＳｃｒｉｐｔを含んでもよい。定義ファイルは、アプリケーションの内部に埋め込まれていてもよいし、アプリケーションの外部に存在してもよい。

図１２は、画面定義ファイルの例を示す図である。図１２に示す画面定義ファイル７０は、図６に示した日記画面６０を表示するように、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式で構成されている。画面定義ファイル７０は、プロフィール表示領域６１に対応するＣａｎｖａｓタグ７１と、日記表示領域６２に対応するＬｉｓｔＶｉｅｗタグ７２と、ツールバー領域６３に対応するＢａｒタグ７３とを含む。

Ｃａｎｖａｓタグ７１は、プロフィール表示領域６１の位置及び大きさを指定する属性に加えて、ｏｎＴａｐ属性７１ａを含む。ｏｎＴａｐ属性７１ａには、対応する領域でタップが検出されたときに実行すべき処理を含むハンドラの名称と、ハンドラに含まれる処理の概要を表す文字列とが設定される。図１２に示す例では、ｏｎＴａｐ属性７１ａには、「ｓｈｏｗＤｅｔａｉｌｓ」というハンドラ名と、「詳細表示」という文字列が設定されている。ｏｎＴａｐ属性７１ａによれば、プロフィール表示領域６１には、「詳細表示」に関する処理のためにタップが割り当てられていると判定される。

ＬｉｓｔＶｉｅｗタグ７２は、日記表示領域６２の位置及び大きさを指定する属性に加えて、ｏｎＴａｐ属性７２ａ、ｏｎＬｏｎｇＴａｐ属性７２ｂ、及びｓｃｒｏｌｌａｂｌｅ属性７２ｃを含む。ｏｎＴａｐ属性７２ａには、対応する領域でタップが検出されたときに実行すべき処理を含むハンドラの名称と、ハンドラに含まれる処理の概要を表す文字列とが設定される。ｏｎＬｏｎｇＴａｐ属性７２ｂには、対応する領域でロングタップが検出されたときに実行すべき処理を含むハンドラの名称と、ハンドラに含まれる処理の概要を表す文字列とが設定される。ｓｃｒｏｌｌａｂｌｅ属性７２ｃにはスクロールの可否を示す値が設定される。

図１２に示す例では、ｏｎＴａｐ属性７２ａには、「ｓｈｏｗＤｅｔａｉｌｓ」というハンドラ名と、「詳細表示」という文字列が設定されている。ｏｎＴａｐ属性７２ａによれば、日記表示領域６２には、「詳細表示」に関する処理のためにタップが割り当てられていると判定される。図１２に示す例では、ｏｎＬｏｎｇＴａｐ属性７２ｂには、「ｓｈｏｗＭｅｎｕ」というハンドラ名と、「メニュー」という文字列が設定されている。ｏｎＬｏｎｇＴａｐ属性７２ｂによれば、日記表示領域６２には、「メニュー」に関する処理のためにロングタップが割り当てられていると判定される。

図１２に示す例では、ｓｃｒｏｌｌａｂｌｅ属性７２ｃには、「ｔｒｕｅ」が設定されている。ｓｃｒｏｌｌａｂｌｅ属性７２ｃによれば、日記表示領域６２はスクロール可能に設定されていると判定される。すなわち、ｓｃｒｏｌｌａｂｌｅ属性７２ｃによれば、日記表示領域６２には、スクロールのためのジェスチャであるフリック及びスワイプが割り当てられていると判定される。

Ｂａｒタグ７３は、アイコン６３ａに対応するＩｃｏｎタグ７３ａと、アイコン６３ｂに対応するＩｃｏｎタグ７３ｂと、アイコン６３ｃに対応するＩｃｏｎタグ７３ｃとを含む。アイコン６３ａ〜６３ｂは、それぞれ、アイコンとして表示される画像を指定する属性に加えて、ｏｎＴａｐ属性７３ｄ〜７３ｆを含む。ｏｎＴａｐ属性７３ｄ〜７３ｆのそれぞれには、対応するアイコンに対するタップが検出されたときに実行すべき処理を含むハンドラの名称と、ハンドラに含まれる処理の概要を表す文字列とが設定される。

図１２に示す例では、ｏｎＴａｐ属性７３ｄには、「ｓｈｏｗＨｏｍｅ」というハンドラ名と、「ホーム」という文字列が設定されている。ｏｎＴａｐ属性７３ｄによれば、アイコン６３ａには、「ホーム」に関する処理のためにタップが割り当てられていると判定される。図１２に示す例では、ｏｎＴａｐ属性７３ｅには、「ｉｎｐｕｔＱｕｅｒｙ」というハンドラ名と、「検索」という文字列が設定されている。ｏｎＴａｐ属性７３ｅによれば、アイコン６３ｂには、「検索」に関する処理のためにタップが割り当てられていると判定される。図１２に示す例では、ｏｎＴａｐ属性７３ｆには、「ｉｎｐｕｔＣｏｍｍｅｎｔ」というハンドラ名と、「コメント」という文字列が設定されている。ｏｎＴａｐ属性７３ｆによれば、アイコン６３ｃには、「コメント」に関する処理のためにタップが割り当てられていると判定される。

スマートフォン１は、定義ファイルがアプリケーションに埋め込まれている場合、あるいは定義ファイルがアプリケーションとともに導入される場合、アプリケーションの導入時に定義ファイルを解析する。そして、スマートフォン１は、解析によって得られたジェスチャに関する情報を操作ガイド情報９Ｙに保存し、定義ファイルに基づいて画面を表示する場合にその情報を参照する。スマートフォン１は、定義ファイルに基づいて画面を表示する度に定義ファイルを解析してジェスチャに関する情報を取得するように構成されてもよい。

スマートフォン１は、定義ファイルが必要に応じて他の装置からダウンロードされる場合、定義ファイルをダウンロードしたとき、又は定義ファイルに基づいて画面を表示すときに定義ファイルを解析してジェスチャに関する情報を取得する。

図１２に示した例では、ジェスチャに関連するタグの属性に、ハンドラの名称と、ハンドラに含まれる処理の概要を表す文字列とが対応付けて設定される。しかしながら、ジェスチャに関連するタグの属性には、ハンドラの名称、又はハンドラに含まれる処理の概要を表す文字列のいずれか一方が設定されてもよい。

操作ガイド情報９Ｙは、図１３に示すように、操作履歴に基づいて作成されてもよい。図１３に示す例において、スマートフォン２ａ〜２ｎは、スマートフォン１と同様の構成を有する携帯電子機器である。スマートフォン２ａ〜２ｎは、タッチスクリーンに対するジェスチャが検出されると、検出されたジェスチャに関する情報をサーバ８０へ送信する。サーバ８０へ送信される情報には、画面情報、操作情報、及び領域情報が含まれる。

画面情報は、ジェスチャが検出されたときにディスプレイに表示されていた画面を識別するための情報である。操作情報は、検出されたジェスチャを識別するための情報である。領域情報は、ジェスチャが検出された位置に表示されている画面上の要素の表示領域を示す情報である。

サーバ８０は、スマートフォン２ａ〜２ｎから送信される情報をデータベース８１に操作履歴情報８２として蓄積する。そして、サーバ８０は、操作履歴情報８２に基づいて、画面の領域毎にそれぞれのジェスチャが実行された回数に関する統計値を算出する。統計値は、例えば、回数の合計値、頻度、スマートフォン毎の回数の平均値、スマートフォン毎の回数の最大値である。サーバ８０は、こうして算出された統計値が閾値よりも高い大きいジェスチャを、対応する画面の領域に割り当てられているジェスチャと判定する。サーバ８０は、画面と、その画面上の領域と、その領域に割り当てられていると判定したジェスチャの組み合わせを操作ガイド情報９Ｙとして、スマートフォン１を含む携帯電子機器へ送信する。

このように複数の利用者の操作履歴に基づいて操作ガイド情報９Ｙを生成することにより、個々の利用者が気付いたジェスチャの割り当てに関する知識を、多くの利用者で共有することができる。

図１３に示した例では、サーバ８０へ情報を送信する携帯電子機器と、サーバ８０から情報を受信する携帯電子機器とが別個の携帯電子機器として図示されているが、これらは同じ携帯電子機器であってもよい。すなわち、サーバ８０は、検出されたジェスチャに関する情報をスマートフォン１からも受信してよい。サーバ８０は、操作ガイド情報９Ｙをスマートフォン２ａ〜２ｎへも送信してよい。

次に、図１４を参照しながら、操作ガイドを表示するための処理手順の例について説明する。図１４は、操作ガイドを表示するための処理手順の例を示すフローチャートである。図１４に示す処理手順は、コントローラ１０が制御プログラム９Ａを実行することによって実現される。図１４に示す処理手順では、操作ガイドは、画面が表示されるときに表示され、設定された時間が経過した後に消去される。コントローラ１０は、図１４に示す処理手順と並行して、他の処理手順を実行する。他の処理手順には、例えば、画面を表示するための処理手順、及び画面に対するジェスチャに応じた処理を実行するための処理手順が含まれる。

コントローラ１０は、ステップＳ１０１として、ディスプレイ２Ａに表示される画面が変更されたかを判定する。コントローラ１０は、画面が変更されていない場合（ステップＳ１０１，Ｎｏ）、ステップＳ１０８へ進む。

画面が変更された場合（ステップＳ１０１，Ｙｅｓ）、コントローラ１０は、ステップＳ１０２として、変更後の画面を特定する。そして、コントローラ１０は、ステップＳ１０３として、特定した画面に関して操作ガイドを表示する必要があるか否かを判定する。コントローラ１０は、例えば、その画面に関して操作ガイドを表示した回数が予め設定された回数よりも多い場合に、操作ガイドを表示する必要がないと判定する。コントローラ１０は、操作ガイドを表示する必要がない場合（ステップＳ１０４，Ｎｏ）、ステップＳ１０８へ進む。

操作ガイドを表示する必要がある場合（ステップＳ１０４，Ｙｅｓ）、コントローラ１０は、ステップＳ１０５として、表示されている画面に対応する操作ガイドを表示する。そして、コントローラ１０は、操作ガイドを表示したときから、予め設定された時間が経過したかを判定する。予め設定された時間が経過していない場合（ステップＳ１０６，Ｎｏ）、コントローラ１０は、ステップＳ１０６の判定を繰り返す。

予め設定された時間が経過している場合（ステップＳ１０６，Ｙｅｓ）、コントローラ１０は、ステップＳ１０７として、操作ガイドを消去する。そして、コントローラ１０は、ステップＳ１０１へ戻る。

ステップＳ１０８では、コントローラ１０は、終了指示がなされたか否かを判定する。終了指示は、利用者によってなされてもよいし、スマートフォン１自身によってなされてもよい。終了指示がなされている場合（ステップＳ１０８，Ｙｅｓ）、コントローラ１０は、処理手順を終了する。終了指示がなされていない場合（ステップＳ１０８，Ｎｏ）、コントローラ１０は、ステップＳ１０１へ戻る。

本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。

例えば、図５に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。

ジェスチャが割り当てられている領域ごとにジェスチャに関する情報を表示する場合、スマートフォン１は、面積が設定された値よりも狭い領域については、その領域にジェスチャが割り当てられていてもジェスチャに関する情報を表示しなくてもよい。例えば、図７に示した例の場合、スマートフォン１は、表示領域が狭いアイコン６３ａ〜６３ｃに対応する吹き出し６３ｄ〜６３ｆを表示しなくてもよい。このように構成することにより、画面がジェスチャに関する情報に占められて、画面が見難くなることを抑止できる。

スマートフォン１は、画面に割り当てられているジェスチャがアプリケーションのアップデートによって増えた場合、その画面を表示するときに、増えたジェスチャに関する情報のみを表示してもよい。あるいは、この場合、その画面を表示するときに、増えたジェスチャに関する情報を他のジェスチャに関する情報と異なる態様で表示してもよい。増えたジェスチャに関する情報は、アプリケーションのアップデート前の操作ガイド情報９Ｙとアプリケーションのアップデート後の操作ガイド情報９Ｙとを比較することによって取得できる。

スマートフォン１は、画面に割り当てられているジェスチャ毎に検出された回数を記憶してもよい。そして、スマートフォン１は、記憶している回数に基づいて、ジェスチャに関する情報の表示を制御してもよい。例えば、スマートフォン１は、対応する画面が表示されたときに、検出された回数が設定された回数よりも少ないジェスチャに関する情報のみを表示してもよい。この場合、画面を表示した回数が閾値を超えた場合には、検出された回数が設定された回数よりも少ないジェスチャがあっても操作ガイドを表示しないようにスマートフォン１を構成してもよい。

上記の実施形態では、タッチスクリーンを備える装置の例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の携帯電子機器であってもよい。携帯電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これらに限定されない。添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、自動預入支払機（ＡＴＭ）、及びテレビ受像器を含むが、これらに限定されない。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。

１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ メールアプリケーション
９Ｃ ブラウザアプリケーション
９Ｄ ＳＮＳアプリケーション
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２、１３ カメラ
１４ コネクタ
１５ 加速度センサ
１６ 方位センサ
１７ ジャイロスコープ
２０ ハウジング
４０ ホーム画面
５０ アイコン

Claims (7)

1. 一部の領域にユーザによるジェスチャが割り当てられた画面を表示するディスプレイと、
   前記ジェスチャを検出するタッチスクリーンと、
   前記一部の領域に前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するコントローラとを備え、
   前記コントローラは、前記ジェスチャが割り当てられた前記一部の領域が前記ディスプレイに複数表示されているときに、当該画面に表示された複数の前記一部の領域の各々に割り当てられた前記ジェスチャを、当該画面に表示された複数の前記一部の領域の各々に対応付けて前記ディスプレイにさらに表示させ、
   前記コントローラは、表示される前記画面が変更され、当該画面に新たなジェスチャが割り当てられている場合に、当該新たなジェスチャを表示させ、当該新たなジェスチャを表示させた回数が予め設定された回数を超えた場合には、当該新たなジェスチャを表示させない装置。
2. 前記コントローラは、予め設定された時間が経過した場合に、前記ジェスチャを消去させる請求項１に記載の装置。
3. 前記コントローラは、第１の操作が検出された場合に、前記ジェスチャを消去させる請求項１または２に記載の装置。
4. 前記コントローラは、第２の操作が検出された場合に、前記ジェスチャを表示させる請求項１から３のいずれか１項に記載の装置。
5. 前記コントローラは、操作が検出されない時間が所定の期間よりも長く継続した場合に、前記ジェスチャを表示させる請求項１から４のいずれか１項に記載の装置。
6. ディスプレイと、タッチスクリーンとを有する装置を制御する方法であって、
   一部の領域にユーザによるジェスチャが割り当てられた画面を前記ディスプレイに表示するステップと、
   前記タッチスクリーンによって前記ジェスチャを検出するステップと、
   前記ジェスチャが割り当てられた前記一部の領域が前記ディスプレイに複数表示されているときに、当該画面に表示された複数の前記一部の領域の各々に割り当てられた前記ジェスチャを、当該画面に表示された複数の前記一部の領域の各々に対応付けて前記ディスプレイにさらに表示するステップと、
   前記画面が表示されているときに前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するステップと、
   前記ディスプレイに表示される前記画面が変更され、当該画面に新たなジェスチャが割り当てられている場合に、当該新たなジェスチャを前記ディスプレイに表示させ、当該新たなジェスチャを表示させた回数が予め設定された回数を超えた場合には、当該新たなジェスチャを前記ディスプレイに表示させないステップと
   を含む方法。
7. ディスプレイと、タッチスクリーンとを有する装置に、
   一部の領域にユーザによるジェスチャが割り当てられた画面を前記ディスプレイに表示するステップと、
   前記タッチスクリーンによって前記ジェスチャを検出するステップと、
   前記ジェスチャが割り当てられた前記一部の領域が前記ディスプレイに複数表示されているときに、当該画面に表示された複数の前記一部の領域の各々に割り当てられた前記ジェスチャを、当該画面に表示された複数の前記一部の領域の各々に対応付けて前記ディスプレイにさらに表示するステップと、
   前記画面が表示されているときに前記ジェスチャが検出された場合に、前記ジェスチャに対応する処理を実行するステップと、
   前記ディスプレイに表示される前記画面が変更され、当該画面に新たなジェスチャが割り当てられている場合に、当該新たなジェスチャを前記ディスプレイに表示させ、当該新たなジェスチャを表示させた回数が予め設定された回数を超えた場合には、当該新たなジェスチャを前記ディスプレイに表示させないステップと
   を実行させるプログラム。

Images