JP2014035688A - 情報機器、表示制御方法及びプログラム - Google Patents

Abstract

【課題】任意のアプリケーションの操作ガイダンスを表示する。
【解決手段】本発明の情報機器は、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、上記アプリケーションの操作入力を行う入力部と、上記アプリケーションの情報を表示部に表示する制御部と、を含む。上記制御部は、入力部からの操作入力の情報を上記アプリケーションに入力する第１のモードと、所定の操作入力の情報による上記アプリケーションの画面遷移を解析する第２のモード、で上記アプリケーションを動作させ、第２のモードで解析した画面遷移の情報を操作ガイダンスとして構築し、構築した操作ガイダンスを第１のモードのアプリケーションの表示画面の一部に表示する。
【選択図】図１

Description

本発明は、情報機器、表示制御方法及びプログラムに関する。

近年、携帯端末の多機能化により、１つのキーに複数の機能が割当てられている。１つのキーに割り当てられている複数の機能は、例えば、キーの短押しや長押し等によって区別して実行される。一般的には、キートップ上に機能を説明するためのガイダンスが印刷されるが、短押しの機能のみが印刷してあることが多く、長押しの操作を行った場合に、何が実行されるのかユーザに分かりにくいという問題がある。

上記の問題を解消するため、例えば、特許文献１は、１つのキーに割当てられた全ての機能が、キーに触れることによりガイダンス表示される携帯機器を開示している。この携帯機器によれば、１つのキーで複数の操作（短押し、長押し、ダブルタップなど）を行った場合の機能がガイダンス表示されるので、ユーザは各機能を容易に実行することができると共に、新たな機能を発見することもできる。

特開２０１０−２６９９８号公報

以下の分析は、本発明により与えられる。

しかしながら、特許文献１は、複数の操作に対する操作仕様が予め分かっている場合に、ガイダンス表示を行う方法しか開示していない。

近年、急速に普及してきたスマートフォン型の携帯端末では、ユーザが様々なアプリケーションを所定のサイトからダウンロードすることができるようになっているが、多くのアプリケーションでは、タッチパネルで複数の操作（短押し、長押し、ダブルタップなど）を行った場合のガイダンス表示はなされていない。ダウンロードした任意のアプリケーションに、タッチパネル操作のガイダンス表示の機能を追加したい要求があるが、操作仕様が分かっていないアプリケーションに対しては、ガイダンス表示を実現することができない。

本発明の目的は、任意のアプリケーションの操作のガイダンス表示を実現する技術を提供することにある。

本発明の第１の視点による情報機器は、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含み、前記制御部は、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する。

本発明の第２の視点による表示制御方法は、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御方法であって、前記制御部は、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する。

本発明の第３の視点によるプログラムは、以下の処理をコンピュータに実行させるプログラムである。即ち、画面表示を行う表示部と、アプリケーションを記憶する記憶部と、前記アプリケーションの操作入力を行う入力部と、前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御プログラムであって、前記制御部が、前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させる処理と、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析する処理と、前記解析した遷移画面の情報を操作ガイダンスとして構築する処理と、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する処理と、をコンピュータに実行させる。

本発明の携帯端末によれば、任意のアプリケーションの操作のガイダンス表示を実現することができる。

本発明の第１の実施形態に係る携帯端末の構成を示すブロック図である。 本発明の実施形態の概要を説明するためのフローチャートである。 本発明の第１の実施形態に係る携帯端末の動作を説明するためのシーケンスチャートである。 本発明の第１の実施形態に係る携帯端末において、画面解析モードのアプリケーションによる表示画面の一例を示す図である。 本発明の第１の実施形態に係る携帯端末において、構築したガイダンス表示を行った一例を示す図である。 本発明の第２の実施形態に係る携帯端末において、画面解析モードのアプリケーションによる表示画面の一例を示す図である。 本発明の第２の実施形態に係る携帯端末において、構築したガイダンス表示を行った一例を示す図である。 本発明の第３の実施形態に係る携帯端末の動作を説明するためのシーケンスチャートである。

まず、本発明の実施形態の概要について説明する。なお、実施形態の概要の説明において付記した図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。

本発明の一実施形態における携帯端末１０は、画面表示を行う表示部１８と、アプリケーション２０ａ、２０ｂを記憶する記憶部１４と、アプリケーションの操作入力を行う入力部（タッチパネル部）１６と、アプリケーションの情報を表示部１８に表示する制御部１２と、を含む。ここで、制御部１２は、入力部（例えば、タッチパネル部）１６からの操作入力の情報をアプリケーションに入力する第１のモード（例えば、通常モード）と、所定の操作入力の情報をアプリケーションに入力する第２のモード（画面解析モード）、とによってアプリケーションを動作させ、第２のモードの動作で、所定の操作入力の情報により遷移したアプリケーションの画面を解析し、第２のモードで解析した画面遷移の情報を操作ガイダンスとして構築し、構築した操作ガイダンスを第１のモードのアプリケーション２１の表示画面の一部に表示する。

次に、携帯端末１０の各機能部を説明する。なお、一部の機能部は、図４、図５に示す表示内容を用いて説明する。表示部１８は、アプリケーションの情報を表示する機能を有する。記憶部１４は、アプリケーション２０ａ、アプリケーション２０ｂを記憶する機能を有する。入力部（例えば、タッチパネル部）１６は、ユーザによるアプリケーションの操作入力の情報を制御部１２へ引き渡す機能を有する。制御部１２は、記憶部１４のアプリケーション２０ｂを次のモードで動作させる。１つは、タッチパネル１６からの操作入力の情報をアプリケーションに入力する通常モード（第１のモード）と、もう一つは、所定の操作入力の情報によりアプリケーションの画面遷移を解析する画面解析モード（第２のモード）である。

より詳細には、制御部１２は、オペレーティングシステム２３、ガイダンス表示部２４を含み、オペレーティングシステム２３は、タッチパネル部１６からの操作入力の情報であるイベントＣ１を生成し、通常モードのアプリケーション２１にイベントＣ１を入力する。また、ガイダンス表示部２４は、所定の操作入力の情報であるイベントＣ２を生成し、画面解析モードのアプリケーション２２にイベントＣ２を入力する。

さらに、ガイダンス表示部２４は、通常モードのアプリケーション２１が表示部１８で表示している第１の表示画面（図４（Ａ）の３１）と同じ画面から、画面解析モードのアプリケーション２２で第１の表示画面の構成情報を取得する。画面の構成情報は、例えば、第１の表示画面のキャプチャにより取得できる。

続いて、ガイダンス表示部２４は、画面解析モードのアプリケーションの第１の表示画面３１の構成情報を解析することにより、タッチパネル部１６の所定の操作入力の情報であるイベントに反応する可能性のあるオブジェクト（図４（Ａ）の３６ａ〜ｃ等）を検出する。

更に、ガイダンス表示部２４は、検出したオブジェクトの中から１つのオブジェクト（例えば、図４のオブジェクト３６ａ）を選択して、画面解析モードのアプリケーションの該オブジェクト３６ａに、所定の操作入力の情報であるイベントＣ２を入力する。

続いて、ガイダンス表示部２４は、第１の表示画面（図４（Ａ）の３１）が遷移した場合に、遷移した後の第２の表示画面（図４（Ｂ）の３２）の構成情報を取得する。

最後にガイダンス表示部２４は、第１及び第２の表示画面に基づいて、所定の操作に関するガイダンス（図５の３４）を構築し、構築したガイダンスを通常モードのアプリケーション２１の表示画面の一部に表示する（図５参照）。

上記の構成により、任意のアプリケーションの所定の操作に関するガイダンス表示を行うことができる。

また、上記携帯端末において、タッチパネル部１６の所定の操作は、短押し操作、タップ操作、ダブルタップ操作、フリック操作、長押し操作等であってもよい。

上記携帯端末において、図８に示すように、ガイダンス表示部２４は、さらに、オペレーティングシステム２３から通常モードのアプリケーション２１に入力されるイベントＣ１を監視し（図８のＳ２０）、画面解析モードのアプリケーション２２に対し通常モードのアプリケーション２１と同じ状態遷移を行うイベントＣ２を入力する（図８のＳ２１）ようにしてもよい。

上記携帯端末において、図３、８に示すように、ガイダンス表示部２４は、第２の表示画面（図４（Ｂ）の３２）をキャプチャした後、画面解析モードのアプリケーション２２に、戻るキーに対応するイベントＣ２を入力して（Ｓ１４）、第１の表示画面（図４（Ａ）の３１）に戻す（Ｓ１５）ことが好ましい。

上記携帯端末において、ガイダンス表示部２４は、検出したオブジェクト（図４（Ａ）の３６ａ〜ｃ）の中から、各々のオブジェクトが画面内に占める割合に基づく優先順位で１つのオブジェクトを選択し、第１の表示画面（図４（Ａ）の３１）が遷移するまで、上記優先順位に基づいて、該オブジェクトの選択と所定の操作に対応したイベントＣ２の入力を繰り返すことが好ましい。

上記携帯端末において、図７に示すように、上記ガイダンスは、第１の表示画面（図６（Ａ）の４１）に基づく第１のガイダンス（図７の４４）と、第２の表示画面（図６（Ｂ）の４２）に基づく第２のガイダンス（図７の５４）により構成され、第１のガイダンス（図７の４４）と第２のガイダンス（図７の５４）を交互に表示するようにしてもよい。

次に、本発明の一実施形態における表示制御方法について説明する。本発明の一実施形態における表示制御方法は、画面表示を行う表示部１８と、アプリケーション２０ｂを記憶する記憶部１４と、アプリケーションの操作入力を行う入力部（例えば、タッチパネル部）１６と、アプリケーションの情報を表示部１８に表示する制御部１２と、を含む情報機器（例えば、携帯端末１０）の表示制御方法であって、制御部１２は、入力部（例えば、タッチパネル部）１６からの操作入力の情報をアプリケーションに入力する第１のモード（例えば、通常モード）と、所定の操作入力の情報をアプリケーションに入力する第２のモード（画面解析モード）と、でアプリケーションを動作させ、第２のモードの動作で所定の操作入力の情報により遷移したアプリケーションの画面を解析し、解析した画面遷移の情報を操作ガイダンスとして構築し、構築した操作ガイダンスを第１のモードのアプリケーションの表示画面の一部に表示する。

以下、本発明の各実施形態について、図面を参照して詳しく説明する。

［第１の実施形態］
（第１の実施形態の構成）
第１の実施形態の構成について、図１を参照しながら詳細に説明する。図１は、第１の実施形態に係る携帯端末１０の構成を示すブロック図である。携帯端末１０は、スマートフォン型の携帯端末であり、図１に示すように、制御部１２と、種々のアプリケーション２０ａ〜ｂやプログラムが使用するデータ等を保存する記憶部１４と、ユーザが操作入力を行うタッチパネル部１６と、タッチパネル部１６の下部に重ねて配置され画面表示を行う表示部１８とを備えている。ここで、制御部１２は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、携帯端末１０を制御している。また、携帯端末１０は、通常の携帯電話機が有する電話、メール、及びデータ通信などの機能を有し、それら機能を実現するための不図示の構成要素として、無線送受信部、アンテナ、音声処理部、マイク、スピーカなどを備えている。

ここで、タッチパネル部１６は、携帯端末で広く普及している接触型タッチパネルだけでなく、タッチパネル静電容量の変化を検知する方式の非接触型タッチパネルも適用可能である。

記憶部１４は、アプリケーション２０ａ〜ｂを保存する。アプリケーションは、携帯端末メーカが携帯端末１０にプリロードしているアプリケーション以外に、ユーザが所定のサイトからダウンロードしたアプリケーションでもよい。第１の実施形態は、ダウンロードした任意のアプリケーションに対してガイダンス表示を可能にする。

次に、制御部１２で行われる処理について説明する。制御部１２では、アプリケーションの実行やハードウェアを管理するオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；以下「ＯＳ」とも、いう）２３が動作している。ここで、オペレーティングシステム２３として、マルチスレッドに対応したＯＳなどが使用される。

ユーザは、携帯端末１０の表示部１８に表示されたアプリケーション２０ｂのアイコンをタッチパネル部１６でタップする。すると、オペレーティングシステム２３はアプリケーション２０ｂのアイコンがタップされたことを検知し、記憶部１４に保存されたアプリケーション２０ｂを呼び出して、通常モードのアプリケーション２１として起動する。通常モードのアプリケーション２１は、オペレーティングシステム２３により１つのプロセスとして動作する。

ここで、「通常モード」は、ユーザ操作に反応するモードである。オペレーティングシステム２３は、ユーザのタッチパネル操作を検知し、通常モードのアプリケーション２１に対して、該ユーザの操作に対応したイベントＣ１により通常モードのアプリケーション２１の動作を制御する。

次に、ガイダンス表示部２４と画面解析モードのアプリケーションについて説明する。ガイダンス表示部２４は、通常モードのアプリケーション２１に対してガイダンス表示を行う機能を果し、制御部１２において、１つのプロセスとして動作する。ガイダンス表示部２４は、オペレーティングシステム２３によるアプリケーションの起動又は通常モードのアプリケーション２１に入力されるユーザの操作入力に対応したイベントＣ１を監視する。

ガイダンス表示部２４は、オペレーティングシステム２３が通常モードのアプリケーション２１を起動したことを検出すると、アプリケーション２０ｂをさらに画面解析モードのアプリケーション２２として起動する。画面解析モードのアプリケーション２２は、ガイダンス表示部２４により起動された１つのプロセスとして動作する。即ち、制御部１２では、同じアプリケーション２０ｂのプロセスが２つ動作することになる。

ここで、「画面解析モード」とは、ガイダンス表示するための解析用のモードである。画面解析モードのアプリケーション２２は、タッチパネル部１６おけるユーザ操作に反応せずに、ガイダンス表示部２４から入力されるイベントＣ２により制御される。

以上のように、制御部１２では、通常モードのアプリケーション２１のプロセス、ガイダンス表示部２４のプロセス、及び画面解析モードのアプリケーション２２のプロセスの、３つのプロセスが動作する。このような複数のプロセスの実行は、オペレーティングシステム２３として、マルチスレッド対応のシステムにより実現可能である。

（第１の実施形態の動作）
次に、第１の実施形態の動作について、図３〜５を参照しながら詳細に説明する。以下の動作説明において、ガイダンス表示は、タッチパネル部１６の「長押し操作」に関するガイダンスである場合を想定する。一般に、タッチパネル部１６の操作の種類として、「タップ」、「ダブルタップ」、「フリック」、「長押し」などがある。ここで、「タップ」は起動、「ダブルタップ」は表示サイズの変更、「フリック」は、画面スクロールなどに使用されることが多いが、「長押し」に関してはアプリケーションによって統一されていない。更に「長押し操作」のユーザインターフェースは、分かりにくいと言われており、このような操作によるガイダンス表示が、特に望まれている。尚、以下の説明では、タッチパネル部１６の「長押し操作」に関するガイダンス表示について説明するが、本発明はそれに限定されず、任意の操作に対するガイダンス表示に、適用することが可能である。

図３は、第１の実施形態の携帯端末１０に係る動作を示すシーケンスチャートである。図３において、通常モードのアプリケーション２１、ＯＳ２３、ガイダンス表示部２４、及び画面解析モードのアプリケーション２２における各々の動作を示している。

まず、ユーザがアプリ画面において、アプリケーション２０ｂのアイコンをタッチパネル部１６でタップすると、ＯＳ２３はアプリケーション２０ｂのアイコンがタップされたことを検知し、アプリケーション２０ｂを通常モードのアプリケーション２１として起動する（Ｓ１）。アプリケーション２０ｂは、図４〜５に示すように、電子メールのアプリケーションである。このとき、ガイダンス表示部２４は、ＯＳ２３が通常モードのアプリケーション２１を起動したことを検出する（Ｓ２）。そして、ガイダンス表示部２４は、画面解析モードのアプリケーション２２を起動する（Ｓ３）。

起動された通常モードのアプリケーション２１、画面解析モードのアプリケーション２２は、それぞれ第１の表示画面３１を表示する（Ｓ４、Ｓ５）。第１の表示画面３１は、アプリケーション２０ｂの起動直後の画面であり、図４（Ａ）に示すように、電子メールのＩｎｂｏｘ（受信箱）が表示されている。尚、携帯端末１０の表示部１８には、実際には、通常モードのアプリケーション２１による第１の表示画面３１と、画面解析モードのアプリケーション２２による第１の表示画面３１とが、２つ表示される。図４は、便宜上、画面解析モードのアプリケーション２２による第１の表示画面３１を示している。 通常モードと画面解析モードとによるアプリケーションの第１の表示画面３１は、いずれの画面を表示しているのかをユーザが認識できるように、それぞれのモードを表示することが好ましい。

なお、上記の例では画面解析モードのアプリケーションの第１の表示画面３１を表示部１８に表示する（Ｓ５）例を記載したが、表示部１８で表示しなくてもよい。画面解析モードの第１の表示画面を表示部１８に表示しなくても第１の表示画面３１の画面出力情報があればキャプチャすることができる。

次に、ガイダンス表示部２４は、第１の表示画面３１（画面解析モードのアプリケーション２２のほうの第１の表示画面）をキャプチャ（Ｓ６）し、画像データとして保存する。次に、ガイダンス表示部２４は、上記画像データを解析し、長押しイベントに反応する可能性のあるリスト表示／グリッド表示のオブジェクトを検出する（Ｓ７）。ここで、任意のアプリケーションの各画面において長押しに反応するのは、リスト表示／グリッド表示のオブジェクトであるという前提のもとに検出を行っているが、他のタイプのオブジェクトも、必要に応じて検出の条件に加えるようにしてもよい。図４（Ａ）の電子メールのＩｎｂｏｘでは、受信された３つのメールが表示されており、各受信メールが、リスト表示のオブジェクト（３６ａ〜ｃ）として検出される。

尚、上記の検出処理には、公知の様々な画像認識アルゴリズムが適用可能である。

次に、図３に戻って、検出されたオブジェクト（リスト表示のオブジェクト３６ａ〜ｃ）のうち、１つのオブジェクトを選択する。図４（Ａ）の場合には、オブジェクト３６ａを選択している。そして、選択したオブジェクト、即ち、画面解析モードのアプリケーション２２の第１の表示画面のオブジェクト３６ａに、長押しイベントＣ２を入力する（Ｓ８）。

ここで、上記の検出されたオブジェクトが複数存在した場合には、例えば、各オブジェクトが画面内に占める割合に基づいた優先順位で１つのオブジェクトを選択するようにすればよい。但し、図４（Ａ）の場合には、リスト表示のオブジェクト３６ａ〜ｃが占める面積は同じであると判定され、特に優先順位は設定されず、オブジェクト３６ａが選択されている。

画面解析モードのアプリケーション２２は、ステップＳ８において入力された長押しイベントＣ２を受け取り、該オブジェクト３６ａが、長押しに反応すると、図４（Ｂ）に示すように第２の表示画面３２に遷移する。即ち、第２の表示画面３２は長押しイベントＣ２による遷移先の画面である。図４（Ｂ）は、該オブジェクト３６ａを長押しすると、メニュー３５が表示されることを示している。メニュー３５は、「返信」「新規メール」「メールを削除」「メールのプロパティ」から選択するポップアップメニューである。

一方、該オブジェクト３６ａが、長押しイベントＣ２に反応しなかった場合の動作を、図３の破線枠内部に示している。該オブジェクト３６ａが、長押しイベントＣ２に反応しなかった場合は、画面解析モードのアプリケーション２２の画面は、第１の表示画面３１のままである（Ｓ１０）。また、ガイダンス表示部２４は、長押しイベントＣ２に反応がなかったことを検知すると、別のオブジェクトを１つ選択し、選択したオブジェクトに長押しイベントＣ２を入力する（Ｓ１１）。そして、オブジェトが長押しイベントＣ２に反応すると、第２の表示画面（３２等）に遷移する（Ｓ１２）。このように、第２の表示画面に画面が遷移するまで、別のオブジェクトを選択し、長押しイベントＣ２を入力する処理を繰り返す。尚、検出されたオブジェクトに反応がなかった場合には、長押しガイダンス表示を行う必要がないと判断し、ガイダンス表示部２４は何も処理を行わない。

次に、ガイダンス表示部２４は、遷移した第２の表示画面３２をキャプチャし（Ｓ１３）、画像データとして保存する。次に、ガイダンス表示部２４は、画面解析モードのアプリケーション２２にＢａｃｋキー（戻るキー）のイベントＣ２を入力する。これにより、画面解析モードのアプリケーション２２の画面は、第１の表示画面３１に戻る（Ｓ１５）

次に、ガイダンス表示部２４は、第１及び第２の表示画面３１、３２の画像データを解析することにより、ガイダンス３４を構築する（Ｓ１６）。具体的には、第２の表示画面３２は、第１の表示画面３１に対して、メニュー３５がスーパーインポーズされていることが、公知の画像認識アルゴリズムにより解析される。その解析結果を基に、ガイダンス表示部２４は、図５に示すように、「リストを長押しするとメニューが表示されます。」というメッセージを左側に、Ｉｎｂｏｘの一番上のメールを「手」で押下している画像を右側に示したガイダンス３４を構築する。

ガイダンス表示部２４は、構築したガイダンス３４を、通常モードのアプリケーション２１の表示画面の一部に表示する（Ｓ１７）。その結果、通常モードのアプリケーション２１の表示画面の一部にガイダンス３４が表示される（Ｓ１８）。

図５は、ガイダンス表示が追加された通常モードのアプリケーション２１の表示画面を示している。そして、ユーザはこのガイダンス表示により、Ｉｎｂｏｘのリストを長押しすると、メニューが表示されるという情報を得ることができる。実際に、ユーザが通常モードのアプリケーション２１で、ガイダンス表示の通りに操作した場合、図４（Ｂ）のようにメニュー３５が表示される。

（第２の実施形態）
次に、第２の実施形態について、図１、図３、図６、図７を参照しながら説明する。第２の実施形態は、図１の記憶部１４に記憶されたアプリケーション２０ａを起動した例である。第２の実施形態の構成は、第１の実施形態の構成と同様なため、説明は省略する。

次に、第２の実施形態の動作について、図３、図６、図７を参照しながら説明する。但し、前述したアプリケーション２０ｂの説明と重複する部分は説明を省略する。アプリケーション２０ａは、起動直後に、図６（Ａ）に示すランチャー画面を表示するアプリケーションである。図６（Ａ）に示すように、ランチャー画面において、１６個のアイコンＩｃｏｎ１〜１６がグリッド状に配置されている。このようなランチャー画面において各アイコンをタップすると、各アイコンに対応する機能が実行されることをユーザは直感的に理解できるが、長押し操作をするとどのような機能が実行されるか、ユーザには分かりにくい。このため図６（Ａ）のようなランチャー画面に対しても、ガイダンス表示することが望まれる。

図３におけるＳ１〜Ｓ６までは、第１の実施形態のアプリケーション２０ｂが第２の実施形態でアプリケーション２０ａとなっているので詳細な説明は省略する。図６（Ａ）の第１の表示画面４１に対して、図３のＳ７では、所定の操作入力が「長押し操作」であるイベントＣ２に反応する可能性のあるオブジェクトとして、１６個のグリッド表示のオブジェクト４０ａ〜ｐが検出される。図６（Ａ）の第１の表示画面４１で検出されたオブジェクトが複数存在するため、第１の実施形態のように各オブジェクトが画面内に占める割合に基づいた優先順位で１つのオブジェクトが選択される。これらのオブジェクト４０ａ〜ｐが、それぞれ画面に占める面積を求めると、円形状のアイコンの面積が大きいため、円形状のアイコンの中からＩｃｏｎ８の優先順位が高いと判定され、オブジェクト４０ｈが選択される。

そして、ガイダンス表示部２４が、画面解析モードのアプリケーションのオブジェクト４０ｈに対し、長押しイベントＣ２を入力すると、オブジェクト４０ｈは長押しイベントＣ２に反応し、画面解析モードのアプリケーション２２は、第２の表示画面４２に遷移する。図６（Ｂ）は、ホーム画面にＩｃｏｎ８のショートカット６１が生成されたことを示している。

次に、図３のステップＳ１６において、図６（Ａ）の第１の表示画面４１と、図６（Ｂ）の第２の表示画面４２から、以下のようにして、ガイダンスを構築する。この場合には、ユーザに対するガイダンス表示として、長押し前と長押し後の画面を交互に表示するとユーザに分りやすい。まず、図７（Ａ）に示すように、第１の表示画面４１（長押し前）から、長押し前の状態を示す第１のガイダンス４４を構築する。具体的には、第１のガイダンス４４の左側には「アイコンを長押しするとホームにショートカットとして置くことができます。」というメッセージを表示すると共に、右側にはＩｃｏｎ８を「手」で押下している画像を構築する。

また、図７（Ｂ）に示すように、第２の表示画面４２（長押し後）から、長押し後の状態を示す第２のガイダンス５４を構築する。具体的には、第２のガイダンス５４の左側には、第１のガイダンス４４と同様に「アイコンを長押しするとホームにショートカットとして置くことができます。」というメッセージを表示すると共に、右側には長押し操作により、ショートカット６１が生成されたことを示す画像を構築する。

そして、ガイダンス表示部２４は、図３のステップＳ１７において、第１のガイダンス４４と第２のガイダンス５４を所定の時間ごとに、交互に通常モードのアプリケーション２１の表示画面の一部に表示する。このアプリケーション２０ａのように、長押し操作の前後で画面が大きく遷移するような場合には、上記したように第１のガイダンス４４と第２のガイダンス５４とを別々に構築したほうが、ユーザに対して分かり易いガイダンス表示にすることができる。

尚、ガイダンス表示部２４から入力されたイベントＣ２によって生成されたショートカット６１は、あくまでもガイダンス構築のために生成されたものであるため、第２の表示画面４２のキャプチャを行った後に、削除しておくことが望ましく、例えば、ガイダンス表示部２４からオペレーティングシステム２３に対して、ショートカット６１を削除する要求を入力することにより、ショートカット６１を削除する。

そして、ユーザはこのガイダンス表示により、アイコンを長押しするとホーム画面にショートカットが生成されるという情報を得ることができる。実際に、ユーザが通常モードのアプリケーション２１で、ガイダンス表示の通りに操作した場合、図６（Ｂ）のようにホーム画面が表示され、ショートカット６１が生成される。

（第１、第２の実施形態の変形例）
図３のステップＳ１６において構築するガイダンスは、図５、図７以外にも様々な変形が可能である。例えば、ガイダンス中の「手」をアニメーション表示することによりユーザ操作を分かり易くしたり、長押し前後の画面変化をフェードイン、フェードアウトすることにより画面の変化を分かり易くしたり、するなど、様々な工夫が考えられる。

また、図３のステップＳ１６で、一度構築したガイダンス（図５の３４、図７の４４、５４）は、対応する第１の表示画面（図４（Ａ）の３１、図６（Ａ）の４１）と対応付けて記憶部１４に保存しておき、以後、同じ第１の表示画面が表示された場合には、保存されたデータを参照し、その第１の表示画面に対応するガイダンスを読み出してガイダンス表示するようにしてもよい。また、上記の保存したガイダンスデータを、ネットワークを介して他の携帯端末に供給するようにしてもよい。

以上説明したように、第１、第２の実施形態によれば、所定の操作の仕様が分かっていないアプリケーションであっても、任意のアプリケーションに対して、所定の操作に関するガイダンス表示を行うことができるという効果が得られる。

特に、「長押し操作」に関わるユーザインターフェースは、アプリケーションによって統一されておらず、分かりにくいという問題があったが、第１、第２の実施形態によるガイダンス表示によれば、それぞれのアプリケーションにおいて所定の操作入力によるアプリケーションの動作情報をユーザに知らせることができる。

一般に、端末のメーカは、プリロードするアプリケーションについては、その操作仕様が分かっているので、それに合わせてガイダンス表示をハードコーディングすることはできる。しかしながら、ダウンロードしたアプリケーションについては、操作仕様が分からないのでガイダンス表示をハードコーディングすることができず、その結果、ガイダンス表示は、携帯端末のメーカがプリロードするアプリケーションに限定されてしまうというのが実態であった。一方、第１、第２の実施形態によれば、仕様が分かっていない任意のアプリケーションに対してガイダンス表示をすることが可能になり、ダウンロードしたアプリケーションの操作が分かり易くなるという効果が得られる。また、プリロードするアプリケーションであっても、端末内のアプリケーションが多い場合や、アプリケーションの更新により操作が変更される場合、新しいアプリケーションが登場する等で、端末メーカがガイダンス表示をハードコーディングする工数を削減することが可能となる。

（第３の実施形態）
次に、第３の実施形態について、図８を参照しながら詳細に説明する。第１の実施形態は、アプリケーション２０ａ〜ｂが起動した直後に表示される第１の表示画面に対して、ガイダンス表示を行っている。第３の実施形態ではさらに、通常モードのアプリケーション２１が状態遷移して、表示画面が変化した場合でも、ガイダンス表示ができる例である。即ち、第３の実施形態では、第１の実施形態における画面遷移の先の画面に対してもガイダンス表示を可能にしている。

図８は、第３の実施形態に係る携帯端末の動作を示すシーケンスチャートである。第１の実施形態と比較すると分かるように、図８では、通常モードのアプリケーション２１の状態遷移（Ｓ１９）に対応して、ガイダンス表示部２４の処理として新たに、ステップＳ２０以降の処理が追加されている。

図８において、通常モードのアプリケーション２１は、ステップＳ１８でガイダンス表示がなされた後、タッチパネル部１６のユーザ操作により、何らかの状態遷移が発生し、画面が第３の表示画面（不図示）に変化したとする（Ｓ１９）。このような状態遷移は、ガイダンス表示部２４が、オペレーティングシステム２３から通常モードのアプリケーション２１に入力するイベントＣ１を監視することにより検出することができる（Ｓ２０）。

次に、ガイダンス表示部２４は、ステップＳ２０で検出したイベントＣ１により、通常モードのアプリケーション２１が状態遷移したことを検知し、画面解析モードのアプリケーション２２に対し通常モードのアプリケーション２１と同じ状態遷移をさせるイベントＣ２を入力する（Ｓ２１）。画面解析モードのアプリケーション２２では、入力されたイベントＣ２により、画面が通常モードのアプリケーション２１と同じ第３の表示画面に遷移する（Ｓ２２）。

そして、ガイダンス表示部２４は、上記第３の表示画面を第１の表示画面として、ステップＳ６〜Ｓ１８の処理を繰り返すことにより、第１の実施形態で示したようにガイダンス表示を行う。

このように、第３の実施形態におけるガイダンス制御部２４は、オペレーティングシステム２３が通常モードのアプリケーション２１に入力するイベントＣ１を監視し、画面解析モードのアプリケーション２２の状態遷移（画面遷移を含む）を、通常モードのアプリケーション２１と同じになるように制御している。そして、画面遷移があった場合に、操作ガイダンスを構築するステップを実行するようにしている。これにより、画面遷移後の画面に、ガイダンス表示をすることが可能になる。

以上説明したように、第３の実施形態は、第１の実施形態のアプリケーションの画面遷移後に表示される画面に対して、さらに、ガイダンス表示を付けることができるという効果が得られる。

尚、本発明の各実施形態におけるガイダンス表示部２４が実行する各々の処理（図２のステップＳ１２〜１９；図３のＳ２、Ｓ３、Ｓ６、Ｓ７、Ｓ８、Ｓ１１、Ｓ１３、Ｓ１４、Ｓ１６、Ｓ１７；図８のＳ２、Ｓ３、Ｓ６、Ｓ７、Ｓ８、Ｓ１１、Ｓ１３、Ｓ１４、Ｓ１６、Ｓ１７、Ｓ２０、Ｓ２１等）は、記憶部１４にプログラムとして格納され、制御部１２が備えたコンピュータによって呼び出されて実行される。また、そのプログラムは、ネットワークを介してダウンロードするか、或いは、プログラムを記憶した記憶媒体を用いて、更新することができる。

上記の各実施形態は、携帯端末の例を用いて説明したがこれに限られるものではない。 本発明は、アプリケーションの動作を電子機器全般、例えば携帯電話、スマートフォン、ゲーム機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔｓ；携帯情報端末）、カーナビゲーション、デジタルカメラ、電子掲示板、デジタルサイネージ等に適用することができる。

（実施形態の変形）
上記第１、第２、第３の実施形態では、ＯＳがアプリケーションを起動、又は、通常モードのアプリケーションへのイベントを入力する例を記載しているが、これに限られるものではない。例えば、ＯＳではなく、ＯＳの上位層でアプリケーションを動作させる仮想マシンが第１の実施形態に記載したＯＳの役割を果してよい。また、仮想マシンではなくても第１の実施形態でＯＳの役割を果せるのであれば他のものでもよい。また上記第１、第２、第３の実施の形態では、アプリケーションの操作入力をタッチパネルで行う例で説明したが、これに限られるものではない。例えば、表示画面上に示される矢印等のポインタでユーザが操作する例にも適用できる。この場合、表示部と入力部はタッチパネル表示のように重畳されることなく別々に配置されてもよい。

なお、本発明の全開示（請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１０：携帯端末
１２：制御部
１４：記憶部
１６：タッチパネル部（入力部）
１８：表示部
２０ａ〜ｂ：アプリケーション
２１：通常モードのアプリケーション
２２：画面解析モードのアプリケーション
２３：オペレーティングシステム（ＯＳ）
２４：ガイダンス表示部
３１、４１：第１の表示画面
３２、４２：第２の表示画面
３４：ガイダンス
３５：メニュー
３６ａ〜ｃ：リスト表示のオブジェクト（オブジェクト）
４０ａ〜ｐ：グリッド表示のオブジェクト（オブジェクト）
４４：第１のガイダンス（ガイダンス）
５４：第２のガイダンス（ガイダンス）
６１：ショートカット
Ｃ１、Ｃ２：イベント

Claims (10)

1. 画面表示を行う表示部と、
   アプリケーションを記憶する記憶部と、
   前記アプリケーションの操作入力を行う入力部と、
   前記アプリケーションの情報を前記表示部に表示する制御部と、を含み、
   前記制御部は、
   前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、
   前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、
   前記解析した遷移画面の情報を操作ガイダンスとして構築し、
   前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、情報機器。
2. 前記制御部は、
   前記第２のモードのアプリケーションを制御するガイダンス表示部を含み、
   前記ガイダンス表示部は、
   前記所定の操作入力の情報を前記第２のモードのアプリケーションへ入力し、前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、前記解析した遷移画面の情報を操作ガイダンスとして構築し、前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、請求項１記載の情報機器。
3. 前記ガイダンス表示部は、
   第２のモードのアプリケーションによる第１の表示画面を取得し、前記第１の表示画面を解析して、前記所定の操作入力の情報で反応する可能性のあるオブジェクトを検出し、
   前記検出したオブジェクトの中からオブジェクトを選択し、前記第２のモードのアプリケーションの前記選択されたオブジェクトに、前記所定の操作入力の情報を入力し、
   前記第１の表示画面が遷移した場合に、前記遷移した後の第２の表示画面を取得し、前記第１及び第２の表示画面に基づいて、前記アプリケーションに対して前記所定の操作入力に関するガイダンスを構築する、請求項２記載の情報機器。
4. 前記制御部は、
   前記第１のモードのアプリケーションを制御するオペレーティングシステムを含み、前記ペレーティングシステムは、前記入力部からの操作入力の情報を前記第１のモードのアプリケーションへ入力する、請求項２記載の情報機器。
5. 前記ガイダンス表示部は、
   前記オペレーティングシステムから前記第１のモードのアプリケーションに入力される前記操作入力の情報を監視し、前記第１のモードのアプリケーションに入力される前記操作入力の情報と同様の操作入力の情報を前記第２のモードのアプリケーションに入力する、請求項２記載の情報機器。
6. 前記ガイダンス表示部は、前記検出したオブジェクトの中から、各々の前記オブジェクトが画面内に占める割合に基づく優先順位で１つの前記オブジェクトを選択し、
   前記第１の表示画面が遷移するまで、前記優先順位に基づいて、該オブジェクトの選択と前記所定の操作入力の情報の入力を繰り返す、請求項３記載の情報機器。
7. 前記ガイダンスは、前記第１の表示画面に基づく第１のガイダンスと、前記第２の表示画面に基づく第２のガイダンスにより構成され、
   前記第１のガイダンスと、前記第２のガイダンスを交互に表示する、請求項３記載の情報機器。
8. 前記入力部がタッチパネル部であり、前記タッチパネル部の所定の操作入力が、タップ、ダブルタップ、フリック又は長押しのいずれかである、請求項１に記載の情報機器。
9. 画面表示を行う表示部と、
   アプリケーションを記憶する記憶部と、
   前記アプリケーションの操作入力を行う入力部と、
   前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御方法であって、
   前記制御部は、
   前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させ、
   前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析し、
   前記解析した遷移画面の情報を操作ガイダンスとして構築し、
   前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する、表示制御方法。
10. 画面表示を行う表示部と、
    アプリケーションを記憶する記憶部と、
    前記アプリケーションの操作入力を行う入力部と、
    前記アプリケーションの情報を前記表示部に表示する制御部と、を含む情報機器の表示制御プログラムであって、
    前記制御部が、
    前記入力部からの操作入力の情報を前記アプリケーションに入力する第１のモードと、所定の操作入力の情報を前記アプリケーションに入力する第２のモードと、によって前記アプリケーションを動作させる処理と、
    前記第２のモードの動作で、前記所定の操作入力の情報により遷移した前記アプリケーションの画面を解析する処理と、
    前記解析した遷移画面の情報を操作ガイダンスとして構築する処理と、
    前記構築した操作ガイダンスを前記第１のモードのアプリケーションの表示画面の一部に表示する処理と、をコンピュータに実行させるプログラム。

Images