本発明は、ユーザの操作を画面毎にガイダンスするためのガイダンス表示装置およびガイダンス表示方法に関し、特に、1つの画面中、ユーザが操作する対象となる複数の表示領域を含む場合におけるガイダンスを表示するための技術に関する。
パーソナルコンピュータ(以下、PCとも記す。)では、携帯電話機などのモバイル情報端末に比べ画面の大きな表示部品を使用しているので、複数のアプリケーションが1つの画面を共有して使用するケースが従来からあり、各アプリケーション毎の表示領域を1つの画面中に含め、各表示領域毎にガイダンスを表示している。
一方、モバイル情報端末の表示部品(LCD等)の画面は、従来サイズが小さく、解像度も低かったため、1つのアプリケーションが画面全体を占有してガイダンス表示を行っていたが、近年、画面サイズの拡大、高解像度化が進み、複数のアプリケーションが1つの画面を共有して使用することが可能になりつつある。この場合、モバイル情報端末においても、各アプリケーション毎の表示領域を1つの画面中に含め、各表示領域毎にガイダンスを表示することが望まれるが、PCの場合ほど画面を大きくすることができない。そこで、従来からガイダンスを限られたわずかなスペースに表示するようにしている。
従来の携帯電話機などの情報処理端末における操作のガイダンス表示装置としては、携帯電話機の呼状態毎に、どの機能を表示するかの優先度を記した呼状態機能優先順位表と、各優先度の機能をどのソフトキーに割り当てるかを記したソフトキー機能優先順位表を使い、ソフトキー表示内容を決定して画面に表示する方法(例えば、特許文献1参照)が採用されている。1つのソフトキーには、このソフトキーを押下した時の操作アクションとして、状態に応じて異なる機能を割り当てることが可能であり、特許文献1の携帯電話機では、4つのソフトキーに対する機能割り当てを行い、割り当てられた機能に対応するガイダンス表示をどの位置に表示するかを決定し、表示を行っている。
また、従来の他のガイダンス表示装置としては、携帯電話機の現状態と有効なキーを管理する制御部が、ガイダンスデータベースから有効なキーの現状態に関するガイダンス情報を取得し、そのキーレイアウトを模写してガイダンス情報を表示する方法(例えば、特許文献2参照)がある。この特許文献2に記載された従来のガイダンス表示装置では、端末の内部状態からガイダンス表示の要・不要を判断し、現在の状態に対応するガイダンス情報を操作ガイダンス情報データベースから取得して表示を行い、キー操作がされた際に、有効な入力か否かの判断を行う。
また、従来のさらに他のガイダンス表示装置としては、ウィンドウ毎にガイダンス表示内容を持ち、そのなかからアクティブなウィンドウに対応するガイダンス表示内容を表示する方法(例えば、特許文献3参照)がある。この特許文献3に記載された従来のガイダンス表示方法では、複数のウィンドウ各々にガイダンス表示内容を持っており、キーボード入力を受け付けるアクティブウィンドウに応じて、対応するガイダンス内容を表示する。
特開平9−149129号公報 特開2000−91940号公報 特開平10−97402号公報
しかしながら、上記した従来の技術では、画面のレイアウトや、操作仕様に応じて、システムの各状態に対応したガイダンス表示内容を、システム設計段階で決定しておく必要がある。
このため、1つの画面が複数の表示領域から構成される場合においては、以下に挙げる課題を有する。なお、「1つの画面」とは、携帯電話機などの情報処理端末におけるLCDや液晶などの表示部品(ディスプレイ)を意味するのでなく、機器のディスプレイに表示される内容を意味する。
1つの画面は、例えば図1に示すように、1つ以上の表示領域(700,701,702,703)から構成されている。そして、ユーザの操作対象となる表示領域は、図1(a)に示される表示領域701と、図1(b)に示される表示領域702であり、表示領域701上に表示領域702を重ねることにより図1(c)に示される画面が形成される。
従来、図1(a)に示される表示領域701に対するガイダンスをシステム設計時に作成し、図1(b)に示される表示領域701に対するガイダンスをシステム設計時に作成する必要がある。
第1の課題として、画面上の表示領域のうち一部でも、ガイダンス表示に関連する操作仕様や表示内容などが事前に不明な部分があれば、その画面において適切なガイダンス表示が行うことができないということが挙げられる。
例えば図1に示すような画面において、表示領域702の表示内容・操作仕様が不明であれば、他の表示領域700,701の表示内容・操作仕様がわかっていても適切なガイダンス表示を行うことができない。具体例を挙げて説明すると、図1が700〜703の4つの表示領域で構成される映像データの内容を閲覧するための画面であり、閲覧する対象の映像データ(データ1、データ2など)を切り替える操作として、上下キーを使用するものとする。そして、実際に映像データを表示するためのアプリケーションはダウンロード等により自由に入れ替えることができ、そのダウンロードしたアプリケーションの表示内容を表示領域702に表示し、画面全体のガイダンスを表示領域703に表示するものとする。
そうすると、データ切り替えに使う上下キーの有効・無効を示す上下矢印のガイダンス表示は、事前に設定できるが、ダウンロードしたアプリケーションの操作に使用するキーのガイダンスや、ダウンロードしたアプリケーションの状態を表すガイダンスについては、アプリケーションをダウンロードするまで不明なため、システム設計時には決定することができない。
例えば、再生機能を持つアプリケーションならば、図1のようにキー操作ガイダンスとして「再生」の表示を出すであろうし、編集機能を持つアプリケーションならば同じ場所に「編集」と表示するであろう。またキー操作を受け付けないものであれば、何も表示されない可能性もある。
同様に、アプリケーションの状態を示すガイダンスについても、再生機能を持つアプリケーションは「再生中」や、「停止中」といった状態を表示するであろうし、再生までに時間がかかるアプリケーションの場合は「準備中」などの表示を行う可能性もある。
このように画面全体のガイダンス表示内容は、ダウンロードされるアプリケーションの仕様によって変化するため、ガイダンス表示内容を事前に決定する必要がある従来技術では、適切なガイダンス表示が行うことができない。
第2の課題として、ユーザによるカスタマイズや表示サイズの変更などによって、例えば図2に示すように、画面上の表示領域のレイアウトが変更された場合には、変更後のレイアウトに適したガイダンス表示を行うことができないということが挙げられる。
一例を挙げて具体的に説明すると、図2に示されるように、レイアウト変更前は800〜803の4つの表示領域で構成される画面であり、表示領域802は表示領域801に包含されており、レイアウト変更後は新たに表示領域804,805が追加されると同時に、表示領域802と表示領域801の包含関係が無くなり、表示領域805上に表示領域802,803,804が並列に配置されたとする。また、個々の表示領域が表示するガイダンスの内容は事前に決まっており、表示領域801はデータ切り替え操作に使う上下キーの有効・無効を表す上下矢印を、表示領域802は表示データをソフトキーにより再生操作が行われることを示す「再生」と停止状態を示す「停止中」を、表示領域804はグループ切り替え操作に使う上下キーの行う有効・無効を表す上下矢印を、表示領域805は表示領域801,802,804から操作対象となる表示領域を選択するために使用する左右キーの有効・無効を表す左右矢印を表示するものとする。
このような場合、レイアウト変更前の画面では、ガイダンスが必要な表示領域は、包含関係にある表示領域801,802だけであり、表示領域802が操作対象になる場合における画面全体のガイダンス表示として適切なものは、図2に示される通り、表示領域801の上下矢印表示と表示領域802の「再生」「停止中」表示を組み合わせた内容になる。しかし、レイアウト変更後の画面では、表示領域802は、表示領域805に包含されているため、表示領域802が操作対象になる場合における画面全体のガイダンス表示として適切なものは、図2に示される通り、表示領域805の上下左右矢印と表示領域802の「再生」「停止中」表示を組み合わせた内容になる。また、レイアウト変更後は表示領域801,802,804が並列に配置されているため、操作対象となる表示領域の切り替えが発生し、表示領域801,804へ操作対象が変更された場合は、各々、表示領域801と805,804と805のガイダンス表示を組み合わせたものが画面全体のガイダンスとして表示される必要がある。このように、事前に各表示領域に対するガイダンスの表示内容はわかっていても、各表示領域のレイアウトに応じて画面全体のガイダンス表示は変化するため、変更後のレイアウトが事前に不明な場合は、従来の技術では適切なガイダンス表示を行うことができない。
そこで、本発明は、前記従来の課題を解決するもので、画面表示内容やレイアウト、操作仕様などの変化に合わせてガイダンス表示内容を適切に表示することができるガイダンス表示装置を提供することを目的とする。
上記目的を達成するために、本発明に係るガイダンス表示装置は、ユーザの操作をガイダンスするためのガイダンス表示装置であって、1つの画面中に含まれ、ユーザが操作する対象となる複数の表示領域にそれぞれ対応するガイダンス表示内容を、予め保持するガイダンス内容保持手段と、前記各表示領域にそれぞれ対応するガイダンス表示内容を前記ガイダンス内容保持手段から取得し、取得したガイダンス表示内容を1つに合成するガイダンス合成手段と、前記ガイダンス合成手段が合成したガイダンス表示内容を画面上に表示するガイダンス表示手段とを備えることを特徴とする。
これにより、ガイダンス内容保持手段に保持されているガイダンス表示内容を変更しなくとも、画面レイアウトや操作状態に合わせてガイダンス表示内容を適切に組み合わせて簡単に合成することができるうえ、表示内容や操作仕様を持つ表示領域を画面上に組み込んだり、不要な表示領域を画面上から削除する場合においても、その表示領域に対応するガイダンス内容保持手段を追加・削除するだけで、他の表示領域に関するガイダンス表示内容を変更することなく、画面全体として適切なガイダンス表示を行うことができる。したがって、画面表示内容やレイアウト、操作仕様などの変化に合わせてガイダンス表示内容を適切に表示することができる。
なお、本発明は、このようなガイダンス表示装置として実現することができるだけでなく、このようなガイダンス表示装置が備える特徴的な手段をステップとするガイダンス表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、ガイダンス表示装置が備える特徴的な手段を一体化したLSIとして実現することもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明のガイダンス表示装置によれば、画面上の各表示領域に関するガイダンス表示に関する情報に基づき、合成することで、適切なガイダンス表示を行うことができるため、例えば、画面上の一部に表示されるアプリケーションをダウンロードにより入れ替えた場合や、画面上の他の表示領域については変更せずに、一部だけの表示内容や操作仕様をユーザカスタマイズによって変更した場合においてもガイダンスを表示することが可能になる。
また、画面サイズや画面の方向に合わせて、画面上のレイアウトが動的に変更されるような場合においても、適切なガイダンス表示を行うことができる。
さらに、操作状態やレイアウトなどを意識せずに各表示領域に対するガイダンス表示内容だけを設定すれば、適切なガイダンス表示が自動的に行われるため、ガイダンス表示を行うソフトウェアの開発が容易になるうえ、各操作状態やレイアウト毎にガイダンス情報を保持しておく必要がないことから消費メモリを節約することもできる。
よって、本発明により、各表示領域にそれぞれ対応するガイダンス表示内容をガイダンス内容保持手段から取得し、取得したガイダンス表示内容を1つに合成することで、極めた簡単に、適切なガイダンス表示を行うことができ、携帯電話機等のモバイル情報端末が普及してきた今日における本願発明の実用的価値は極めて高い。
図1は、複数の表示領域で構成される画面表示の一例を示す図である。
図2は、画面表示のレイアウト変更の一例を示す図である。
図3は、本発明の実施の形態1に係るガイダンス表示装置が適用される通信システムの全体構成を示す図である。
図4は、本発明の実施の形態1におけるガイダンス表示装置の構成図である。
図5は、本発明の実施の形態1におけるガイダンス内容の一例を示す図である。
図6は、本発明の実施の形態1におけるガイダンス合成処理を示すフローチャートである。
図7は、本発明の実施の形態1におけるガイダンス合成結果の一例を示す図である。
図8は、本発明の実施の形態2におけるガイダンス表示装置の構成図である。
図9は、レイアウト等の配置関係に変更があった場合の画面構成を示す図である。
図10は、本発明の実施の形態2におけるガイダンス表示位置管理部の保持情報の一例を示す図である。
図11は、本発明の実施の形態2におけるガイダンス内容の一例を示す図である。
図12は、本発明の実施の形態2におけるガイダンス合成結果の一例を示す図である。
図13は、本発明の実施の形態2におけるガイダンス合成結果の他の一例を示す図である。
符号の説明
21,22 ガイダンス表示装置
100〜103,700〜703,800〜805 表示領域
104〜107 ガイダンス内容保持部
108 領域非依存ガイダンス内容保持部
109 ガイダンス合成部
109a 判定部
110 ガイダンス表示部
501 配置関係管理部
502 ガイダンス表示位置管理部
以下本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係るガイダンス表示装置が適用される通信システム1の全体構成を示す図である。
この通信システム1は、ダウンロードしたアプリケーションを用いて、予め保持する映像や、音楽コンテンツなどのデータを再生したりする際に、ガイダンスを表示することで、ユーザ操作の円滑化を図るものであって、インターネット等、無線の伝送路であるネットワーク90を介して、要求されたアプリケーションAPを配信するアプリケーション配信サーバ80と、携帯電話機10とを備える。
携帯電話機10は、ユーザに携帯され、パケット中に音声や、DSPを添付した電子メール等の種々のデータを送受信したり、ダウロードしたアプリケーションAPを用いて、予め保持する映像や、音楽コンテンツなどのデータを再生したりする際に、ガイダンスを表示する通信装置であり、基地局との間で電波を送受信するためのアンテナex201と、CCDex129や、フラッシュ等を含み、静止画や動画を撮ることが可能なカメラ部ex203と、操作キーex204群から構成される本体部、スピーカ等により構成され、音楽や、通話音声を出力するための音声出力部ex208、マイク等により構成され、音声を入力するための音声入力部ex205、SDカード等の記録メディアex207を装着可能とするためのスロット部ex206と、LCD等で構成され、カメラ部ex203で撮影した静止画や、アンテナex201を介して受信した静止画等を表示するための表示部ex202等とを備える。
なお、表示部ex202の表面にはタッチパネルが装着されている。また、この携帯電話機10は、本体内部に記憶部16を備え、この記憶部16に設けられたフォルダ「アプリケーション」にダウンロードしたアプリケーションAPを自動的に格納したり、この記憶部16に設けられたフォルダ「グループ1」、「グループ2」、…に撮影した静止画や動画等を自動的に格納したりする。
図4は、図3に示される携帯電話機10が備えるガイダンス表示装置の機能構成を示すブロック図である。なお、このガイダンス表示装置を構成する各部は、ダウンロードしたアプリケーションAPと、アプリケーションAPを実行するCPUと、メモリ等により実現される。また、このガイダンス表示装置を構成する構成要素の一部又は全部を一体化した1個のLSIとして構成してもよい。
図4に示されるように、ガイダンス表示装置21は、表示領域100〜103にそれぞれ対応するガイダンス内容保持部104〜107と、領域非依存ガイダンス内容保持部108と、ガイダンス合成部109と、判定部109aと、ガイダンス表示部110とを備える。
図4において、表示領域100〜103は、図3に示される画面を構成している表示領域であり、ここでは1つの画面が4つの表示領域から構成される一例が示されている。そして、図1の表示領域700〜703や、図2の表示領域800〜805にも相当している。すなわち、ユーザの操作対象となる表示領域は、表示領域101と、表示領域102である。なお、ここでは表示領域が矩形の例を挙げているが、必ずしも矩形である必要はなく、楕円や多角形など任意の形状を取ることができる。この表示領域100〜103は、例えばGUI部品であるウィジェットや、ウィンドウとして実現されることもある。
ガイダンス内容保持部104〜107は、表示領域100〜103とそれぞれ対応しており、各表示領域に関するガイダンス内容を保持しており、例えばメモリなどの情報記憶装置を用いて実現される。本実施の形態1では、ガイダンス内容保持部104〜107と表示領域100〜103が1対1で対応している場合を例として説明するが、多対1や、1対多、多対多など、1対1対応以外の対応関係にあってもよい。また、画面上の全ての表示領域がガイダンス内容保持部と対応する必要はなく、ガイダンス表示が不要な表示領域については、ガイダンス内容保持部と対応しなくてもよい。例えば、図3の表示領域103は、ガイダンス表示領域そのものであり、他の表示領域(101,102)のガイダンス内容のみに基づいてガイダンス表示内容が決定されており、表示領域103自体のガイダンス内容は、存在しない構成とすることができる。
図5は、ガイダンス内容保持部が格納するガイダンス内容の例を示す図である。なお、図3に示される例では、ユーザの操作対象が表示領域101と表示領域102であるので、ガイダンス内容保持部101,102がそれぞれ格納するガイダンス内容の例が示されている。
図5に示されるように、ガイダンス内容として、ガイダンスに表示する各項目について、表示・非表示の表示状態、表示内容が保持されている。
図5の例の場合では、ガイダンスとして表示される項目として、上下左右の矢印、ソフトキー、アプリケーションの状態表示、操作説明があり、各項目について表示状態、表示内容が保持されている。
具体的には、表示領域101においては、項目「上矢印」について表示状態「表示」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「表示」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域102においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「表示」、表示内容「再生」が、項目「状態表示」について表示状態「表示」、表示内容「停止中」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
ここで、図中の「/」は、設定不要を表し、「−」は未設定を表す。また、図に示される表示領域101,102のガイダンス内容は、ダウンロードされたアプリケーションが、処理対象となるデータをサーチし、処理対象となるデータ毎に、そのデータの処理の際にユーザにとって必要となるガイダンス用のデータとして予め取得し、保持している。
なお、このようなガイダンス内容は、全ての項目について情報を保持しておく必要はなく、関知しないガイダンス項目については、図5のように、表示状態・表示内容などの情報を未設定(−)のままにしておいてもよい。
また、本例では、この項目の数・種類が統一されている場合を例について説明するが、ガイダンス内容保持部毎に項目の数や、種類に差があってもよいし、項目の数や、種類を動的に変更できるようにしてもよい。また、図5では表示状態と表示内容を別に管理しているが、1つの属性として統合し、表示内容設定時に表示、未設定時は非表示としてもよい。また、表示状態・表示内容以外の情報を追加してもよい。また、表示内容が固定などで設定が不要な場合などは図5の上矢印項目のように、表示内容部分を除いてもよい。また、この一覧にある項目は、必ずしもガイダンス上に常時表示される必要はなく、実際にガイダンス上では表示されない項目が含まれていてもよい。また、図5では表示内容は文字列で表されているが、画像データや、動画データ、音データ等を指し示すIDなどであってもよい。
領域非依存ガイダンス内容保持部108は、表示領域とは対応しないガイダンス内容を保持する部分であり、例えば前画面のガイダンスや通信状態、音量関連など、現在表示されている表示領域とは関連がないガイダンスの内容を保持するために使われる。つまり、領域非依存ガイダンス内容保持部108は、上記表示領域100〜103に依存されないガイダンスの内容、例えばバッテリの残量や、通信圏内/通信圏外等を保持する。領域非依存ガイダンス内容保持部108が格納するガイダンス内容は、図5に一例を示した前記ガイダンス内容保持部104から107のものと同様のため、説明は省略する。なお、今回は領域非依存ガイダンス内容保持部が1つの場合を例に説明するが、領域非依存ガイダンス内容保持部を複数設けてもよいし、まったく設けなくともよい。
ガイダンス合成部109は、ガイダンス内容保持部104〜107および領域非依存ガイダンス内容保持部108から、ガイダンス内容を所定の順に取得して、取得内容を合成した後、合成結果をガイダンス表示部110に通知する。
判定部109aは、ガイダンス合成部109のガイダンス内容を合成する際に、ユーザの操作対象となる表示領域における次のガイダンス情報取得先となる表示領域を、以下に示す1〜3のいずれかの方式のいずれかで判定する。
1.判定部109aは、ユーザの操作対象となる表示領域のフォーカスや、マウスポインタの位置等の操作状態から、ガイダンス取得先となる表示領域を判定する。
2.判定部109aは、イベント伝播順序からガイダンス取得先となる表示領域を判定する。
3.表示領域の配置関係(親子関係や、座標)からガイダンス取得先となる表示領域を判定する。
ガイダンス表示部110は、ガイダンス合成部109より通知された合成結果に基づき、ガイダンス内容を画面上に表示する。
次に、ガイダンス合成部109が行う合成処理の動作を説明する。
図6は、ガイダンス合成部109が行う合成処理の動作を示すフローチャートである。
ガイダンス合成部109は、例えば、初期画面表示時や、画面遷移時、各ガイダンス内容保持部(104〜107)の保持内容変更時、ユーザ操作によりフォーカス位置やカーソル・マウスポインタなどの操作状態変更を検知時など、イベントが発生し、ガイダンス表示や、更新が必要な場合に、処理を開始する(S201)。これは、ガイダンス合成部109が上記のような状態を監視して、自ら合成を開始してもよいし、状態を監視する処理部を備えて、状態変化をガイダンス合成部109に通知してもよい。なお、ここでは、ガイダンス合成部109が状態を監視するものとし、状態を監視するブロックを設ける場合については、実施の形態2で説明するため、ここでは詳細な説明は割愛する。
ガイダンス合成部109は、ガイダンス内容保持部104〜107又は領域非依存ガイダンス内容保持部108のうち、どれから最初にガイダンス内容の取得を行うかを決定する(S202)。これは、ガイダンス合成部109が操作状態に応じて決定する。例えば、操作状態としてフォーカス位置を用いる場合、ガイダンス合成部109が、フォーカスを持つ表示領域を判定して、その表示領域に対応するガイダンス内容保持部を最初のガイダンス内容取得先に決定する。また、操作状態としては、フォーカス位置以外にも、マウスポインタやカーソルなどの位置を使用してもよいし、例えば、表示領域がウィンドウやウィジェットといったイベントを受信できる領域である場合には、最初にイベントが配送される表示領域を最初のガイダンス内容取得先に決定してもよい。なお、上記例では、操作状態に応じて最初の取得先を決定しているが、表示領域の配置関係を用いて、例えば一番前面に配置されている表示領域に対応するガイダンス内容保持部から取得を開始する方法や、各ガイダンス内容保持部に優先度を付加し、優先度の高いものから取得する方法や、アプリケーションなどから指示された位置から取得開始する方法、保持している内容が変化したガイダンス内容保持部から取得を開始する方法などを用いてもよい。また、ガイダンス内容保持部でなく領域非依存ガイダンス内容保持部108を最初の取得先に決定してもよい。
次に、初めての場合はステップS202において、2回目以降はステップS206において、取得先として決定されたガイダンス内容保持部からガイダンス内容を取得する(S203)。そして、ガイダンス合成部109は、ステップS203で取得したガイダンス内容と、前回までのガイダンス内容の合成結果を合成する(S204)。初回の合成の場合には、前回までのガイダンス内容の合成結果は存在しないため、取得したガイダンス内容を、そのまま今回の合成結果として確定する。
図7にガイダンス合成処理の一例を示す。この例では、ガイダンスとして表示する項目として7項目あり、それぞれの表示内容を合成処理することで確定する。この場合、まず前回の合成結果における各項目の表示状態・表示内容を確認し、表示状態・表示内容が確定していれば(例えば、図7の項目「ソフトキー」)、これをそのまま今回の合成結果として確定する。もし、前回の合成結果において表示状態・表示内容が確定していなければ(例えば、図7の項目「操作案内」)、今回取得したガイダンス内容の表示状態・表示内容を今回の合成結果として確定する。なお、図7では、前回までのガイダンス内容合成結果を優先したが、逆に取得したガイダンス内容を優先して合成を行ってもよいし、項目毎にどちらを優先するか切り替えてもよい。このようにして、得られた合成結果は、ガイダンス合成部109が、次回の合成に使用する又は、確定情報としてガイダンス表示部110に通知するため、メモリなどの記憶装置に保存する。なお、今回は、取得するたびに毎回合成を行う方法を示したが、取得のみを先に行ってから一括して合成する方法に変えてもよい。
次に、ガイダンス合成部109が、全てのガイダンス内容が確定したかを判断する(S205)。これは、ステップS204で得られた合成結果において、表示状態・表示内容が未確定な項目が存在するか否かにより判断される。例えば、図5に示された合成結果の場合は、状態表示部分が未確定なため、ガイダンス内容が確定していないと判断し、次の取得先検索(S206)へ進む。なお、このガイダンス内容が確定したかの判断を省略して、次のガイダンス内容取得先がなくなるまで、必ず合成処理を行うようにしてもよい。
全てのガイダンス内容が確定した場合は(S205がYES)、ガイダンス合成部109が、ステップS204で合成されたガイダンス内容を表示内容として、ガイダンス表示部110に通知する(S209)。そして、ガイダンス表示部110は,通知されたガイダンス内容を、画面上に表示する。
一方、全てのガイダンス内容が確定していない場合は(S205がNO)、ガイダンス合成部109が、次のガイダンス内容取得先を検索する(S206)。ここで、次のガイダンス内容取得先として適切なものがない場合は、取得先なしとして次のステップに進む。イベント配送順序に合わせて合成を行う場合の取得先の検索方法について説明すると、ガイダンス合成部109が、前回の取得先であるガイダンス内容保持部に対応している表示領域へ送られたイベントが、次にどの表示領域に伝播するかのイベント配送を管理する情報を参照することで実現される。この「伝播」とは、最初に配送されたイベントが配送先の表示領域で使用されない場合など、別の表示領域にイベントを再配送することを意味する。通常、あるイベントが特定の表示領域で使用されると、そのイベントに対する処理は行なわれたものとして、再配送は行なわない。また、表示領域に対応していない領域非依存ガイダンス内容保持部108がある場合は、次の取得先をガイダンス内容保持部から検索して見つからなかった場合に、領域非依存ガイダンス内容保持部108を次の取得先として決定する。もし、ガイダンス内容保持部、領域非依存ガイダンス内容保持部108両方を検索しても見つからない場合は、次取得先をなしに決定する。また、領域非依存ガイダンス内容保持部108が複数ある場合には、優先度などを付与して合成順序を決定する。なお、逆に領域非依存ガイダンス内容保持部108の方を、ガイダンス内容保持部より優先して先に取得するようにしてもよい。なお、表示領域がウィンドウである場合には、一般的なウィンドウシステムでは順次親ウィンドウにイベントが伝播されるので、前回の取得先であるガイダンス内容保持部に対応している表示領域の親ウィンドウを取得し、取得した親ウィンドウに対応するガイダンス内容保持部を次の取得先として決定してもよい。また、次のガイダンス内容取得先の検索方法として、イベント配送順序に合わせる方法の他、表示領域の配置関係から、例えば順次下に配置されているものを次の取得先として決定したり、最前面に配置されているものから順にその背面にある表示領域を次の取得先として決定したりしてもよいし、ガイダンス内容保持部に優先度を付加しておき、その優先度に従って決定してもよい。
ガイダンス合成部109は、次のガイダンス内容取得先が存在するか否かの判断を行い(S207)、次のガイダンス内容取得先が存在した場合には(S207がNO)、ステップS203に戻り、次のガイダンス内容取得先からガイダンス内容の取得を行う。一方、次のガイダンス内容取得先なしと決定された場合には(S207がYES)、ガイダンス内容の中で未確定になっている部分の確定処理を行う(S208)。これは、未確定部分の表示状態を非表示に確定することで行われる。なお、未確定部分を非表示として確定する以外に、デフォルトの設定値を決めておき、その内容に確定するようにしてもよい。これにより、全ての内容が確定するので、ステップS209に進んで、ガイダンス合成部109が、確定したガイダンス内容を表示内容として、ガイダンス表示部110に通知する。
より具体的には、合成処理の流れは、以下のようになる。
まず、合成開始位置を最前面の表示領域102に決定する(S202)。次いで、表示領域102のガイダンス内容を取得する(S203)。S204:前回の合成結果がないので、今回の取得内容(表示領域102を合成結果(表示領域102)とする(S204)。次いで、ステップS205で、NOであるのでステップS206へ進み、次の取得先を表示領域101にし、ステップS207でNOであるので、ステップS203に進み、表示領域101のガイダンス内容を取得する。次いで、ステップS204において、図8に示されるように合成する。
次いで、ステップS206でNOに、ステップS207でYESに進み、S208で未確定部分(右、左矢印、操作案内)を非表示にする。
つまり、表示状態や、表示内容が「表示」や、「再生」のように既に決まっているものと、「−」や、「/」とを合成する場合には、「表示」や、「再生」のように既に決まっているものが優先される。前回の合成結果の表示状態や、表示内容と、今回の取得内容の表示状態や、表示内容とが、「表示」と「非表示」のように対立するものである場合には、前回の合成結果を優先する。
これにより、図3に示される表示領域103に確定したガイダンスが表示される。
かかる構成によれば、ガイダンス合成部109が、各表示領域のガイダンス内容を画面上に表示するタイミングで合成することにより、表示領域のレイアウトやフォーカス位置などの操作状態に応じて自動的にガイダンス表示内容が決定されることとなり、設計時に画面のレイアウトや各表示領域に対応するガイダンス内容が不明な場合でも、適切なガイダンス表示を行うことができる。
(実施の形態2)
図8は、本発明の実施の形態2におけるガイダンス表示装置の構成図である。図8において、図4と同じ構成要素については同じ符号を用い、説明を省略する。
図8に示されるように、ガイダンス表示装置22は、実施の形態1のガイダンス表示装置21の構成に、さらに配置関係管理部501と、ガイダンス表示位置管理部502とがさらに追加されて構成されている。
配置関係管理部501は、表示領域間の配置関係を管理し、図9に示されるようなレイアウト等の配置関係に変更があった場合に、ガイダンス合成部109に対して合成開始を通知する。また、配置関係管理部501は、表示領域間の配置関係を管理しているため、ガイダンス合成処理を、判定部109aが表示領域の配置関係に従って行う場合には、図6のステップS206において判定部109aが次のガイダンス内容の取得先を配置関係管理部501に問い合わせるようにしてもよい。
ここで、表示領域間の配置関係とは、例えば、図9に示される画面のレイアウト変更前(縦長表示)では、表示領域802は表示領域801に包含された配置関係であり、レイアウト変更後では、表示領域802と表示領域801の包含関係がなく、表示領域805上に表示領域802,803,804が並列に配置されている関係である。
ガイダンス表示位置管理部502は、ガイダンス内容の各項目をどの位置にどのサイズで表示するかを管理する。ガイダンス表示部110は、ガイダンス表示を行う際にガイダンス表示位置管理部502より各項目の表示レイアウトを取得し、それに従って表示を行う。
図10は、図8に示されるガイダンス表示位置管理部502が保持している表示レイアウト情報の構成例を示す図である。
図10に示されるように、ガイダンス表示位置管理部502は、表示レイアウトの情報として、上記各項目について表示・非表示を示す使用状態と、表示位置(画面上における矩形の表示位置の始点座標)、表示サイズ(幅と高さで表される大きさ)を保持している。ガイダンス表示部110はこの図10に示された表示レイアウトの情報に従い、画面上にガイダンス表示を行う。
例えば、上矢印の場合だとガイダンス表示を行う表示領域の左上隅から右に50下に0の地点に、縦10横10の大きさの矢印を表示する。なお、図10における使用状態・表示位置・表示サイズのうち、不要なものを取り除いてもよいし、透明度やアニメーション速度など、他の情報を追加してもよい。また、ガイダンス表示位置管理部502の情報は、システム設計時に決定しておいてもよいし、アプリケーションやユーザからの指定により自由に設定できるようにしてもよい。
次いで、図9に示されるように、レイアウトが変更された場合について説明する。なお、レイアウト変更前については図3と同様であるので、レイアウト変更後について説明する。
図9に示されるレイアウト変更後の例の場合、表示領域801,802,804,805がユーザへのガイダンスの対象となる。そして、各表示領域のガイダンス内容は、図11に示されるようになる。
図11は、ガイダンス内容保持部が格納するガイダンス内容の例を示す図である。なお、図9に示されるレイアウト変更後の例では、ユーザの操作対象が表示領域801,802,804,805であるので、対応するガイダンス内容保持部がそれぞれ格納するガイダンス内容の例が示されている。
図11の例の場合では、図5の場合と同様、ガイダンスとして表示される項目として、上下左右の矢印、ソフトキー、アプリケーションの状態表示、操作説明があり、各項目について表示状態、表示内容が保持されている。
具体的には、表示領域801,804においては、項目「上矢印」について表示状態「表示」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「表示」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域802においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/亅が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「表示」、表示内容「再生」が、項目「状態表示」について表示状態「表示」、表示内容「停止中」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域805においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「表示」、表示内容「/」が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「表示」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
次いで、合成処理の動作について説明する。まず、操作対象となっている表示領域が802である場合について、説明する。
まず、合成開始位置を最前面の802に決定する(S202)。そして、決定された表示領域802のガイダンス内容を取得する(S203)。この場合、前回の合成結果がなしであるので、表示領域802の取得内容を合成結果とし(S204)、ステップS205でNOで、ステップS206に進む。そして、次の取得先を表示領域805にする(S206)。次いでステップS207でNOに進み、表示領域805のガイダンス内容取得し(S203)、図12に示される合成する(S204)。
そして、S205でNO、S207でYESに進み、S208で未確定部分(上、下矢印、換作案内)を非表示にする。
次いで、操作対象となっている表示領域が804である場合について、説明する。
この場合、まず判定部109aは、合成開始位置を最前面の表示領域804に決定する(S202)。次いで、ガイダンス合成部109は、表示領域804のガイダンス内容を取得する(S203)。ステップS204では、ガイダンス合成部109は、前回の合成結果がなしであるので、表示領域804の取得内容を合成結果とする。次いでS205でNOへ進み、判定部109aは、次の取得先を表示領域805にする(S)206。次いで、ステップSNOへ進み、ガイダンス合成部109は、表示領域805のガイダンス内容を取得する(S203)。そして、ガイダンス合成部109は、図13に示されるように合成する(S204)。次いでステップS206でNO、ステップS207でYESに進み、ステップS208で未確定部分(ソフトキー、状態表示、操作案内)を非表示にする。
なお、操作対象となっている表示領域が801の場合も同様である。この場合には、表示領域804の部分を表示領域801に変更すればよい。
かかる構成によれば、配置関係管理部501により表示領域のレイアウトが変更された場合に自動的にガイダンス内容の再合成が行われることとなり、レイアウト変更に合わせて自動的に適切なガイダンス内容に変更することが可能である。また、その際、ガイダンス表示位置管理部502の表示レイアウト情報を合わせて変更することにより、ガイダンス表示内容保持部のガイダンス内容を変更することなく、レイアウト変更後のガイダンス表示サイズ・位置に合わせて各項目を表示することが可能である。
なお、ここでは、縦長から横長にレイアウトを変更した場合について説明したが、レイアウト変更だけでなく、例えば表示器を180°回転させ、折りたたんだようにした場合においても、従前のソフトキーが使用できなくなるので、新たに割り当てた本体側部のソフトキーへの変更等をガイダンス表示させるようにしてもよい。
本発明に係るガイダンス表示装置は、複数領域のガイダンス内容合成機能を有し、画面上のある領域に操作ガイダンスやキーガイダンス等の表示を行なう携帯電話機や、携帯型のモバイル機器などに有用である。また複数のアプリケーションを操作するためのメニュー表示等の用途にも応用できる。また、各種の家電機器、情報処理装置、産業機器などでも、ガイダンス表示するのに適している。
本発明は、ユーザの操作を画面毎にガイダンスするためのガイダンス表示装置およびガイダンス表示方法に関し、特に、1つの画面中、ユーザが操作する対象となる複数の表示領域を含む場合におけるガイダンスを表示するための技術に関する。
パーソナルコンピュータ(以下、PCとも記す。)では、携帯電話機などのモバイル情報端末に比べ画面の大きな表示部品を使用しているので、複数のアプリケーションが1つの画面を共有して使用するケースが従来からあり、各アプリケーション毎の表示領域を1つの画面中に含め、各表示領域毎にガイダンスを表示している。
一方、モバイル情報端末の表示部品(LCD等)の画面は、従来サイズが小さく、解像度も低かったため、1つのアプリケーションが画面全体を占有してガイダンス表示を行っていたが、近年、画面サイズの拡大、高解像度化が進み、複数のアプリケーションが1つの画面を共有して使用することが可能になりつつある。この場合、モバイル情報端末においても、各アプリケーション毎の表示領域を1つの画面中に含め、各表示領域毎にガイダンスを表示することが望まれるが、PCの場合ほど画面を大きくすることができない。そこで、従来からガイダンスを限られたわずかなスペースに表示するようにしている。
従来の携帯電話機などの情報処理端末における操作のガイダンス表示装置としては、携帯電話機の呼状態毎に、どの機能を表示するかの優先度を記した呼状態機能優先順位表と、各優先度の機能をどのソフトキーに割り当てるかを記したソフトキー機能優先順位表を使い、ソフトキー表示内容を決定して画面に表示する方法(例えば、特許文献1参照)が採用されている。1つのソフトキーには、このソフトキーを押下した時の操作アクションとして、状態に応じて異なる機能を割り当てることが可能であり、特許文献1の携帯電話機では、4つのソフトキーに対する機能割り当てを行い、割り当てられた機能に対応するガイダンス表示をどの位置に表示するかを決定し、表示を行っている。
また、従来の他のガイダンス表示装置としては、携帯電話機の現状態と有効なキーを管理する制御部が、ガイダンスデータベースから有効なキーの現状態に関するガイダンス情報を取得し、そのキーレイアウトを模写してガイダンス情報を表示する方法(例えば、特許文献2参照)がある。この特許文献2に記載された従来のガイダンス表示装置では、端末の内部状態からガイダンス表示の要・不要を判断し、現在の状態に対応するガイダンス情報を操作ガイダンス情報データベースから取得して表示を行い、キー操作がされた際に、有効な入力か否かの判断を行う。
また、従来のさらに他のガイダンス表示装置としては、ウィンドウ毎にガイダンス表示内容を持ち、そのなかからアクティブなウィンドウに対応するガイダンス表示内容を表示する方法(例えば、特許文献3参照)がある。この特許文献3に記載された従来のガイダンス表示方法では、複数のウィンドウ各々にガイダンス表示内容を持っており、キーボード入力を受け付けるアクティブウィンドウに応じて、対応するガイダンス内容を表示する。
特開平9−149129号公報
特開2000−91940号公報
特開平10−97402号公報
しかしながら、上記した従来の技術では、画面のレイアウトや、操作仕様に応じて、システムの各状態に対応したガイダンス表示内容を、システム設計段階で決定しておく必要がある。
このため、1つの画面が複数の表示領域から構成される場合においては、以下に挙げる課題を有する。なお、「1つの画面」とは、携帯電話機などの情報処理端末におけるLCDや液晶などの表示部品(ディスプレイ)を意味するのでなく、機器のディスプレイに表示される内容を意味する。
1つの画面は、例えば図1に示すように、1つ以上の表示領域(700,701,702,703)から構成されている。そして、ユーザの操作対象となる表示領域は、図1(a)に示される表示領域701と、図1(b)に示される表示領域702であり、表示領域701上に表示領域702を重ねることにより図1(c)に示される画面が形成される。
従来、図1(a)に示される表示領域701に対するガイダンスをシステム設計時に作成し、図1(b)に示される表示領域701に対するガイダンスをシステム設計時に作成する必要がある。
第1の課題として、画面上の表示領域のうち一部でも、ガイダンス表示に関連する操作仕様や表示内容などが事前に不明な部分があれば、その画面において適切なガイダンス表示が行うことができないということが挙げられる。
例えば図1に示すような画面において、表示領域702の表示内容・操作仕様が不明であれば、他の表示領域700,701の表示内容・操作仕様がわかっていても適切なガイダンス表示を行うことができない。具体例を挙げて説明すると、図1が700〜703の4つの表示領域で構成される映像データの内容を閲覧するための画面であり、閲覧する対象の映像データ(データ1、データ2など)を切り替える操作として、上下キーを使用するものとする。そして、実際に映像データを表示するためのアプリケーションはダウンロード等により自由に入れ替えることができ、そのダウンロードしたアプリケーションの表示内容を表示領域702に表示し、画面全体のガイダンスを表示領域703に表示するものとする。
そうすると、データ切り替えに使う上下キーの有効・無効を示す上下矢印のガイダンス表示は、事前に設定できるが、ダウンロードしたアプリケーションの操作に使用するキーのガイダンスや、ダウンロードしたアプリケーションの状態を表すガイダンスについては、アプリケーションをダウンロードするまで不明なため、システム設計時には決定することができない。
例えば、再生機能を持つアプリケーションならば、図1のようにキー操作ガイダンスとして「再生」の表示を出すであろうし、編集機能を持つアプリケーションならば同じ場所に「編集」と表示するであろう。またキー操作を受け付けないものであれば、何も表示されない可能性もある。
同様に、アプリケーションの状態を示すガイダンスについても、再生機能を持つアプリケーションは「再生中」や、「停止中」といった状態を表示するであろうし、再生までに時間がかかるアプリケーションの場合は「準備中」などの表示を行う可能性もある。
このように画面全体のガイダンス表示内容は、ダウンロードされるアプリケーションの仕様によって変化するため、ガイダンス表示内容を事前に決定する必要がある従来技術では、適切なガイダンス表示が行うことができない。
第2の課題として、ユーザによるカスタマイズや表示サイズの変更などによって、例えば図2に示すように、画面上の表示領域のレイアウトが変更された場合には、変更後のレイアウトに適したガイダンス表示を行うことができないということが挙げられる。
一例を挙げて具体的に説明すると、図2に示されるように、レイアウト変更前は800〜803の4つの表示領域で構成される画面であり、表示領域802は表示領域801に包含されており、レイアウト変更後は新たに表示領域804,805が追加されると同時に、表示領域802と表示領域801の包含関係が無くなり、表示領域805上に表示領域802,803,804が並列に配置されたとする。また、個々の表示領域が表示するガイダンスの内容は事前に決まっており、表示領域801はデータ切り替え操作に使う上下キーの有効・無効を表す上下矢印を、表示領域802は表示データをソフトキーにより再生操作が行われることを示す「再生」と停止状態を示す「停止中」を、表示領域804はグループ切り替え操作に使う上下キーの行う有効・無効を表す上下矢印を、表示領域805は表示領域801,802,804から操作対象となる表示領域を選択するために使用する左右キーの有効・無効を表す左右矢印を表示するものとする。
このような場合、レイアウト変更前の画面では、ガイダンスが必要な表示領域は、包含関係にある表示領域801,802だけであり、表示領域802が操作対象になる場合における画面全体のガイダンス表示として適切なものは、図2に示される通り、表示領域801の上下矢印表示と表示領域802の「再生」「停止中」表示を組み合わせた内容になる。しかし、レイアウト変更後の画面では、表示領域802は、表示領域805に包含されているため、表示領域802が操作対象になる場合における画面全体のガイダンス表示として適切なものは、図2に示される通り、表示領域805の上下左右矢印と表示領域802の「再生」「停止中」表示を組み合わせた内容になる。また、レイアウト変更後は表示領域801,802,804が並列に配置されているため、操作対象となる表示領域の切り替えが発生し、表示領域801,804へ操作対象が変更された場合は、各々、表示領域801と805,804と805のガイダンス表示を組み合わせたものが画面全体のガイダンスとして表示される必要がある。このように、事前に各表示領域に対するガイダンスの表示内容はわかっていても、各表示領域のレイアウトに応じて画面全体のガイダンス表示は変化するため、変更後のレイアウトが事前に不明な場合は、従来の技術では適切なガイダンス表示を行うことができない。
そこで、本発明は、前記従来の課題を解決するもので、画面表示内容やレイアウト、操作仕様などの変化に合わせてガイダンス表示内容を適切に表示することができるガイダンス表示装置を提供することを目的とする。
上記目的を達成するために、本発明に係るガイダンス表示装置は、ユーザの操作をガイダンスするためのガイダンス表示装置であって、1つの画面中に含まれ、ユーザが操作する対象となる複数の表示領域にそれぞれ対応するガイダンス表示内容を、予め保持するガイダンス内容保持手段と、前記各表示領域にそれぞれ対応するガイダンス表示内容を前記ガイダンス内容保持手段から取得し、取得したガイダンス表示内容を1つに合成するガイダンス合成手段と、前記ガイダンス合成手段が合成したガイダンス表示内容を画面上に表示するガイダンス表示手段とを備えることを特徴とする。
これにより、ガイダンス内容保持手段に保持されているガイダンス表示内容を変更しなくとも、画面レイアウトや操作状態に合わせてガイダンス表示内容を適切に組み合わせて簡単に合成することができるうえ、表示内容や操作仕様を持つ表示領域を画面上に組み込んだり、不要な表示領域を画面上から削除する場合においても、その表示領域に対応するガイダンス内容保持手段を追加・削除するだけで、他の表示領域に関するガイダンス表示内容を変更することなく、画面全体として適切なガイダンス表示を行うことができる。したがって、画面表示内容やレイアウト、操作仕様などの変化に合わせてガイダンス表示内容を適切に表示することができる。
なお、本発明は、このようなガイダンス表示装置として実現することができるだけでなく、このようなガイダンス表示装置が備える特徴的な手段をステップとするガイダンス表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、ガイダンス表示装置が備える特徴的な手段を一体化したLSIとして実現することもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上の説明から明らかなように、本発明のガイダンス表示装置によれば、画面上の各表示領域に関するガイダンス表示に関する情報に基づき、合成することで、適切なガイダンス表示を行うことができるため、例えば、画面上の一部に表示されるアプリケーションをダウンロードにより入れ替えた場合や、画面上の他の表示領域については変更せずに、一部だけの表示内容や操作仕様をユーザカスタマイズによって変更した場合においてもガイダンスを表示することが可能になる。
また、画面サイズや画面の方向に合わせて、画面上のレイアウトが動的に変更されるような場合においても、適切なガイダンス表示を行うことができる。
さらに、操作状態やレイアウトなどを意識せずに各表示領域に対するガイダンス表示内容だけを設定すれば、適切なガイダンス表示が自動的に行われるため、ガイダンス表示を行うソフトウェアの開発が容易になるうえ、各操作状態やレイアウト毎にガイダンス情報を保持しておく必要がないことから消費メモリを節約することもできる。
よって、本発明により、各表示領域にそれぞれ対応するガイダンス表示内容をガイダンス内容保持手段から取得し、取得したガイダンス表示内容を1つに合成することで、極めた簡単に、適切なガイダンス表示を行うことができ、携帯電話機等のモバイル情報端末が普及してきた今日における本願発明の実用的価値は極めて高い。
以下本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係るガイダンス表示装置が適用される通信システム1の全体構成を示す図である。
この通信システム1は、ダウンロードしたアプリケーションを用いて、予め保持する映像や、音楽コンテンツなどのデータを再生したりする際に、ガイダンスを表示することで、ユーザ操作の円滑化を図るものであって、インターネット等、無線の伝送路であるネットワーク90を介して、要求されたアプリケーションAPを配信するアプリケーション配信サーバ80と、携帯電話機10とを備える。
携帯電話機10は、ユーザに携帯され、パケット中に音声や、DSPを添付した電子メール等の種々のデータを送受信したり、ダウロードしたアプリケーションAPを用いて、予め保持する映像や、音楽コンテンツなどのデータを再生したりする際に、ガイダンスを表示する通信装置であり、基地局との間で電波を送受信するためのアンテナex201と、CCDex129や、フラッシュ等を含み、静止画や動画を撮ることが可能なカメラ部ex203と、操作キーex204群から構成される本体部、スピーカ等により構成され、音楽や、通話音声を出力するための音声出力部ex208、マイク等により構成され、音声を入力するための音声入力部ex205、SDカード等の記録メディアex207を装着可能とするためのスロット部ex206と、LCD等で構成され、カメラ部ex203で撮影した静止画や、アンテナex201を介して受信した静止画等を表示するための表示部ex202等とを備える。
なお、表示部ex202の表面にはタッチパネルが装着されている。また、この携帯電話機10は、本体内部に記憶部16を備え、この記憶部16に設けられたフォルダ「アプリケーション」にダウンロードしたアプリケーションAPを自動的に格納したり、この記憶部16に設けられたフォルダ「グループ1」、「グループ2」、…に撮影した静止画や動画等を自動的に格納したりする。
図4は、図3に示される携帯電話機10が備えるガイダンス表示装置の機能構成を示すブロック図である。なお、このガイダンス表示装置を構成する各部は、ダウンロードしたアプリケーションAPと、アプリケーションAPを実行するCPUと、メモリ等により実現される。また、このガイダンス表示装置を構成する構成要素の一部又は全部を一体化した1個のLSIとして構成してもよい。
図4に示されるように、ガイダンス表示装置21は、表示領域100〜103にそれぞれ対応するガイダンス内容保持部104〜107と、領域非依存ガイダンス内容保持部108と、ガイダンス合成部109と、判定部109aと、ガイダンス表示部110とを備える。
図4において、表示領域100〜103は、図3に示される画面を構成している表示領域であり、ここでは1つの画面が4つの表示領域から構成される一例が示されている。そして、図1の表示領域700〜703や、図2の表示領域800〜805にも相当している。すなわち、ユーザの操作対象となる表示領域は、表示領域101と、表示領域102である。なお、ここでは表示領域が矩形の例を挙げているが、必ずしも矩形である必要はなく、楕円や多角形など任意の形状を取ることができる。この表示領域100〜103は、例えばGUI部品であるウィジェットや、ウィンドウとして実現されることもある。
ガイダンス内容保持部104〜107は、表示領域100〜103とそれぞれ対応しており、各表示領域に関するガイダンス内容を保持しており、例えばメモリなどの情報記憶装置を用いて実現される。本実施の形態1では、ガイダンス内容保持部104〜107と表示領域100〜103が1対1で対応している場合を例として説明するが、多対1や、1対多、多対多など、1対1対応以外の対応関係にあってもよい。また、画面上の全ての表示領域がガイダンス内容保持部と対応する必要はなく、ガイダンス表示が不要な表示領域については、ガイダンス内容保持部と対応しなくてもよい。例えば、図3の表示領域103は、ガイダンス表示領域そのものであり、他の表示領域(101,102)のガイダンス内容のみに基づいてガイダンス表示内容が決定されており、表示領域103自体のガイダンス内容は、存在しない構成とすることができる。
図5は、ガイダンス内容保持部が格納するガイダンス内容の例を示す図である。なお、図3に示される例では、ユーザの操作対象が表示領域101と表示領域102であるので、ガイダンス内容保持部101,102がそれぞれ格納するガイダンス内容の例が示されている。
図5に示されるように、ガイダンス内容として、ガイダンスに表示する各項目について、表示・非表示の表示状態、表示内容が保持されている。
図5の例の場合では、ガイダンスとして表示される項目として、上下左右の矢印、ソフトキー、アプリケーションの状態表示、操作説明があり、各項目について表示状態、表示内容が保持されている。
具体的には、表示領域101においては、項目「上矢印」について表示状態「表示」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「表示」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域102においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「表示」、表示内容「再生」が、項目「状態表示」について表示状態「表示」、表示内容「停止中」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
ここで、図中の「/」は、設定不要を表し、「−」は未設定を表す。また、図に示される表示領域101,102のガイダンス内容は、ダウンロードされたアプリケーションが、処理対象となるデータをサーチし、処理対象となるデータ毎に、そのデータの処理の際にユーザにとって必要となるガイダンス用のデータとして予め取得し、保持している。
なお、このようなガイダンス内容は、全ての項目について情報を保持しておく必要はなく、関知しないガイダンス項目については、図5のように、表示状態・表示内容などの情報を未設定(−)のままにしておいてもよい。
また、本例では、この項目の数・種類が統一されている場合を例について説明するが、ガイダンス内容保持部毎に項目の数や、種類に差があってもよいし、項目の数や、種類を動的に変更できるようにしてもよい。また、図5では表示状態と表示内容を別に管理しているが、1つの属性として統合し、表示内容設定時に表示、未設定時は非表示としてもよい。また、表示状態・表示内容以外の情報を追加してもよい。また、表示内容が固定などで設定が不要な場合などは図5の上矢印項目のように、表示内容部分を除いてもよい。また、この一覧にある項目は、必ずしもガイダンス上に常時表示される必要はなく、実際にガイダンス上では表示されない項目が含まれていてもよい。また、図5では表示内容は文字列で表されているが、画像データや、動画データ、音データ等を指し示すIDなどであってもよい。
領域非依存ガイダンス内容保持部108は、表示領域とは対応しないガイダンス内容を保持する部分であり、例えば前画面のガイダンスや通信状態、音量関連など、現在表示されている表示領域とは関連がないガイダンスの内容を保持するために使われる。つまり、領域非依存ガイダンス内容保持部108は、上記表示領域100〜103に依存されないガイダンスの内容、例えばバッテリの残量や、通信圏内/通信圏外等を保持する。領域非依存ガイダンス内容保持部108が格納するガイダンス内容は、図5に一例を示した前記ガイダンス内容保持部104から107のものと同様のため、説明は省略する。なお、今回は領域非依存ガイダンス内容保持部が1つの場合を例に説明するが、領域非依存ガイダンス内容保持部を複数設けてもよいし、まったく設けなくともよい。
ガイダンス合成部109は、ガイダンス内容保持部104〜107および領域非依存ガイダンス内容保持部108から、ガイダンス内容を所定の順に取得して、取得内容を合成した後、合成結果をガイダンス表示部110に通知する。
判定部109aは、ガイダンス合成部109のガイダンス内容を合成する際に、ユーザの操作対象となる表示領域における次のガイダンス情報取得先となる表示領域を、以下に示す1〜3のいずれかの方式のいずれかで判定する。
1.判定部109aは、ユーザの操作対象となる表示領域のフォーカスや、マウスポインタの位置等の操作状態から、ガイダンス取得先となる表示領域を判定する。
2.判定部109aは、イベント伝播順序からガイダンス取得先となる表示領域を判定する。
3.表示領域の配置関係(親子関係や、座標)からガイダンス取得先となる表示領域を判定する。
ガイダンス表示部110は、ガイダンス合成部109より通知された合成結果に基づき、ガイダンス内容を画面上に表示する。
次に、ガイダンス合成部109が行う合成処理の動作を説明する。
図6は、ガイダンス合成部109が行う合成処理の動作を示すフローチャートである。
ガイダンス合成部109は、例えば、初期画面表示時や、画面遷移時、各ガイダンス内容保持部(104〜107)の保持内容変更時、ユーザ操作によりフォーカス位置やカーソル・マウスポインタなどの操作状態変更を検知時など、イベントが発生し、ガイダンス表示や、更新が必要な場合に、処理を開始する(S201)。これは、ガイダンス合成部109が上記のような状態を監視して、自ら合成を開始してもよいし、状態を監視する処理部を備えて、状態変化をガイダンス合成部109に通知してもよい。なお、ここでは、ガイダンス合成部109が状態を監視するものとし、状態を監視するブロックを設ける場合については、実施の形態2で説明するため、ここでは詳細な説明は割愛する。
ガイダンス合成部109は、ガイダンス内容保持部104〜107又は領域非依存ガイダンス内容保持部108のうち、どれから最初にガイダンス内容の取得を行うかを決定する(S202)。これは、ガイダンス合成部109が操作状態に応じて決定する。例えば、操作状態としてフォーカス位置を用いる場合、ガイダンス合成部109が、フォーカスを持つ表示領域を判定して、その表示領域に対応するガイダンス内容保持部を最初のガイダンス内容取得先に決定する。また、操作状態としては、フォーカス位置以外にも、マウスポインタやカーソルなどの位置を使用してもよいし、例えば、表示領域がウィンドウやウィジェットといったイベントを受信できる領域である場合には、最初にイベントが配送される表示領域を最初のガイダンス内容取得先に決定してもよい。なお、上記例では、操作状態に応じて最初の取得先を決定しているが、表示領域の配置関係を用いて、例えば一番前面に配置されている表示領域に対応するガイダンス内容保持部から取得を開始する方法や、各ガイダンス内容保持部に優先度を付加し、優先度の高いものから取得する方法や、アプリケーションなどから指示された位置から取得開始する方法、保持している内容が変化したガイダンス内容保持部から取得を開始する方法などを用いてもよい。また、ガイダンス内容保持部でなく領域非依存ガイダンス内容保持部108を最初の取得先に決定してもよい。
次に、初めての場合はステップS202において、2回目以降はステップS206において、取得先として決定されたガイダンス内容保持部からガイダンス内容を取得する(S203)。そして、ガイダンス合成部109は、ステップS203で取得したガイダンス内容と、前回までのガイダンス内容の合成結果を合成する(S204)。初回の合成の場合には、前回までのガイダンス内容の合成結果は存在しないため、取得したガイダンス内容を、そのまま今回の合成結果として確定する。
図7にガイダンス合成処理の一例を示す。この例では、ガイダンスとして表示する項目として7項目あり、それぞれの表示内容を合成処理することで確定する。この場合、まず前回の合成結果における各項目の表示状態・表示内容を確認し、表示状態・表示内容が確定していれば(例えば、図7の項目「ソフトキー」)、これをそのまま今回の合成結果として確定する。もし、前回の合成結果において表示状態・表示内容が確定していなければ(例えば、図7の項目「操作案内」)、今回取得したガイダンス内容の表示状態・表示内容を今回の合成結果として確定する。なお、図7では、前回までのガイダンス内容合成結果を優先したが、逆に取得したガイダンス内容を優先して合成を行ってもよいし、項目毎にどちらを優先するか切り替えてもよい。このようにして、得られた合成結果は、ガイダンス合成部109が、次回の合成に使用する又は、確定情報としてガイダンス表示部110に通知するため、メモリなどの記憶装置に保存する。なお、今回は、取得するたびに毎回合成を行う方法を示したが、取得のみを先に行ってから一括して合成する方法に変えてもよい。
次に、ガイダンス合成部109が、全てのガイダンス内容が確定したかを判断する(S205)。これは、ステップS204で得られた合成結果において、表示状態・表示内容が未確定な項目が存在するか否かにより判断される。例えば、図5に示された合成結果の場合は、状態表示部分が未確定なため、ガイダンス内容が確定していないと判断し、次の取得先検索(S206)へ進む。なお、このガイダンス内容が確定したかの判断を省略して、次のガイダンス内容取得先がなくなるまで、必ず合成処理を行うようにしてもよい。
全てのガイダンス内容が確定した場合は(S205がYES)、ガイダンス合成部109が、ステップS204で合成されたガイダンス内容を表示内容として、ガイダンス表示部110に通知する(S209)。そして、ガイダンス表示部110は,通知されたガイダンス内容を、画面上に表示する。
一方、全てのガイダンス内容が確定していない場合は(S205がNO)、ガイダンス合成部109が、次のガイダンス内容取得先を検索する(S206)。ここで、次のガイダンス内容取得先として適切なものがない場合は、取得先なしとして次のステップに進む。イベント配送順序に合わせて合成を行う場合の取得先の検索方法について説明すると、ガイダンス合成部109が、前回の取得先であるガイダンス内容保持部に対応している表示領域へ送られたイベントが、次にどの表示領域に伝播するかのイベント配送を管理する情報を参照することで実現される。この「伝播」とは、最初に配送されたイベントが配送先の表示領域で使用されない場合など、別の表示領域にイベントを再配送することを意味する。通常、あるイベントが特定の表示領域で使用されると、そのイベントに対する処理は行なわれたものとして、再配送は行なわない。また、表示領域に対応していない領域非依存ガイダンス内容保持部108がある場合は、次の取得先をガイダンス内容保持部から検索して見つからなかった場合に、領域非依存ガイダンス内容保持部108を次の取得先として決定する。もし、ガイダンス内容保持部、領域非依存ガイダンス内容保持部108両方を検索しても見つからない場合は、次取得先をなしに決定する。また、領域非依存ガイダンス内容保持部108が複数ある場合には、優先度などを付与して合成順序を決定する。なお、逆に領域非依存ガイダンス内容保持部108の方を、ガイダンス内容保持部より優先して先に取得するようにしてもよい。なお、表示領域がウィンドウである場合には、一般的なウィンドウシステムでは順次親ウィンドウにイベントが伝播されるので、前回の取得先であるガイダンス内容保持部に対応している表示領域の親ウィンドウを取得し、取得した親ウィンドウに対応するガイダンス内容保持部を次の取得先として決定してもよい。また、次のガイダンス内容取得先の検索方法として、イベント配送順序に合わせる方法の他、表示領域の配置関係から、例えば順次下に配置されているものを次の取得先として決定したり、最前面に配置されているものから順にその背面にある表示領域を次の取得先として決定したりしてもよいし、ガイダンス内容保持部に優先度を付加しておき、その優先度に従って決定してもよい。
ガイダンス合成部109は、次のガイダンス内容取得先が存在するか否かの判断を行い(S207)、次のガイダンス内容取得先が存在した場合には(S207がNO)、ステップS203に戻り、次のガイダンス内容取得先からガイダンス内容の取得を行う。一方、次のガイダンス内容取得先なしと決定された場合には(S207がYES)、ガイダンス内容の中で未確定になっている部分の確定処理を行う(S208)。これは、未確定部分の表示状態を非表示に確定することで行われる。なお、未確定部分を非表示として確定する以外に、デフォルトの設定値を決めておき、その内容に確定するようにしてもよい。これにより、全ての内容が確定するので、ステップS209に進んで、ガイダンス合成部109が、確定したガイダンス内容を表示内容として、ガイダンス表示部110に通知する。
より具体的には、合成処理の流れは、以下のようになる。
まず、合成開始位置を最前面の表示領域102に決定する(S202)。次いで、表示領域102のガイダンス内容を取得する(S203)。S204:前回の合成結果がないので、今回の取得内容(表示領域102を合成結果(表示領域102)とする(S204)。次いで、ステップS205で、NOであるのでステップS206へ進み、次の取得先を表示領域101にし、ステップS207でNOであるので、ステップS203に進み、表示領域101のガイダンス内容を取得する。次いで、ステップS204において、図8に示されるように合成する。
次いで、ステップS206でNOに、ステップS207でYESに進み、S208で未確定部分(右、左矢印、操作案内)を非表示にする。
つまり、表示状態や、表示内容が「表示」や、「再生」のように既に決まっているものと、「−」や、「/」とを合成する場合には、「表示」や、「再生」のように既に決まっているものが優先される。前回の合成結果の表示状態や、表示内容と、今回の取得内容の表示状態や、表示内容とが、「表示」と「非表示」のように対立するものである場合には、前回の合成結果を優先する。
これにより、図3に示される表示領域103に確定したガイダンスが表示される。
かかる構成によれば、ガイダンス合成部109が、各表示領域のガイダンス内容を画面上に表示するタイミングで合成することにより、表示領域のレイアウトやフォーカス位置などの操作状態に応じて自動的にガイダンス表示内容が決定されることとなり、設計時に画面のレイアウトや各表示領域に対応するガイダンス内容が不明な場合でも、適切なガイダンス表示を行うことができる。
(実施の形態2)
図8は、本発明の実施の形態2におけるガイダンス表示装置の構成図である。図8において、図4と同じ構成要素については同じ符号を用い、説明を省略する。
図8に示されるように、ガイダンス表示装置22は、実施の形態1のガイダンス表示装置21の構成に、さらに配置関係管理部501と、ガイダンス表示位置管理部502とがさらに追加されて構成されている。
配置関係管理部501は、表示領域間の配置関係を管理し、図9に示されるようなレイアウト等の配置関係に変更があった場合に、ガイダンス合成部109に対して合成開始を通知する。また、配置関係管理部501は、表示領域間の配置関係を管理しているため、ガイダンス合成処理を、判定部109aが表示領域の配置関係に従って行う場合には、図6のステップS206において判定部109aが次のガイダンス内容の取得先を配置関係管理部501に問い合わせるようにしてもよい。
ここで、表示領域間の配置関係とは、例えば、図9に示される画面のレイアウト変更前(縦長表示)では、表示領域802は表示領域801に包含された配置関係であり、レイアウト変更後では、表示領域802と表示領域801の包含関係がなく、表示領域805上に表示領域802,803,804が並列に配置されている関係である。
ガイダンス表示位置管理部502は、ガイダンス内容の各項目をどの位置にどのサイズで表示するかを管理する。ガイダンス表示部110は、ガイダンス表示を行う際にガイダンス表示位置管理部502より各項目の表示レイアウトを取得し、それに従って表示を行う。
図10は、図8に示されるガイダンス表示位置管理部502が保持している表示レイアウト情報の構成例を示す図である。
図10に示されるように、ガイダンス表示位置管理部502は、表示レイアウトの情報として、上記各項目について表示・非表示を示す使用状態と、表示位置(画面上における矩形の表示位置の始点座標)、表示サイズ(幅と高さで表される大きさ)を保持している。ガイダンス表示部110はこの図10に示された表示レイアウトの情報に従い、画面上にガイダンス表示を行う。
例えば、上矢印の場合だとガイダンス表示を行う表示領域の左上隅から右に50下に0の地点に、縦10横10の大きさの矢印を表示する。なお、図10における使用状態・表示位置・表示サイズのうち、不要なものを取り除いてもよいし、透明度やアニメーション速度など、他の情報を追加してもよい。また、ガイダンス表示位置管理部502の情報は、システム設計時に決定しておいてもよいし、アプリケーションやユーザからの指定により自由に設定できるようにしてもよい。
次いで、図9に示されるように、レイアウトが変更された場合について説明する。なお、レイアウト変更前については図3と同様であるので、レイアウト変更後について説明する。
図9に示されるレイアウト変更後の例の場合、表示領域801,802,804,805がユーザへのガイダンスの対象となる。そして、各表示領域のガイダンス内容は、図11に示されるようになる。
図11は、ガイダンス内容保持部が格納するガイダンス内容の例を示す図である。なお、図9に示されるレイアウト変更後の例では、ユーザの操作対象が表示領域801,802,804,805であるので、対応するガイダンス内容保持部がそれぞれ格納するガイダンス内容の例が示されている。
図11の例の場合では、図5の場合と同様、ガイダンスとして表示される項目として、上下左右の矢印、ソフトキー、アプリケーションの状態表示、操作説明があり、各項目について表示状態、表示内容が保持されている。
具体的には、表示領域801,804においては、項目「上矢印」について表示状態「表示」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「表示」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域802においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「−」、表示内容「/」が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「−」、表示内容「/」が、項目「ソフトキー」について表示状態「表示」、表示内容「再生」が、項目「状態表示」について表示状態「表示」、表示内容「停止中」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
また、表示領域805においては、項目「上矢印」について表示状態「−」、表示内容「/」が、項目「右矢印」について表示状態「表示」、表示内容「/」が、項目「下矢印」について表示状態「−」、表示内容「/」が、項目「左矢印」について表示状態「表示」、表示内容「/」が、項目「ソフトキー」について表示状態「−」、表示内容「−」が、項目「状態表示」について表示状態「−」、表示内容「−」が、項目「操作案内」について表示状態「−」、表示内容「−」が、保持されている。
次いで、合成処理の動作について説明する。まず、操作対象となっている表示領域が802である場合について、説明する。
まず、合成開始位置を最前面の802に決定する(S202)。そして、決定された表示領域802のガイダンス内容を取得する(S203)。この場合、前回の合成結果がなしであるので、表示領域802の取得内容を合成結果とし(S204)、ステップS205でNOで、ステップS206に進む。そして、次の取得先を表示領域805にする(S206)。次いでステップS207でNOに進み、表示領域805のガイダンス内容取得し(S203)、図12に示される合成する(S204)。
そして、S205でNO、S207でYESに進み、S208で未確定部分(上、下矢印、換作案内)を非表示にする。
次いで、操作対象となっている表示領域が804である場合について、説明する。
この場合、まず判定部109aは、合成開始位置を最前面の表示領域804に決定する(S202)。次いで、ガイダンス合成部109は、表示領域804のガイダンス内容を取得する(S203)。ステップS204では、ガイダンス合成部109は、前回の合成結果がなしであるので、表示領域804の取得内容を合成結果とする。次いでS205でNOへ進み、判定部109aは、次の取得先を表示領域805にする(S)206。次いで、ステップSNOへ進み、ガイダンス合成部109は、表示領域805のガイダンス内容を取得する(S203)。そして、ガイダンス合成部109は、図13に示されるように合成する(S204)。次いでステップS206でNO、ステップS207でYESに進み、ステップS208で未確定部分(ソフトキー、状態表示、操作案内)を非表示にする。
なお、操作対象となっている表示領域が801の場合も同様である。この場合には、表示領域804の部分を表示領域801に変更すればよい。
かかる構成によれば、配置関係管理部501により表示領域のレイアウトが変更された場合に自動的にガイダンス内容の再合成が行われることとなり、レイアウト変更に合わせて自動的に適切なガイダンス内容に変更することが可能である。また、その際、ガイダンス表示位置管理部502の表示レイアウト情報を合わせて変更することにより、ガイダンス表示内容保持部のガイダンス内容を変更することなく、レイアウト変更後のガイダンス表示サイズ・位置に合わせて各項目を表示することが可能である。
なお、ここでは、縦長から横長にレイアウトを変更した場合について説明したが、レイアウト変更だけでなく、例えば表示器を180゜回転させ、折りたたんだようにした場合においても、従前のソフトキーが使用できなくなるので、新たに割り当てた本体側部のソフトキーへの変更等をガイダンス表示させるようにしてもよい。
本発明に係るガイダンス表示装置は、複数領域のガイダンス内容合成機能を有し、画面上のある領域に操作ガイダンスやキーガイダンス等の表示を行なう携帯電話機や、携帯型のモバイル機器などに有用である。また複数のアプリケーションを操作するためのメニュー表示等の用途にも応用できる。また、各種の家電機器、情報処理装置、産業機器などでも、ガイダンス表示するのに適している。
図1は、複数の表示領域で構成される画面表示の一例を示す図である。
図2は、画面表示のレイアウト変更の一例を示す図である。
図3は、本発明の実施の形態1に係るガイダンス表示装置が適用される通信システムの全体構成を示す図である。
図4は、本発明の実施の形態1におけるガイダンス表示装置の構成図である。
図5は、本発明の実施の形態1におけるガイダンス内容の一例を示す図である。
図6は、本発明の実施の形態1におけるガイダンス合成処理を示すフローチャートである。
図7は、本発明の実施の形態1におけるガイダンス合成結果の一例を示す図である。
図8は、本発明の実施の形態2におけるガイダンス表示装置の構成図である。
図9は、レイアウト等の配置関係に変更があった場合の画面構成を示す図である。
図10は、本発明の実施の形態2におけるガイダンス表示位置管理部の保持情報の一例を示す図である。
図11は、本発明の実施の形態2におけるガイダンス内容の一例を示す図である。
図12は、本発明の実施の形態2におけるガイダンス合成結果の一例を示す図である。
図13は、本発明の実施の形態2におけるガイダンス合成結果の他の一例を示す図である。
符号の説明
21,22 ガイダンス表示装置
100〜103,700〜703,800〜805 表示領域
104〜107 ガイダンス内容保持部
108 領域非依存ガイダンス内容保持部
109 ガイダンス合成部
109a 判定部
110 ガイダンス表示部
501 配置関係管理部
502 ガイダンス表示位置管理部