JP5617117B2 - 携帯型無線機器のインテリジェントなグラフィックスインタフェース - Google Patents

Description

小型の携帯型電子機器が一般的になり、情報の取得、他人とのコミュニケーション、娯楽、金融取引をはじめとする様々な場面における人々のこれらの機器に対する依存度は一層高まってきた。これらの機器は多機能化する一方であるが、機器の操作にユーザが用いるＧＵＩ（グラフィカルユーザインタフェース）は比較的単純で未成熟なままであり、ユーザが機器を完全に活用することを妨げている。

本発明の実施形態は、以下の詳細な記載及び本発明の実施形態を図示する添付図面からよりよく理解される。

図は次のとおりである。
本発明の一実施形態における、無線通信向けの多機能携帯型機器である。 本発明の一実施形態によるカテゴリ／アプリケーションのマトリクス図である。 本発明の一実施形態によるカテゴリ／アプリケーションのマトリクス図である。 本発明の一実施形態による仮想立方体である。 本発明の一実施形態における、アプリケーション面を表示した仮想立方体である。 本発明の一実施形態における、クラスタを定義するグラフィックス形式である。 本発明の一実施形態における、クラスタを定義するグラフィックス形式である。 本発明の一実施形態における、ユーザへの情報提示方法を選択するプロセスのフローチャート図である。

以下の詳細な説明では様々な具体的詳細について述べる。しかしながら、そのような具体的詳細を用いることなく本発明の実施形態を実施することが可能であることが理解されるべきである。また、詳細な説明を不明瞭にしないよう、公知の回路、構造及び手法については詳述していない。

「一実施形態」、「ある実施形態」、「例示的な実施形態」、「様々な実施形態」等の用語は、記述された本発明の実施形態は特定の機能、構造または特性を備え得るが、全ての実施形態が、特定の機能、構造または特性を備える必要は必ずしもないことを意味する。さらに、いくつかの実施形態は、他の実施形態として記述された機能の一部または全てを有していてよく、あるいは全く有していなくともよい。以下の詳細な説明及び請求項では、「結合」及び「接続」の用語がその他の派生語と共に使用され得る。これらの用語は互いの同義語として用いているわけではないことが理解されるべきである。特定の実施形態において、２つ以上の構成要素が互いに直接、物理的または電気的な接触状態にあることを示すべく、「接続」が用いられる。「結合」は、２つ以上の構成要素が互いに協働または相互に作用しあうことを示すべく用いられるが、それらが直接、物理的または電気的な接触状態にある場合もない場合もある。

添付請求項で用いられるように、特に明記していない限り、「第１」、「第２」、「第３」等の数量形容詞は、共通の構成要素を意味し、単に異なる場面での類似の構成要素を参照していることを示すに過ぎず、これらの構成要素が時系的にも空間的にもある特定の順序や順位またはその他である必要性を示唆するものではない。

本発明の多様な実施形態は、ハードウェア、ファームウェア及びソフトウェアの１つまたはあらゆる組み合わせで実装されてよい。また本発明は、１以上のプロセッサによって読み取られ、実行されることでここに述べる動作を実行させ得る、コンピュータが読み取り可能な媒体上のまたは媒体に含まれる命令として実装されてよい。コンピュータが読み取り可能な媒体は、１以上のコンピュータによって読み取り可能な形状である、情報を格納するあらゆる機構を含んでよい。コンピュータが読み取り可能な媒体は、例えば、ＲＯＭ、ＲＡＭ、磁気ディスク格納媒体、光格納媒体、フラッシュメモリデバイス等、有体の格納媒体であってよいがこれらに限定されるものではない。用語「無線」は、変調された電磁放射を用いて非固体媒体を介してデータを通信する、回路、機器、システム、方法、技術、通信チャネル等を説明するために用いられてよい。つまり、この用語は関連した機器が無線であることを示唆するものではない。無線機器は、少なくとも１のアンテナ、少なくとも１の無線機、少なくとも１のメモリ、少なくとも１のプロセッサを備え、無線機はアンテナを介してデータを表す信号を発信し、アンテナを介してデータを表す信号を受信し、同時に、プロセッサは送信するデータ及び受信したデータを処理してよい。またプロセッサは、送信も受信もされないその他のデータを処理してよい。

本文書の様々な部分で、「シチュエーション（状況）」、「コンテキスト（背景・事情）」、「ステータス（状態）」及びこれらの用語の変形が用いられ得る。本文書においては、これらの用語は特定の意味を有する。「シチュエーション（状況）」は、外部の状態、つまり機器の様々なセンサーで収集された情報、または機器外の状態についてこれらのセンサーの入力に基づいて推測された情報に関連する。センサーの入力には、無線通信、カメラ、マイクロフォン、動きおよび／または方向センサー、光センサー、温度センサー等で収集した情報を含んでよい。それらの条件はユーザの活動によって影響され得る。しかし、一般的に、状況の分析は機器外の条件を示す検知された入力のみを考慮し、直接的にはユーザの活動を考慮しない。「シチュエーショナル・アウェアネス（Ｓｉｔｕａｔｉｏｎａｌ Ａｗａｒｅｎｅｓｓ：状況把握）」は、有用となり得る状況関連の要素を判断するための状況分析に関する。

「コンテキスト」は、ユーザの位置、ユーザの行動および／またはユーザが将来どのような行動をしようとしているのか、及びユーザの優先傾向のうちの１以上に関する。これは機器がどのような動作をしているかのを考慮すること（機器の動作モード、実行中のアプリケーション等）を含んでよい。コンテキストはまた、過去の活動、反応及び以前に類似の状況下で下された判断等の履歴的要素を含んでもよい。ユーザの活動には環境要素についての考慮事項が含まれるため、時として、状況とコンテキストが重複する場合がある。例えば、体温、ストレスレベル、呼吸等、ユーザの生理的状況の監視は、機器外部の条件としての状況であると考えてもよいが、ユーザの行動またはユーザがなし得る行動としてのコンテキストであると考えてもよい。「コンテキスト・アウェアネス（Ｃｏｎｔｅｘｔ ａｗａｒｅｎｅｓｓ：背景・事情把握）」は、有用となり得るコンテキスト関連の要素を判断するためのコンテキスト分析に関する。

用語「ステータス」は、状況、コンテキスト、またはその両方からなる。従って、ステータス・アウェアネスは、シチュエーショナル・アウェアネス、コンテキスト・アウェアネス、またはその両方からなる。シチュエーショナル・アウェアネス、コンテキスト・アウェアネス及びステータス・アウェアネスにおいては、考慮される要素が、関連性のあるまたはその可能性がある要素のみに限定されてよい。一方で、具体的な結果のない場合、または情報の種類が特定されていない場合には、全ての要素が潜在的に関連性を有するとされ、ある実施形態では、情報が即時に必要でなくとも、多くのそのような要素を機器が継続的に監視及び処理してよい。

本発明の様々な実施形態は、カテゴリとアプリケーションとのマトリクスを行き来するためのグラフィックユーザインターフェース（ＧＵＩ）をユーザに提供したり、機器のユーザにとって有益なように複数のアプリケーションおよび／またはデータを組み合わせたり、および／またはステータス・アウェアネスに基づいて自動的に情報を提供したりしてよい。

図１は、本発明の一実施形態における、無線通信向けの多機能携帯型ユーザ機器を示す。図示した機器１１０は、タッチセンサー式表示画面であるタッチスクリーン１２０及びボタンＡ、Ｂ、Ｃ等の様々な構成要素を有する。また、機器のカメラの、外部から視認可能な部分としてレンズ１３０を示す。その他のボタン、センサー、出力機器等が含まれてもよいが、図を必要以上に煩雑にすることを避けるべく表示しない。

図示した機器１１０は、特定の形状、比率及び様々な要素が特定の位置に存在する外観で表現されているが、これは一例に過ぎず、本発明の様々な実施形態は、この特定の物理的構成に限定されるべきではない。例えば、ある実施形態では、ボタンのサイズおよび／または形状が図示したものと異なり、それらは機器の同じまたは異なる側面の異なる位置にあってよい。ある実施形態では、機器１１０の全体的な形状が、図示したものと異なってよい。また、機器１１０は、無線通信、様々な視覚、音声及び物理的入力、及び様々な視覚、音声及び物理的出力のための機能を含んでよい。また、機器１１０は、プロセッサ、メモリ、カメラ、その他の機器との無線通信のための無線機、及び本書に記述する機能を達成するために用いるその他の様々な構成要素を含んでよい。

＜グラフィックスユーザインタフェースのカテゴリ／アプリケーションマトリクス＞
多機能携帯型電子機器は、通信、データの取得／保存、データの分析、スケジューリング、その他を含む、ユーザにとって有用な多くの機能を実行可能である。これらの機能は、それぞれが特定の関心領域でデータを読み出し、処理及び提示することが可能な、特定のアプリケーションプログラムによって実行されてよい。しかしながら、ある特定のアプリケーションプログラムは異なる関心領域で用いられてよく、またそれぞれの関心領域において異なる方法で用いられてよい。従来の機器においては、ユーザがアプリケーションプログラムを選択せねばならず、あらゆる有用な処理が開始可能となる前に、特定の関心領域に適用するアプリケーションの特定の構成を選択した後に、その領域のデータを読み出す必要があることがあった。本発明の様々な実施形態では、マトリクスの一方の軸が関心領域（例では「カテゴリ」と表示）を表し、他方の軸がアプリケーションを表す選択肢のマトリクスをユーザに提示することで、このプロセスを合理化することが可能である。ユーザはカテゴリとアプリケーションの選択肢のマトリクス内をスクロールし、容易に適切な組み合わせを見つけることができ、この時点で、その選択の構成とデータと共に機器が適切なアプリケーションを自動的に取得してよい。

マトリクスは様々な形式で表示されてよい。ある実施形態では、マトリクスは、ユーザが仮想的に回転させることで異なる選択肢に到達可能な仮想立方体として提示されてよい。立方体は物理的ではなく仮想的な立方体であることから、物理的な立方体が限定される６面以上あるいは未満の面を提示することが可能である。画面上では、次のような様々な方法で立方体を回転することができる。但し、これらに限定されることはない。１）機器の物理的な制御ホイールの回転、２）タッチスクリーンから独立したジョイスティック、トラックボール、タッチパッド、タッチボタン、または類似の多方向な物理的制御機器、３）立方体が表示されたタッチスクリーン上での指、タッチペン、またはその他の移動、４）独立したＸ−Ｙ入力機器、５）その他。

図２Ａ及び図２Ｂは、本発明の一実施形態によるカテゴリ／アプリケーションのマトリクス図を示す。図示のラベルは例示的なものに過ぎず、用いられる可能性のあるラベルについて限定するものではない。図２Ａ及び図２Ｂは立方体を示さないが、立方体で選択可能なカテゴリとアプリケーションを例示するものである。立方体の視覚的な例は後に図示する。図２Ａの例では、機器が動作可能な複数のモードが「仕事」、「家族」、「娯楽」で表示されている。モードは例えばユーザの生活の異なる場面を表す。各モード内で優先される機能が異なる場合があることから、それぞれのモードについて異なるマトリクスがあってよい。しかしながら、ある実施形態においては、マトリクスは１つであってよい。図２Ａでは、特定のマトリクス内にそれぞれ、そのマトリクス内でアクセス可能なカテゴリの列がある。いくつかのカテゴリが複数のマトリクスに表示されることが想定されるが、これは必須ではない。図を煩雑にすることをさけるため、図２Ａではカテゴリのみを示す。図２Ｂは、１つのマトリクス（例えば、「家族」マトリクス）の展開図であり、各カテゴリに関連し得るアプリケーションの行を示す。特定のアプリケーションを選択するには、ユーザはまずカテゴリを選択し、そのカテゴリ内のアプリケーションを選択してよい。

図示したアプリケーションの一部は公知であり、例えば「留守電」、「カレンダー」、「メールの受信トレイ」等、特定のソフトウェアパッケージとして利用可能であると理解されているが、その他のアプリケーションは実際にはソフトウェアパッケージの集合体から成ってよく、またアプリケーションは単にそれらのパッケージを有用なように組み合わせる方法であってよい。また、マトリクスに示したアプリケーションは、１以上の不特定のソフトウェアパッケージが操作したデータの集合体、および／または機器の動作を表してよい。したがって、ここで使用する用語「アプリケーション」は狭義的に定義されるべきではなく、単数または複数のソフトウェアパッケージ、及びユーザへのデータの提示を含めた機器の動作の両方を含む。

ある実施形態では、カテゴリの右側に表示されるアプリケーションが、例えばメールの「受信トレイ」等の一般的なアプリケーションであり、同時に左側に表示されるアプリケーションが、例えばウェブの「ペットの位置」や電話の「母に電話」等の特化したアプリケーションであってよい。

この例では、マトリクスがアクセスされた際に機器が最初に表示する「ホーム」カテゴリがあってよい。ある実施形態では、これが最も頻繁に使用される機能へのショートカットをアプリケーションが提供する「お気に入り」カテゴリであってもよく、それらのお気に入りは自動的に決定されてよく、あるいはユーザが特定してもよい。この例には、ユーザが様々な操作パラメータを特定できる「設定」カテゴリもある。パラメータは、ログインＩＤ、着信音の設定、メールアカウント、ビジュアルテーマ、通知音、及び当該カテゴリ／アプリケーションマトリクスの内容であってよいが、これらに限定されない。

マトリクスおよび／またはそれらのラベルに含まれるカテゴリ及びアプリケーションは、ユーザが定義、予め機器内で定義、様々なパラメータに基づいて機器が自動的に生成、あるいはこれらのいくつかの組み合わせ、またはその他の考慮事項によって決定されてよい。様々なカテゴリ及びアプリケーションが表示される順序は、ユーザが定義、予め機器内で定義、様々なパラメータに基づいて機器が自動的に生成、あるいはこれらのいくつかの組み合わせ、またはその他の考慮事項によって決定されてよい。

図３は、本発明の一実施形態による仮想立方体を示す。本書における用語「仮想立方体」は、二次元ディスプレイに表示される立方体の画像を意味し、立方体の二次元画像は言うまでもなく二次元以上を有する立方体を表現し、二次元ディスプレイには立方体の様々な面が表示され得る。ある実施形態では、一度にディスプレイに表示されるのは立方体の１面のみであってよい。ある実施形態では、一度に２面以上の面がディスプレイに表示されててもよいが、表示された複数の面のうちのいくつかは鋭角で表示されるために、読みとれるのは１面のみであってもよい。この例は、図３に示されており、隣接する３面が表示されているものの、前面のみが読み取れるようになっている。本書における用語「立方体」は、物理的な立方体であると特に明記していない限り、「仮想立方体」を意味する。

この例では、タッチスクリーン１２０が図１のタッチスクリーン１２０に対応し、さらに、ディスプレイ上に表示される画像が、仮想立方体が表示されている場合にタッチスクリーン１２０に表示される画像の一部であってよい。具体的には、画像３１０はユーザに示されている立方体の面を表してよい。ディスプレイの底部近くには、いくつかのホットキー３２０がある。これらは、通常は立方体を用いていくつもの選択段階を経ることでアクセス可能な様々な特定のアプリケーションへのショートカットとして用いられてよい。ここでのホットキーは６つであるが、ディスプレイ上には適切なあらゆる数のホットキーが表示されてよい。ある実施形態では、適切な制御メカニズムを介して、追加のホットキーをディスプレイの画像内へ移動させることでアクセス可能とすることができる。

様々な実施形態では、ホットキー及びそのアプリケーション間のマッピングは、予め割り当てる、ユーザが指定する、あるいはこれに限定されないが例えば使用頻度等の様々な要件に基づいて機器が自動的に割り当ててよい。ある実施形態では、ホットキーが直接的に１つのアプリケーションへマッピングされるのではなく、別の選択肢群へマッピングされてもよい。ある実施形態では、ホットキーがあるアプリケーションに初めてマッピングされた際に、各ホットキーのラベルを意味のあるものに変更可能であってよい。ある実施形態では、ホットキーのラベルが変更されないままであってよい。ある実施形態では、あるホットキーは、カテゴリ／アプリケーションマトリクス内のいずれのノードが表示されていても、同じ機能にマッピングされてよい。図３では、立方体の面に表示されているアイコンがカテゴリを表すことをユーザに再認識させるべく立方体の面またはその上部に「カテゴリ」のラベルが示されているが、これは必須ではない。立方体の操作には、仮想立方体を垂直軸について回転させる（表示された面を左右に回転させて別の面を表示する）または仮想立方体を平行軸について回転させる（立方体の面を上下に回転させて別の面を表示する）ことが含まれてよい。ある実施形態では、このような動作は、表示された立方体の面に指またはタッチペンで触れ、指またはタッチペンをタッチスクリーン上で所望の方向に移動させることで、ユーザが誘発してよい。ある実施形態では、このような動作は、タッチスクリーンの外部のその他の適切な制御によって、ユーザが誘発してよい。ここでの用語「回転」は、表示された立方体の画像が実際に回転しているように見えるか否かににかかわらず、表示された立方体の画像が仮想立方体の１面から別の面に移動していることを示すに過ぎない。

図３の例では、１カテゴリのみが立方体の面に示されているが、ユーザは立方体を回転させて別のカテゴリにアクセスすることができる。例えば、ユーザは立方体を上下に回転させ、図２Ｂに示すカテゴリを順に表示してよい。単純なラベル「メール」を示すことで、立方体の面にメールのカテゴリが表されていることを示す。しかしながら、別の実施形態では、グラフィックス画像を含む、より複雑な画像を立方体の面に提示してよい。本書での用語「グラフィックス」は、ディスプレイ画面上にユーザへ提示されるコンピュータで生成された静止画および／または動画を含む。文字はグラフィックス画像に含まれてよいが、文字のみの画像の提示はグラフィックスの一般的な定義からは除外される。

図３のディスプレイは、縦長またはポートレイト形式であり、すなわち、縦寸法が横寸法よりも長い。しかしながら、ディスプレイは、横長またはランドスケープ形式、すなわち、横寸法が縦寸法より長くてもよい。例えば、横長形式では、ホットキーの位置がマトリクスの上下ではなく横であってよい。ある実施形態では、機器自体が水平位または垂直位であるかによって、機器が自動的に画像の形式をいずれかに変更してよい。ある実施形態では、使用する形式をユーザが選択してよい。

図４は、本発明の一実施形態における、アプリケーション面を表示した仮想立方体を示す。この図は、特定のカテゴリについてのアプリケーション群が表示されている点を除いて、図３と類似である。ユーザが図３の「メール」カテゴリを選択すると、立方体のこの面に示されたアイコンがそのカテゴリ（図２Ｂを参照）に関連した様々なアプリケーションを表してよい。ここでは３行×３列、９つのアイコンのマトリクスを示すが、適切なあらゆる数のアイコンが同時に表示されてよい。マトリクスから利用可能な選択肢の数が立方体の１面に提示可能な数を超える場合、ユーザはスクロールの手法を用いてそれらの追加の選択肢を表示してよい。このようなスクロールを実行するには、次のような様々な技術が利用可能であるが、これらに限定されない。１）ディスプレイ１２０外部の制御、２）ディスプレイのスクロールバー、３）ディスプレイ上の、立方体とは別の触れることのできる１以上のアイコン、４）その他。

立方体の面の関連したアイコンに触れることで特定のアプリケーションが選択されると、アプリケーションが起動し、立方体がディスプレイから消えてよい。

立方体の回転させると、様々な決められた動作が起こるようにしてもよい。例えば、ある実施形態では、立方体を左右に回転させると必ず順に次のカテゴリへと移動し、最初または最後のカテゴリが表示されると元に戻る。上へ回転させると常に「ホーム」カテゴリへ戻ってよく、一方で下へ回転させると通常の回転では表示されない、別のカテゴリでは網羅されないその他のアプリケーションを含む「その他」カテゴリを作成してよい。ある実施形態では、回転の効果は現在ディスプレイに表示されているものに依存してよい。本発明の多様な実施形態の基本的な意図から離れることなく、その他多くの決められた動作が用いられてよい。上述の説明では、ユーザによる左右上下の４つの方向への動きの入力に従って、当該方向に仮想立方体を回転させることで新しい面を提示させたが、ある実施形態では、ユーザにその他の方向、例えば左上、右上、左下、右下等の斜め方向への入力を提供することで、それらの方向への回転を可能にしてよい。回転の入力が立方体の新たな面をもたらす際に、その方向に回転することによって物理的な立方体が新たな面をもたらし得る否かは問題ではない場合がある。

また、ユーザが４以上の方向への回転を思い描き易いように、表示される物体は一面の辺が４以上である仮想多面体であってよい。上述した立方体に関するすべての属性が、このような多面体に適用されてもよい。ある実施形態では、回転可能な各方向が何らかの方法で視覚的に示されてよく、同時にそれ以上の選択肢をもたらさない回転はその旨を示す、反応しない、および／またはエラー通知を示す。なお、ここでの回転「可能な」方向とは、その方向に回転させることで別の選択肢が利用可能であることを意味する。ある実施形態では、多面体の面に表示された直線の端のそれぞれは、多面体が回転可能な軸を示す。ある実施形態では、可能な回転の数に応じて面の辺の数が増減してよい。

＜関連ノードの動的クラスタリング＞
図１に示すような携帯型電子機器は、次のような様々な機能を実行してよいが、これに限定されない。１）典型的にいくつかの異なる無線技術のいずれかを用いて、ユーザが他者と通信することを可能にする、２）同じく典型的に様々な無線技術を用いて、機器が他の機器とユーザの関与なしに通信する、３）静止画または動画の撮影、４）マイクロフォンを介した音声の受信、５）機器の方向および／または動きおよび／または位置の判断、６）取得元にかかわらず情報の保存及び読み出しを行う、７）入力及び保存データの分析、８）ユーザへの情報の提示。これらの機能が組み合わされると、機器が利用可能な情報の量が非常に多くなり、機器がユーザに提示可能な情報の量も非常に多くなる。

複数の入力及びデータの多様な組み合わせを取得、分析、結合、及び操作することで単一の情報源からは直接的に取得することができない有用な情報の組み合わせを作成してよい。情報の一部は、確率、推定、及び動作履歴に基づいて不完全なデータから導き出されてよい。この間接的な情報が有用な程度に正確となるには、上述した確率、推定、及び動作履歴を用いて複数の情報源からのデータが組み合わされ、分析されるべきである。しかしながら、このような方法で処理される対象のデータは、目的及び利用可能なデータによって大幅に異なる場合がある。可能性のあるデータの全てと利用可能なアプリケーションの全てを網羅し、これらのうちの何に焦点をあてるかを決定することは、生じる情報の正確性と有用性に多大な影響を与え得る。

この問題の解決方法の一つとして、関連ノードの動的なクラスタリングの実行がある。ここでの「ノード」は、ソフトウェアアプリケーション、データ群、内部または外部サービス、センサーからの入力、通信リンク、これらを取得できる利用可能な方法、あるいは有用なデータまたは機能と認められるその他の様々な情報源であってよい。ノードは、クラスタ作成の目的である所望の結果に貢献するデータまたは機能を提供、あるいは少なくとも提供するであろうと見なされる場合に「関連」ノードであるとされる。「結果」とは、ユーザが特定の目的のために取得しようとする所望の情報群であり、ユーザの要求の有無にかかわらず、機器がその特定の目的のためにユーザにとって有用であると判断した情報を含んでもよい。さらに結果は、例えばスピーカーまたはヘッドフォン等の聴覚的および／またはタッチスクリーンやその他の点灯表示等の視覚的な方法でユーザに提示されてよいが、これらに限定されない。「クラスタ」とは、特定の結果を達成するために互いに関連すると見なされたノードの集合体である。クラスタが定義されると、そのクラスタの様々なノードは、ノード内部またはノード間でデータを収集、データを交換、データを処理、性能を共有して有用な結果を作成、及び関連データを対象にその他の操作を実行してよい。これらのやり取りが行われるノード間の具体的なインタフェースについては、本書の範疇に含まれない。

ユーザにとって関心のある結果は頻繁に変化し得る。このため、あらゆる具体的なクラスタは、作成され、必要に応じてそのノードの組成が変更され、最終的には削除されてよい。さらに、そのようなクラスタは同時に複数存在してよい。このクラスタリングにおけるノード流動性は、動的クラスタリングであると考えられるべきである。しかしながら、ある特定の結果に対するニーズは継続的または反復的であることから、いくつかのクラスタは、その存在および／またはノードの組成において、事実上永久的であると考えられてよい。

ある特定のクラスタを構成するノードの集合体は、ユーザによる指定及び自動の２つの異なる方法で決定されてよい。ユーザによる定義の方法では、ユーザはこのクラスタに関連すると考えられるノードを定義することで、積極的にクラスタを作成できる。この集合体は一から定義されてもよいが、定義を援助する、ユーザが利用可能なテンプレートがあってもよい。テンプレートの方法は、多くの種類の活動が複数のユーザに共通であることを認識していることから、予め基本的な関係が定義されていてよく、各ユーザが個人のニーズに応じて具体的な実装を調整してよい。

自動の方法では、関連すると考えられるノードを決定するように機器が分析を行い、ユーザによる指定を必要とすることなく、それらのノードをクラスタへと収集してよい。この分析の一部は、ステータス・アウェアネスに基づいて行われてよい。

また別の方法では、ユーザがいくつかのノードを定義し、その他のノードは機器によって指定されることで、ユーザによる定義と自動の方法とを組み合わせてよい。ある実施形態では、自動的に決定されたノードのいくつかをユーザが受け入れ、却下、または変更する選択肢を与えられてよい。このプロセスの例として、ユーザが別の都市への旅行を計画する例をあげる。ユーザが「遠い都市への旅行」と目的を指定すると、機器は、航空券、宿泊、及びレンタカーのオンライン予約が可能なノードを自動的に指定する。ユーザは、それらの予約を実行する特定のオンライン旅行サイトを選択することで、これを変更してよい。その後、ユーザは考慮要素として天気を指定してよく、機器は両都市及び経路の現在及び予報を含む天候を監視するノードを追加してよい。天候がユーザの旅程に影響が出る程に悪化した場合、機器は自動的にユーザへ通知を出すことができる。通知には天気図及び気象庁の予報が含まれてよい。スケジュールの変更が必要になった場合には、機器は予約ノードを用いて、ユーザが航空券、宿泊、レンタカーの予約を変更できるようにしてよい。ユーザまたは機器は、搭乗日に航空会社のウェブサイトを監視してユーザの利用便が定刻通りであるかを判断する、航空会社ステータスノードを指定してもよい。ユーザは行き先の都市での娯楽を計画できるノードを選択してもよい。機器は、インターネットを介して、旅行中にホテル近辺で利用可能なレストラン、画廊、劇場（上演時間及びチケット情報）、及びその他の場所についての情報を取得してよく、また機器がそれらの場所について、例えばチケットを予約したり、本屋に連絡をしたり、何らかの操作を行ってよい。ユーザがそれらの活動のスケジュールを変更する場合に備え、このノードは旅行が終了するまでアクティブなままであってよい。またユーザは、車で移動する場合に現在の道路状況をユーザに通知する交通情報ノードを選択してよく、関連性のある交通状況のみが知らされるように機器にユーザの現在位置を知らせる現在位置ノードを選択してよい。出発日には、航空会社ステータスノードがユーザの利用便が定刻通りのままであるかを知らせてよい。旅行が終了するとこれらの情報は不要になることから、クラスタ全体が消去されてよい。

ユーザによるクラスタの内容の定義には様々な技術が用いられてよい。ノード及び可能性のあるノードを提示する際に、機器はそれらを文字形式で表示してよい。例えば、サブノードは主要なノードの下にあってよい。異なるフォント、色、またはサイズを用いることで、選択されたノード、提案されたノード、必須のノード、オプションのノード等を区別してよい。

また、ノードはグラフィックス形式で提示されてよい。例えば、図５及び図６は、本発明の一実施形態における、クラスタを定義するグラフィックス形式を示す。上述の遠い都市への旅行の例において、旅行のためのクラスタの作成は、まず図５のディスプレイを呼び出す。主目的である「旅行」が中心の円に示され、「予約」、「娯楽」、「交通情報」及び「天気」の主要ノードは、中心の円に接続されたその他の円に示される。異なる色またはその他の視覚的なヒントを用いて、どのノードが選択されているまたは単に提案されているのか、どのノードが必須であるまたはオプションであるのか、どのノードが一次的であるまたは二次的であるのか等を示してよい。特定のノードに触れると、ユーザはそのノードに関連したまたは関連し得るその他のノードを提示されてよい。例えば、「予約」ノードに触れると、図６のようにノードが中心に配置され、接続されたサブノード、すなわち「航空会社」、「宿泊」、「レンタカー」及び図５で既に関連すると定義された上述の「旅行」ノードによって囲まれてよい。これらの円の１つに触れると、そのノードが関連した全てのノードに接続した状態で中心に配置されてよい。これは必要とされるノードの数だけ継続されてよい。ある実施形態では、予約の構造の定義と予約の実行とが１つのセッションで行われるよう、クラスタの構築プロセスと操作プロセスが組み合わされてよい。この実施形態のある時点では、ノードの選択が、クラスタの構築プロセスの外部となる何らかの動作を開始するアプリケーションへとつながってよい。ある実施形態では、クラスタの作成時に定義された構造が、後に、例えば予約の実行等、ユーザの入力を必要とするアプリケーションへ到達するために用いられてよい。図５のディスプレイを参照されたい。ユーザは、発着する空港への、または発着する空港からの現在の交通状況、及び宿泊日にホテル近辺を車で移動する際の現在の交通状況を知るべく「交通情報」ノードを選択してよい。交通情報が必要とされる時には、機器が常にその位置を認識しているように、「交通情報」ノードには「現在位置」機能が自動的に含まれていてよい。勿論、航空券予約及び宿泊予約が完了するまではいつどこの交通情報を収集するべきかが不明であるが、適切な時期に自動的にアクティベートされるように当初からノードが選択されていてよい。同様に、クラスタの「天気」ノード及び「娯楽」ノードも必要となる時期よりも早く選択されていてよい。クラスタを定義するノードの構造は、ユーザによって直接的に、または異なる構造が必要となる変更をユーザが行った場合に間接的に、いつでも変更され得る。また構造は、機器が構造の変化を必要とする情報を取得した場合に機器によって自動的に、いつでも変更され得る。同様に、たとえノードの構造に変化がない場合でも、特定の動作が変更を余儀なくされる場合がある。例えば、旅行の初日に悪天候によって到着空港が閉鎖された場合、機器はユーザにその旨を通知し、航空券、宿泊及びレンタカーの予約を変更するべく予約ノードを呼び出してよい。

接続された複数の円で具体的なグラフィックス形式を例示したが、関連データを収集及び分析することで有用な情報を取得し、その情報に基づいて動作を行うべく、関連ノードのクラスタを作成するという基本的なコンセプトから乖離することなく、上述の例に代えて、またはこれに加えてその他の形式が用いられてよい。

＜ステータスベースモダリティを有するユーザインタフェース＞
携帯型電子機器はユーザに有益な情報を大量に提供することが可能であるが、特定の結果を達成するために一度に有用なのは、その情報のうちのごく一部である場合が多い。十分な性能を持つ機器であれば、どの情報が有用であるか、どのようにその情報を取得するか、取得した情報をどのようにフィルタにかけ結合するか、及び結果をユーザにどのように提示するかを自動的に判断し得る。特に、ユーザへの情報の提示方法はいくつかの異なる形式をとってよく、どの形式が望ましいかは様々な考慮事項に応じて異なる。ユーザが特定の形式を指定してもよいが、ある実施形態では、機器が実際の及び推定された様々な条件に基づいて提示する方法を選択してよい。ここでのユーザへの情報「提示」は、インタラクティブであってよい。すなわち、機器からユーザへの情報の通信に加えて、ユーザがデータを入力または機器によって認識される特定の方法で反応してよく、さらには、ユーザによるこれらの動作が、次にどのデータが機器からユーザへ通信されるか及びどのように通信されるかに影響をあたえてもよい。例えば、携帯電話による通話等、機器を介した他者との通信は、通信の一部に音声が、あるいは動画が用いられ、いずれを用いるかはユーザの動作によって影響される例である。

情報は、例えば次のような様々な方法で提示されてよい。但し、これらに限定されることはない。１）音声（話し言葉、音楽、警報、その他の音等）、２）情景の写真画像または動画、３）表示された文字、４）表示されたＣＧ（アバター、漫画、表及びブロック図等）、５）これらまたはその他の提示方法の組み合わせ。様々な実施形態では、本書で既に定義された用語である、ステータス・アウェアネスに基づいて特定の提示方法が選択されてよい。望ましい提示方法に影響し得る要件は次を含んでよい。但し、これらに限定されることはない。１）ユーザの現在のその他の活動、２）ユーザのそれらの活動の重要性、３）提示する方法の他者への影響、４）現在の環境における各提示方法の有効性、５）その他。

例えば、電子機器がユーザに情報を提示する際に、ユーザが、物理的な動作、暗算、または少なくとも精神的な関心を必要とし、ある種類の提示方法の有効性を他の方法よりも低めるような別の動作に関与している場合がある。さらに、その別の動作を実行することの重要性は様々である。例えば、安全面の理由から、運転中に前方を注視することは非常に重要であり、動画の提示による邪魔は危険である。一方で、テレビの前で電子機器の動画を観ることは安全上の問題とはならない。

情報の望ましい提示方法には、その提示する方法が他者にどのような影響を与えるかの考慮が関与し得る。例えば、暗い劇場において、機器のディスプレイが明るいと周りの観客に迷惑をかけるが、薄暗いディスプレイではそうならない。同様に、静かな図書館において、機器のスピーカーを介した音声メッセージは周りの人に迷惑をかけるが、同じ音声であってもヘッドフォンを介せばそうならならず、一人で車を運転している場合には、いずれの音声の提示方法も他者に迷惑をかけることはない。ここでの「ヘッドフォン」とは、ユーザの耳または耳元に配され、周辺の人々には概して聞かれることのない、あらゆる種類の音声生成機器を含む。これには、イヤホン、イヤマフ型のヘッドフォン、クリップ型の片耳ヘッドフォン等が含まれてよい。

また別の考慮事項としては、提示方法が効果的であるかの可能性がある。機器のマイクロフォンが検知し得る環境雑音の程度が非常に高い場合、スピーカーを介した音声による情報の提示は聞こえにくいことがあり、また、機器前面の光センサーが検知し得る太陽光が強い場合、タッチスクリーン上の色が色褪せ、視覚的な提示が見難くなることがある。上述した状況下では、いずれの方法も効果的であるとは言えない。図７は、本発明の一実施形態における、ユーザへの情報提示方法を選択するプロセスのフローチャート図を示す。図示の例において、７１０では、機器が状況情報を取得する環境監視の継続的なプロセスを実行していてもよい（すなわちシチュエーショナル・アウェアネス）。７２０では、機器がユーザについてのコンテキスト情報を取得する継続的なプロセスを実行してもよい（すなわちコンテキスト・アウェアネス）。コンテキスト・アウェアネスはシチュエーショナル・アウェアネスによって影響され得ることから、７１０は７２０の入力として示す。両者は、情報の収集と格納の継続的なプロセスであり得ることから、７１０と７２０との間のループは継続的、反復的、または呼び出しに応じて繰り返されてよいが、多くの実施形態では、これが継続的でインタラクティブなデータ収集プロセスであってよい。これとは別に、７３０では、機器がいくつかの特定情報の必要性を判断してよい。

そのような要求は、今後の旅行の航空便情報の要求等のユーザからの直接的な要求、通信の処理方法を決定する必要性を引き起こす着信等の受信した通信の結果、または、ユーザが予定の通知を受けるべきであると機器が判断して関連情報を要求する等のより間接的な判断であってもよい。その他のシナリオが特定情報の必要性を生成してもよい。

７４０では、機器が必要な特定情報を取得してよい。機器は情報の取得に様々な機能を用いてよく、さらにはその状況および／またはコンテキストを認識する能力を用いて情報を取得してもよい。しかしながら、一旦情報が取得される、または少なくとも時宜に即して取得するように機器が設定されると、機器はその情報をユーザにどのように提示するかを判断しなければならない。これを実現するため、７５０では、機器がユーザの現在のステータスを分析してよい。この分析の少なくとも一部は既に７１０と７２０との間のループで実行されていてもよい。しかしながら、これは機器が提示する必要のある情報の種類を認識した後に７５０でさらに精密になってよい。

この分析に基づいて、７６０では、機器が望ましい提示方法を選択してよく、７７０では、機器が選択した方法によってユーザとの通信を開始してよい。しかしながら、ユーザがその方法による継続を望まない場合には、７８０で取り消ししてもよい。そのような場合には、機器は７６０で次に望ましい方法を選択し、その方法を継続してよい。また一方で、取り消しの動作の一部として次に望ましい方法をユーザが選択してよい。ユーザが取り消しを行わない場合には、提示方法は変更されないままでよい。

上述した詳細な説明は限定ではなく例示を目的としている。当業者は様々な変更例を着想し得るであろう。添付請求項の範囲によってのみ限定される本発明の様々な実施形態にそれらの変更例が含まれることが意図されている。

Claims (15)

1. タッチスクリーンを有する携帯型電子機器であって、
   関連した複数のノードのクラスタを生成し、
   前記クラスタの生成は、自動的に実行またはユーザによって定義され、
   自動的な実行は、前記ユーザからの介入なしにステータス・アウェアネスに基づいて複数のノードを分析することを含み、
   関連した複数のノードの前記クラスタの中の複数のノードのそれぞれは、関連した複数のノードの前記クラスタの中の前記複数のノードの内部または関連した複数のノードの前記クラスタの中の前記複数のノードの間で、データの収集、関連した複数のノードの前記クラスタの中の他のノードとのデータの交換、データの処理、性能を共有して有用な結果を作成、またはその他の操作の少なくとも１つを実行することで所望の情報を生成し、
   前記携帯型電子機器は、視覚的または聴覚的な手段を介して前記所望の情報を前記ユーザに提示し、
   前記携帯型電子機器は、前記複数のノードのうち主目的を示す主要ノードを、前記複数のノードのうち少なくとも一つのサブノードに接続された状態で、中心に配置することで、前記複数のノードを前記タッチスクリーン上に表示し、前記少なくとも１つのサブノードから１つのサブノードが選択されたことに対応して、前記１つのサブノードを前記１つのサブノードに関連する他のノードに接続した状態で、中心に配置することで、前記１つのサブノードおよび前記関連する他のノードを前記タッチスクリーン上に表示する、携帯型電子機器。
2. 前記複数のノードの少なくともいくつかは、ソフトウェアアプリケーション、データ群、内部または外部サービス、センサーからの入力、及び通信リンクからなる複数のノードのリストから選択される請求項１に記載の携帯型電子機器。
3. 前記複数のノードの少なくともいくつかは、前記携帯型電子機器のユーザによって特定される請求項１または請求項２に記載の携帯型電子機器。
4. 前記携帯型電子機器は、前記ユーザによる選択のために、前記複数のノードを前記タッチスクリーンに提示する、請求項１から請求項３のいずれか１つに記載の携帯型電子機器。
5. 前記複数のノードの少なくともいくつかは、ステータス・アウェアネスを用いて、前記携帯型電子機器によって自動的に特定される請求項１から請求項４のいずれか１つに記載の携帯型電子機器。
6. 携帯型電子機器を操作する方法であって、
   自動的にまたはユーザによって定義されることで関連した複数のノードのクラスタを作成する段階と、
   関連した複数のノードの前記クラスタの中の複数のノードをアクティベートする段階と、
   関連した複数のノードの前記クラスタの中の前記複数のノードの内部または関連した複数のノードの前記クラスタの中の前記複数のノードの間で、データの収集、関連した複数のノードの前記クラスタの中の他のノードとのデータの交換、データの処理、性能を共有して有用な結果を作成、またはその他の操作の少なくとも１つを実行することで所望の情報を生成する段階と、
   視覚的手段および聴覚的手段の少なくとも一方を介して前記所望の情報を前記ユーザに提示する段階と
   前記複数のノードのうち主目的を示す主要ノードを、前記複数のノードのうち少なくとも一つのサブノードに接続された状態で、中心に配置することで、前記複数のノードをタッチスクリーン上に表示する段階と、
   前記少なくとも１つのサブノードから１つのサブノードが選択されたことに対応して、前記１つのサブノードを前記１つのサブノードに関連する他のノードに接続した状態で、中心に配置することで、前記１つのサブノードおよび前記関連する他のノードを前記タッチスクリーン上に表示する段階と
   を備え、
   前記自動的に前記クラスタを作成する段階は、前記ユーザからの介入なしにステータス・アウェアネスに基づいて複数のノードを分析することを含む、
   方法。
7. ソフトウェアアプリケーション、データ群、内部または外部サービス、センサーからの入力、及び通信リンクからなる前記複数のノードのリストから少なくともいくつかのノードを選択する段階をさらに含む請求項６に記載の方法。
8. 前記携帯型電子機器のユーザが前記複数のノードの少なくともいくつかのノードを選択する段階をさらに含む請求項６または請求項７に記載の方法。
9. ステータス・アウェアネスを用いて、前記携帯型電子機器が自動的に前記複数のノードの少なくともいくつかのノードを選択する段階をさらに含む請求項６から請求項８のいずれか１つに記載の方法。
10. 前記作成する段階は、前記タッチスクリーンに前記複数のノードを提示する段階を含む請求項６から請求項９のいずれか１つに記載の方法。
11. コンピュータに
    自動的にまたはユーザによって定義されることで関連した複数のノードのクラスタを作成する段階と、
    関連した複数のノードの前記クラスタの中の複数のノードをアクティベートする段階と、
    関連した複数のノードの前記クラスタの前記複数のノードの内部または関連した複数のノードの前記クラスタの中の前記複数のノードの間で、データの収集、関連した複数のノードの前記クラスタの中の他のノードとのデータの交換、データの処理、性能を共有して有用な結果を作成、またはその他の操作の少なくとも１つを実行することで所望の情報を生成する段階と、
    視覚的手段および聴覚的手段の少なくとも一方を介して前記所望の情報を前記ユーザに提示する段階と、
    前記複数のノードのうち主目的を示す主要ノードを、前記複数のノードのうち少なくとも一つのサブノードに接続された状態で、中心に配置することで、前記複数のノードをタッチスクリーン上に表示する段階と、
    前記少なくとも１つのサブノードから１つのサブノードが選択されたことに対応して、前記１つのサブノードを前記１つのサブノードに関連する他のノードに接続した状態で、中心に配置することで、前記１つのサブノードおよび前記関連する他のノードを前記タッチスクリーン上に表示する段階と
    を実行させ、
    前記自動的に前記クラスタを作成する段階は、前記ユーザからの介入なしにステータス・アウェアネスに基づいて複数のノードを分析することを含む、
    プログラム。
12. 前記コンピュータに、ソフトウェアアプリケーション、データ群、内部または外部サービス、センサーからの入力、及び通信リンクからなる前記複数のノードのリストから少なくともいくつかのノードを選択する段階を実行させることをさらに含む請求項１１に記載のプログラム。
13. 前記コンピュータに、電子機器のユーザが前記複数のノードの少なくともいくつかのノードを選択する段階を実行させることをさらに含む請求項１１または請求項１２に記載のプログラム。
14. 前記コンピュータに、ステータス・アウェアネスを用いて、電子機器が自動的に前記複数のノードの少なくともいくつかのノードを選択する段階を実行させることをさらに含む請求項１１から請求項１３のいずれか１つに記載のプログラム。
15. 前記作成する段階は、前記ユーザによる選択のためにタッチスクリーンに前記ノードを提示する段階を含む請求項１１から請求項１４のいずれか１つに記載のプログラム。

Images