JP2009505261A - シンボリック表現空間を使用してデータにアクセスするための方法及び装置 - Google Patents

Abstract

シンボルのｎ次元アレイを使用してデータアイテムを閲覧する方法であって、ｎは１以上であり、シンボルのそれぞれは少なくとも１つのデータアイテムに対応する、閲覧する方法は、ｎ次元アレイを通って移動可能であり且つシンボルが配置されていない箇所を含むアレイにおけるポイントを選択することができる選択手段を使用し、閲覧する方法は、選択手段のロケーションに従って少なくとも１つのシンボル及び対応するデータアイテムを選択することを含む。

Description

本発明は、画像及びビデオクリップ等の非常に大量のデータの閲覧及びそれらデータへのアクセスを行うための方法及び装置に関する。

画像又はビデオ等のデータのセットを閲覧する目的で使用できる最も単純な方式は、一時に１つ又は２つ以上のアイテムをユーザに示し、何らかの方向制御を使用して、アイテム又は対象が特定されるまでユーザが次のアイテム又は前のアイテムに移動することを可能にすることである。しかしながら、このような単純な線形ナビゲーション方式は、高機能デジタルカメラ又はスマートデジタルビデオ記録／編集システム等の現代のデジタル画像機器及びデジタルビデオ機器の状況においてはますます柔軟でなくなってきている。

２００２年１０月３日に公開されたHEWLETT-PACKARD COMPANYのGargiによる米国特許出願公開第２００２／０１４０７４６号明細書の「Image Browsing using Cursor Positioning」では、画像の閲覧のための方法が提示されている。この発明によれば、利用可能な画像のサブセットが、画像スタックとしてユーザに提示される。画像スタックは、部分的にオーバーラップした一連の画像である。カーソル又はポインタをスタック画像上にホバリングすることによって、個々のスタック画像が、アクティブになり、たとえば、スタックの上方に「上昇」されることにより又はディスプレイの別のエリアに表示されることにより全体が見えるようになる。その後、ディスプレイの別のエリアで「永続的」に観るために、すなわちポインタのカーソル位置に関係なく観るために、アクティブなスタック画像を選択することができる。ユーザが、そのスタック内で対象となる画像を特定しない場合、ユーザは、次のスタック又は前のスタックに移動することができる。したがって、任意の一時点においてディスプレイユニット上に配置できる画像の個数を増加させるには、この発明は、スタックの画像の部分的オーバーラップに依存するところが大きい。オーバーラップの範囲は、この発明のユーザが、スタックの全体のコンテンツを検討でき、そしてさらに、それら画像上にカーソル又はポインタをホバリングすることによって対象とすることができる画像のみを調べることができるようなものでなければならない。この要件によって、画像のオーバーラップの範囲には大きな制約条件が課せられる。たとえば、同一のサイズの３つの画像の全体を標準的に表示できるディスプレイユニットを仮定する。この場合、画像スタックを形成するために各画像を前の画像の下に４０％だけ「隠す」ことによって、２つの画像分だけディスプレイユニットの容量が増加し、容量が合計５つの画像に上昇する。したがって、１０００画像を保持できるデジタルカメラデバイスの場合、ユーザは、画像を特定するために、最大２００個までの個別のスタックにアクセスすることが必要な場合がある。オーバーラップの量を増加させることによって、画像スタックの個数は削減されるが、この場合、ユーザは、単一のビューで各スタックのコンテンツを検討することができなくなり、スタック画像のすべてではないにしてもほとんどの上にカーソルをホバリングしなければならなくなる。さらに、米国特許出願公開第２００２／０１４０７４６号明細書によれば、ユーザは、すべての画像のディレクトリツリーを手動で作成して維持することができ、その後、ツリーの特定の部分の画像スタックを閲覧することができる。しかしながら、これは、スタックの急増の問題を単に或る程度軽減するだけである。たとえば、前の例によれば、１００画像のディレクトリによって、２０個の画像スタックが生じるが、これは依然として効率的な閲覧には多すぎる。より詳細なディレクトリツリーによって、この問題はさらに軽減されるが、これによって、他の多数の問題が生じる。まず、実際の画像データを効率的に表示してナビゲーションする問題が、ディレクトリツリーそのものを効率的に表示してナビゲーションする問題に置き換えられる。加えて、このようなディレクトリツリーを手動で作成して維持することは、ユーザにとって面倒である。さらに、ユーザが何度も新しい画像を取り入れて古い画像を削除し、既存のディレクトリツリーが画像データを十分に表していないと判断した場合には、ユーザはディレクトリツリーを手動で作成し直さなければならないことはほぼ確実である。さらに、精巧なディレクトリツリーを作成するには、ユーザは、画像データを異なるサブディレクトリ及びカテゴリーに分離する必要があり、この時、実際には、画像データは、複数の方法で編成される場合があり、カテゴリー間の境界は通例明確でない。したがって、この発明は、単純な線形ナビゲーション方式を改善するが、限られた方法でしか改善しない。

２００３年５月８日に公開されたHEWLETT-PACKARD COMPANYのStavely及びBattlesによる米国特許出願公開第２００３／００８６０１２号明細書の「Image Browsing User Interface Apparatus and Method」では、画像の閲覧用の別の方法が提示されている。この発明によれば、画像は、個別画像及び画像のグループに編成される。ここで、画像のグループは、ビデオのすべてのフレーム又は単一のバーストでキャプチャされたすべての画像を含むこともできるし、ユーザ定義とすることもできる。画像の各グループは、好みの画像によって代表される。この好みの画像は、自動的に又は手動で決定することができる。個別画像及び好みの画像によって、１次画像（primary image）のセットが生じる。閲覧の目的で、ディスプレイユニットは、グリッドにサムネイルのセットを表示することができ、たとえば、３×３のグリッドに９つのサムネイルを表示することができる。たとえば中央水平列のサムネイルといった一定方向の１列によって、１次画像が表示され、ユーザは、横方向制御ボタンを使用して、或る１次画像から次の１次画像又は前の１次画像に移動することができる。現在の１次画像が個別画像ではなく或るグループの好みの画像である場合、その好みの画像の上又は下にサムネイルが「ハング」され、ユーザは、縦方向制御ボタンを使用してグループの画像を通って移動することができる。１つの代替的な実施の形態では、ユーザは、縦方向制御ボタンを使用して、単にグループの「内外に移動」し、横方向制御ボタンを使用して、１つのグループの画像を通して移動する。したがって、この方法も、単純な線形ナビゲーション方式に対する改善は限られる。対象となるデータを特定するために、ユーザは、１次画像リスト全体を通って移動しなければならない場合があり、場合によっては、１つ又は２つ以上の画像グループの一部を通って移動しなければならない場合がある。画像グループの作成は、ナビゲーションの効率を向上させることができるが、ナビゲーションの期間中に節減される時間は、ユーザ定義のグループの手動による作成及び維持に費やされ、この作成及び維持は、データが時間と共に変化すると何度も繰り返す必要がある面倒なプロセスである。さらに、前述したように、画像のグループ化は、一定の状況では有益な場合があるが、このような分離が実際には実現可能でも望ましくもない場合であっても、ユーザはデータの厳密な分離を行う必要がある。

２００２年６月２０日に公開されたEASTMAN KODAK COMPANYのRosenzweig及びPrabhuによる米国特許出願第２００２／００７５３２２号明細書の「Timeline-Based Graphical User Interface for Efficient Image Database Browsing and Retrieval」では、画像の閲覧のための別の方法が提示されている。その閲覧方法は、少なくとも３つのレベルを有する階層的なものである。最上位レベルは、画像のキャプチャの時間に従って作成された画像グループを含み、たとえば、キャプチャの年に従って作成された画像グループを含む。それらのグループは、１次元時間軸で編成される。各グループはアイコンによって表され、アイコンのサイズは、そのグループの画像の個数に比例する。グループのうちの１つを選択することによって、ユーザは、２番目のレベルに移動し、たとえばキャプチャの月に従った別の１次元時間軸上に、選択されたグループをサブグループに分割したものを見ることが可能になる。この場合も、これらのサブグループはアイコンによって表され、そのサイズは、そのサブグループの画像の個数に比例する。また、２番目のレベルでは、オンボードＧＰＳによって作成されたメタデータ又は手動で入力されたメタデータに基づくキャプチャのロケーション、再び自動的に又は手動で作成されたメタデータに基づく映像内の対象となる人々等の、他の１次元順序表示メタファを作成するための他のグループ化の基準を使用することもできる。次に、サブグループのうちの１つを選択すると、その結果、そのサブグループの構成画像がサムネイルとしてグリッドに表示される場合もあるし、或る基準に従ってサブグループのさらにサブグループの３番目の表示メタファが表示される場合もある。この表示は、それよりも下位のさらに別の表示メタファを有する場合があり、以下同様である。さらに、ユーザは、任意のポイントで階層の横断の停止を決定することができ、所与のグループ又はサブグループのすべての画像をスクリーンに簡単に表示することができる。したがって、この発明により、ユーザは、複数の基準に従い、画像のセットを階層的に分解したものを使用して、画像のセットをナビゲーションすることが可能になる。複数の基準は、一時点でひとつの基準が使用され、「キャプチャのデータ／時間」基準から開始される。単純な線形ナビゲーションプロセスは改善されるが、この方法には一定の欠点がある。階層的な分解を達成するために、画像を異なるカテゴリーに分離しなければならず、この時、実際には、画像データは複数の方法で編成される場合があり、カテゴリー間の境界は通例「ファジー」である。たとえば、キャプチャの時間によるカテゴリー化、すなわち、０６：００〜１２：００の画像について１つのカテゴリー、１２：００〜１８：００の画像について１つのカテゴリー等は、高度に人工的であり、その結果、正午前後の単一のセッションでキャプチャされた画像が、２つの異なるカテゴリーに分割されることになる。同様に、画像が描写する人によるカテゴリー化、すなわち、人１について１つのカテゴリー、人２について１つのカテゴリー等は、何人の人々が画像、背景等にいるかを考慮しない。他方、階層が含むカテゴリーが少なすぎると、階層は、単純な線形ナビゲーション方式に対して大幅な改善を提供しないことになる。

２００３年３月２５日のFlashPoint Technology Inc.のAndersonによる米国特許第６５３８６９８号明細書の「Method and System for Sorting Images in an Image Capture Unit to Ease Browsing Access」では、画像の閲覧のための別の方法が提示されている。その方法も、画像のグループ化に基づいて単純な線形ナビゲーション方式を拡張したものである。より具体的には、この発明は、キャプチャの時間、画像にキャプチャされた出来事等、自動的に又は手動で作成されたメタデータによる利用可能な画像データのグループ化に依拠している。さらに、画像は、シーケンスでユーザに提示され、ユーザは、或る画像から次の画像又は前の画像へナビゲーションすることもできるし、或るグループから次のグループ又は前のグループへジャンプすることもできる。前述したように、このような手法に関連した１つの問題は、画像のグループ化が、一定の状況では有益な場合があるが、このような分離が実際には実現可能でも望ましくもない場合であっても、ユーザはデータの厳密な分離を行う必要があるということである。加えて、たとえ画像のグループ化が成功したとしても、対象となるデータを特定するために、ユーザは、グループリスト全体を通って直線的に移動しなければならない場合があり、場合によっては、１つ又は２つ以上の画像グループの一部を通って移動しなければならない場合がある。

本発明は、上記で概説した従来技術の問題に対処するものである。

本発明の態様は、添付の特許請求の範囲に提示されている。

本発明の一実施の形態は、画像又はビデオ等のデータのセットが与えられると、シンボルを使用してデータ又はデータのグループを表すことと、シンボルをシンボリック表現空間に配置すると共に、このシンボリック表現空間をユーザに表示することと、ユーザがシンボリック表現空間の任意の部分にポインタ又はカーソルを移動させることを可能にすることと、ユーザ入力を受け取ると、又は自動的に、シンボリック表現におけるカーソルの位置に基づいて、関連があると考えられるシンボルをマーキングすることと、ユーザ入力を受け取ると、又は自動的に、好ましくはシンボリック表現空間と共に、強調表示されたシンボルに対応するデータを表示することを含む。

本発明の実施の形態の利点は、データのグローバル表現を見ることと、非線形形式で特定のデータにアクセスすることと、グローバル表現空間の視野を失うことなく対象のデータを突き止めて見ることと、ユーザがこの方法及び装置に精通するにつれて、ユーザの閲覧の容易さ及び速度をさらに増加させるために、上記グローバル表現及びデータ間の相互関係を容易に知ることとをユーザに可能にすることを含む。本発明は、特定の対象のデータを素早く特定して見ることをユーザに可能にするために、利用可能なすべてのデータを表示するのに、システムのディスプレイユニットの能力が十分でないときに特に役立つ。

添付図面を参照して本発明の実施形態を説明することにする。

本発明の一実施形態では、閲覧されるデータのセットには、画像又はビデオセグメント等のビジュアルデータが含まれる。たとえば、本発明は、デジタル画像及び／又はビデオのカメラ内で実施されて、ユーザがキャプチャしてカメラのメモリに記憶する画像及び／又はビデオの効率的な閲覧を可能にすることができる。別の例として、本発明は、デジタルビデオレコーダ等のインテリジェントデジタルビデオ編集装置内で実施されて、ビデオの集合体又は単一のビデオの異なるセグメントの集合体の効率的な閲覧を可能にすることができる。しかしながら、これらの例は、例示の目的でのみ与えられているにすぎず、本発明の範囲を決して限定するものでないことに留意すべきである。

例示の目的で、本明細書は、ビジュアルデータの表現及び閲覧に集中している。しかしながら、当業者は、本発明が、オーディオデータ若しくはオーディオ・ビジュアルデータ又はデータタイプの混合したもの等、他のタイプのデータの閲覧にも使用できることを理解するであろう。

データアイテムは、シンボルを使用して表される。シンボルが何であり得るかについての制限はない。たとえば、本発明の一実施形態では、シンボルは、任意の色の単一のピクセルである。本発明の別の実施形態では、シンボルは、任意の色の任意の構成のピクセルのグループである。本発明のさらに別の実施形態では、シンボルはピクセルのグループであり、好ましくはコンパクトな構成であり、その色（複数可）は、そのシンボルが表す画像データアイテム又はビデオデータアイテムの主要色（複数可）を表す。ビデオデータアイテムの場合、主要色（複数可）は、たとえば最初のフレーム若しくはキーフレームといった単一のフレームに関係することもできるし、複数のフレームに関係することもできるし、ビデオ全体の主要色（複数可）とすることもできる。本発明のさらに別の実施形態では、シンボルは、そのシンボルが表す画像データアイテム又はビデオデータアイテムのサブサンプリングバージョン又はサムネイルバージョンである。ビデオデータアイテムの場合、サムネイルは、（たとえば最初のフレーム又はキーフレームといった）ビデオの単一のフレームに対応することもできるし、複数のフレームのモザイクとすることもできるし、ビデオアイテムそれ自体とすることもできる。本発明のさらに別の実施形態では、シンボルは、所望の意味を暗示するアイコン又はグラフィックである。

同じように、シンボルは、データアイテムのグループ全体を表すのに使用することもできる。

シンボルを使用して複数のデータアイテムを含むデータセットを表す際に、本発明の異なる実施形態は、単一のシンボルタイプ又は複数のシンボルタイプを使用することができる。

シンボルの主目的は、本発明のユーザにデータセットの効率的な提示を可能にすることである。したがって、シンボルは、実際には、それらシンボルが表すデータに取って代わることはないが、たとえばメタデータとしてデータと共存する。本発明の好ましい一実施形態では、たとえばグラフィカルアイコン又は主要色ピクセルグループといったシンボルのタイプ（複数可）と、たとえば大小といったシンボルのタイプ（複数可）の特定の具体的な形とが、ユーザへのデータセットの効率的な提示を容易にするために、手動で且つ／又は自動的に選ばれ且つ／又は調整される。

ユーザへのデータセットの提示は、シンボリック表現空間を介して達成される。このシンボリック表現空間は、データアイテムを表すシンボルのｎ次元空間配置である。ここで、ｎ≧１である。

本発明の一実施形態では、シンボリック表現空間のデータシンボルの配置は、たとえば各データアイテムと少なくとも１つの他のデータアイテムとの間の類似度のような、データアイテム間の相互関係に部分的又は全面的に依存する。

図１は、データアイテム間の相互関係に全面的に依存する２次元シンボリック表現空間１０を示している。この説明図では、２つのシンボルタイプが使用されている。すなわち、小さな円形２０及び小さな方形３０が使用されている。本発明の一実施形態では、このようなシンボリック表現空間は、以下のように作成することができる。

まず、データアイテムが、適切な自動アルゴリズムによって解析されて、各オブジェクトの数値的記述が抽出される。たとえば、画像及びビデオの場合、これらの記述は、映像の色、テクスチャ、又は他の視覚的特徴を解析することによって得ることができる。次に、この数値的記述に基づいて、シンボリック表現を導出することができる。たとえば、この記述の値は、表現空間の座標として使用することができる。表現の次元が記述の次元よりも小さい場合には、主成分解析（ＰＣＡ）等の数学的技法を適用して、次元を所望の程度まで減らすことができる。

各アイテムの数値的記述を表現空間に直接組み込むことに代わるものとして、記述をさらに処理して、最も顕著な相互関係を抽出することができる。一手順では、複数のデータアイテム対の間の比較の結果を表す数値が計算される。たとえば、数値的記述が視覚的特徴を捕えている場合、各数値は、２つの画像の視覚的類似度を表す。類似度は、データアイテムの記述又はタイプに最も適している方法によって計算することができる。

次に、データアイテムの１セットについて、これらの比較結果を次に正方行列に配置することができる。この正方行列は、アイテム間の相互関係についてのすべての情報を符号化したものである。さまざまな数学的技法を使用して、この種の行列を解析し、適切なシンボリック空間における各アイテムの座標を生成することができる。その結果生成されたシンボリック空間は、或る意味で、類似度データに関して最適であるアイテムのビューを捕らえている。このようなアルゴリズムの例には、多次元尺度構成法（ＭＤＳ）、自己組織化マップ（ＳＯＭ）、及びラプラシアン固有マップ（Laplacian Eigenmap）が含まれる。

セットへのアイテムの追加又は表現の効率的計算を可能にする、この手順の拡張は可能である。

上記で概説した方法の例は、代理人参照番号Ｊ４７８５９ＥＰの「Mutual-Rank Similarity Space for Navigating in Image Databases」という発明の名称の本発明者らの同時係属中の出願に記載されている。この出願の内容は、参照により本明細書に援用される。

この実施形態におけるデータシンボルの配置は、それらデータシンボルの基礎となるデータアイテム間の相互関係にのみ依存するので、空間におけるシンボルの絶対的位置は重要ではないが、それらシンボルの互いに対する相対的な位置は重要であることに留意されたい。この理由により、図１のシンボリック表現空間には軸がない。

本発明の別の実施形態では、シンボル表現空間におけるデータシンボルの配置は、たとえば平均強度レベル又はキャプチャ時刻といった各データアイテムに関する一定のメタデータ又は情報の値に部分的又は全面的に依存する。

図２は、各データアイテムに関する一定のメタデータ又は情報の値に全面的に依存する２次元シンボリック表現空間４０を示している。この説明図では、３つのシンボルタイプが使用されている。すなわち、画像データを示すグラフィカルアイコン７０、ビデオデータを示すグラフィカルアイコン８０、及び画像データ又はビデオデータのマイクロサムネイル９０が使用されている。ｘ（横）軸５０及びｙ（縦）軸６０をマッピングできるメタデータには非常に多くのものがある。これらのメタデータには、画像又はビデオのキャプチャ時刻、たとえばフィルム内での特定のシーンといった、ビデオ内でのより小さなビデオセグメントの時間的位置、画像又はビデオの平均強度若しくは平均色調又は主要強度若しくは主要色調、ビデオの時間的アクティビティ等が含まれるが、これらに限定されるものではない。このようなスカラーメタデータタイプに加えて、非スカラーメタデータも、スカラー上にマッピングすることができ、その後、一つの軸上にマッピングすることができる。たとえば、出来事（誕生日、結婚記念日、祝日等）に従った画像データのカテゴリー化は、値１、２、３等のスカラー「Occasion（出来事）」上に内部でマッピングすることができる。このスカラー「Occasion」は、次に、或る軸上にマッピングすることができる。このようなカテゴリー化は、それ自体、閲覧システムの理想的な基礎を形成するものではないが、このカテゴリー化が有用となり得る状況がある。データアイテムについてのメタデータの作成メカニズムに関して、制限はない。たとえば、このようなメタデータについて、たとえばキャプチャ時刻は、データアイテムの作成時に自動的に作成することができ、たとえば色記述子は、後の時点に自動的に作成することができ、たとえば出来事の記述は、ユーザが手動で入力することができる。

本発明のさらに別の実施形態では、シンボリック表現空間のデータシンボルの配置は、所望の視覚的配置を達成するために、システムのユーザ及び／又は設計者の制約条件、ルール、及び案内に部分的又は全面的に依存する。

図３は、シンボルの特定の視覚的な配置及び分離を達成することを目的とする２次元シンボリック表現空間１００を示している。この説明図では、単一のシンボルタイプが使用されている。すなわち、データアイテムのためのアイコン１１０が使用されている。このような配置では、通例、シンボルの絶対的位置及び相対的位置に結びついた意味的重要性が存在するが、これはそうである必要はない。

本発明の代替的な実施形態では、シンボリック表現空間のデータシンボルの配置は、複数の基準に部分的又は全面的に依存し得る。これらの複数の基準には、データ相互関係並びに／又はメタデータ値並びに／又はユーザ／設計者特有のルール、制約条件、及び案内が含まれるが、これらに限定されるものではない。

図４は、本発明の一実施形態による閲覧装置を示している。この閲覧装置は、ディスプレイ１２０、コントローラ１３０、プロセッサ（図示せず）、及びデータアイテムを記憶するストレージ（図示せず）を備える。シンボリック表現空間及びその構成データアイテムは、２次元ディスプレイ１２０上に表示される。本発明の一実施形態では、ポインタ又はカーソルは、コントローラ１３０を介して制御される。コントローラ１３０は、ナビゲーションボタン１４０〜２１０及び選択ボタン２２０〜２４０を備え、ポインタ又はカーソル２５０を制御する。本発明の異なる実施形態では、コントローラ１２０は、異なる個数のナビゲーションボタン及び選択ボタンを備えることができる。本発明の他の実施形態では、マウス、ペンデバイス、トラックボール等の、ポインタを制御する他の手段によってコントローラ１３０を代替することができる。本発明の他の実施形態では、コントローラ１３０又はその等価なものは、ポインタもカーソルも制御しないが、ユーザが、たとえばデータシンボル又はデータアイテムといった或る表示されたアイテムから別の表示されたアイテムへ移動することを可能にする。

図５〜図８は、本発明による閲覧の第１の例を示している。より具体的には、図５は、図１のシンボリック表現空間１０をディスプレイ１２０上でユーザにどのように提示できるかを示している。ユーザは、カーソルを制御することによって、シンボリック表現空間の異なる部分にナビゲーションすることができる。図６に示すように、カーソルが一定時間量の間静止して保たれると、カーソルに最も近いデータシンボル２６０は、たとえば、それらデータシンボルの色を変更することによって強調表示される。この一定時間量は、ユーザ制御とすることができる。オプションとして、カーソルに最も近いデータシンボルは、たとえば、そのデータシンボルの周りに長方形を描くことによっても特別に強調表示することができる。強調表示されるデータシンボルの総数は、ユーザ制御とすることができる。本発明の別の実施形態では、データシンボルは、一定時間量の間カーソルを静止して維持することに代えて又はこれに加えて、コントローラの適切な選択ボタンを使用することにより強調表示することができる。いずれにしても、ユーザは、強調表示されたシンボルが対応するデータアイテムを、たとえば画像サムネイル又はビデオサムネイルとして見ることができる。これは、データシンボルが強調表示された後さらに一定時間量の間カーソルを静止して保つことにより、且つ／又は、コントローラの適切な選択ボタンを使用することにより、達成することができる。本発明の一実施形態では、データアイテムは、シンボリック表現空間を置き換えてもよい。本発明の好ましい一実施形態では、データアイテムは、シンボリック表現空間と共にユーザに示される。この一例は図７に示されている。図７では、データアイテムの大きなサムネイル２７０が、シンボリック表現空間によって占有されていないディスプレイのエリアに表示されている。代替的に、データアイテムは、シンボリック表現空間表示領域とオーバーラップすることもできる。別の例が図８に示されている。図８では、データアイテムをより大きく且つ／又はより多くユーザに表示することを可能にするために、シンボリック表現空間表示領域が縮小されている。データアイテムは、任意の形式で配列することができる。たとえば、カーソルに最も近いシンボルのデータアイテムを最初に表示することができ、それに続いて、最初のデータアイテムのシンボルにシンボルがどれだけ近いかに応じて、他のデータアイテムを表示することができる。オプションとして、データシンボルをデータアイテムにリンクすることができる。これはたとえば、各データシンボル及びその対応するデータアイテムの周りに異なる色の長方形を描くことによってなされる。いずれにしても、ユーザは、シンボリック表現空間のナビゲーションを続けることができ、その結果、新しいデータシンボルが強調表示され、新しいデータアイテムが前のデータアイテムの場所に表示される等が行われる。どの時点においても、ユーザは、適切な選択ボタンを使用することによって、シンボリック表現空間からデータアイテムへカーソルの対象を変更することができる。次に、ユーザは、現在表示されているデータアイテムからデータアイテムを選択することができ、それによって、選択したデータアイテムをフルスクリーンで見て、選択したデータアイテムを外部メモリデバイスへ転送する等を行う。その後、カーソルの対象をシンボリック表現空間へ再び変更することによって、ユーザが、上記空間のナビゲーションを続けることが可能になり、他のデータアイテムを見ることが可能になる。

図９に示すように、本発明の一実施形態では、強調表示されたシンボル２８０が、自身のサイズ及び／又は個数によって単一のスクリーンに表示されることが妨げられるデータアイテムに対応する場合、それらデータアイテムのサブセットを最初に表示することができ、ユーザは、その後、別のサブセットの表示等を要求することができる。これは、たとえば、ユーザがカーソルの対象をデータアイテムに変更し、次に、特殊ナビゲーションアイコン２９０及び３００のうちの一方を選択することによって達成される。

本発明の一実施形態では、ズームイン／アウト及びパン等のシンボリック表現空間上での単純なオペレーションを行うこともユーザに可能にすることができる。これは図１０に示されている。図１０では、ズームインオペレーションが行われており、特殊ナビゲーションアイコン３１０、３２０、３３０、及び３４０によって、ユーザはパンを行うことが可能になる。

前述したように、シンボルは、個別のデータアイテムだけでなくデータアイテムのグループを表すのにも使用することができる。グループシンボルは、データシンボルと同様に、任意のタイプとすることができるが、本発明の好ましい一実施形態では、グループ用のシンボルは、データアイテムシステムと或る点で異なる。これは図１に示されている。図１では、シンボル３０が、データアイテムのグループを表すのに使用され、個別データアイテムを表すのに使用されるシンボルとは異なっている。図１１では、カーソルに近い強調表示されたデータシンボル３５０がグループシンボルを含む。この場合、ユーザには、そのグループのデータアイテムのうちの１つ若しくは２つ以上、又は、そのグループのデータアイテムの一部若しくは全部のモザイクを示すことができる。この説明図では、モザイク（最上部の映像）が、データ表示領域３６０において、他の強調表示されたシンボルに対応するデータアイテムのサムネイルと共にユーザに示されている。

加えて、本発明の一実施形態では、ユーザは、グループシンボルを、その構成データアイテムのシンボル及び／又はサブグループのシンボルに展開することができる。本発明の一実施形態では、この展開は、図１２に示すように、現在のシンボリック表現空間で行われる。図１２では、１０個のシンボル３７０がグループシンボルに取って代わっている。本発明の別の実施形態では、この展開は、古いシンボリック表現空間に取って代わる、グループ用の新しいシンボリック表現空間で行われる。この新しいシンボリック表現空間は、グループシンボルを含むシンボリック表現空間と同じタイプの場合もあるしそうでない場合もあり、グループシンボルを含むシンボリック表現空間と同じ配置基準を使用している場合もあるしそうでない場合もある。

図１３〜図１６は、本発明による閲覧の第２の例を示している。より具体的には、図１３は、図２のシンボリック表現空間４０をディスプレイ１２０上でユーザにどのように提示できるかを示している。ユーザは、カーソルを制御することによって、シンボリック表現空間の異なる部分にナビゲーションすることができる。図１４に示すように、且つ前の例と同様に、データシンボル３８０は、カーソルがユーザ調整可能な一定時間量の間静止して保たれた時、且つ／又は、コントローラの適切な選択ボタンを使用することにより、強調表示される。この説明図では、カーソルに最も近いシンボルが、その上の２つのシンボル及びその下の２つのシンボルと共に強調表示されている。しかしながら、強調表示されるデータシンボルの総数及びそれらシンボルのロケーションは、ユーザ制御とすることができる。いずれにしても、ユーザは、データシンボルが強調表示された後、さらに一定時間量の間カーソルを静止して保つことにより、且つ／又は、コントローラの適切な選択ボタンを使用することにより、強調表示されたシンボルが対応するデータアイテムを見ることができる。本発明の一実施形態では、データアイテムは、シンボリック表現空間に取って代わることができるが、本発明の好ましい一実施形態では、データアイテムは、シンボリック表現空間と共にユーザに示される。この一例は図１５に示されている。図１５では、データアイテムの大きなサムネイル３９０が、シンボリック表現空間によって占有されていないディスプレイのエリアに表示されている。代替的に、データアイテムは、シンボリック表現空間表示領域とオーバーラップすることができる。別の例が図１６に示されている。図１６では、データアイテムをより大きく且つ／又はより多くユーザに表示することを可能にするために、シンボリック表現空間表示領域が縮小されている。データアイテムは、任意の所定の且つユーザ調整可能な形式で配列することができる。オプションとして、たとえば、各データシンボル及びその対応するデータアイテムの周りに異なる色の長方形を描くことによって、データシンボルをデータアイテムにリンクすることができる。いずれにしても、ユーザは、シンボリック表現空間のナビゲーションを続けることができ、その結果、新しいデータシンボルが強調表示され、新しいデータアイテムが前のデータアイテムの場所に表示される等が行われる。どの時点においても、ユーザは、適切な選択ボタンを使用することによって、シンボリック表現空間からデータアイテムへカーソルの対象を変更することができる。次に、ユーザは、現在表示されているデータアイテムからデータアイテムを選択することができ、それによって、選択したデータアイテムをフルスクリーンで見て、選択したデータアイテムを外部メモリデバイスへ転送する等を行う。その後、カーソルの対象をシンボリック表現空間に再び変更することによって、ユーザが、上記空間のナビゲーションを続けることが可能になり、他のデータアイテムを見ることが可能になる。

前の閲覧例について図９〜図１２に従って解説したさまざまな拡張及び変更が、ここでも同様に適用される。

図１７〜図２１は、本発明による閲覧の第３の例を示している。より具体的には、図１７は、図３のシンボリック表現空間１００をディスプレイ１２０上でユーザにどのように提示できるかを示している。

このシンボリック表現空間は、映画等のビデオのコンテンツを閲覧することに特に役立つが、これに限定されるものではない。シンボリック表現空間のシンボルのそれぞれは、階層の或るレベルにおけるビデオセグメントを表している。これは、図１８を用いて最もよく示される。図１８は、シンボルの配置の意味的重要性を示している。図１８と共に図１７を見ると、領域１内のシンボルは、閲覧中のビデオ全体に対応する。領域２Ａ〜２Ｈ内のシンボルは、ビデオの異なるセグメントに対応する。２Ａのシンボルは、ビデオの開始から或る時点までのセグメントに対応し、２Ｂのシンボルは、２Ａのシンボルによって表されるセグメントの終了から別の時点までのセグメントに対応し、以下同様に対応する。次に、領域３Ａ〜３Ｈのそれぞれは、領域２Ａ〜２Ｈのそれぞれのシンボルによって表されたセグメントのセグメントにそれぞれ対応する４つのシンボルを含む。たとえば、領域３Ａでは、左上のシンボルは、２Ａのシンボルによって表されたセグメントの第１のセグメントに対応する。次に、右上のシンボルは第２のセグメントであり、左下のシンボルは第３のセグメントであり、右下のシンボルは第４のセグメントである。同様の関係は、領域３Ｂと２Ｂとの間、領域３Ｃと２Ｃとの間等にも当てはまる。次に、領域４Ａ〜４Ｈのそれぞれは、領域３Ａ〜３Ｈのそれぞれの４つのシンボルによって表されたセグメントのセグメントにそれぞれ対応する１６個のシンボルを含む。たとえば、領域４Ａでは、最上部の行の４つのシンボルは、領域３Ａの左上のシンボルによって表されたセグメントのセグメントに対応する。同様に、４Ａの第２行のシンボルは、３Ａの右上のシンボルに対応し、４Ａの第３行のシンボルは３Ａの左下のシンボルに対応し、４Ａの第４行のシンボルは、３Ａの右下のシンボルに対応する。同様の関係は、領域４Ｂと３Ｂとの間、領域４Ｃと３Ｃとの間等にも当てはまる。ビデオのセグメント化メカニズムは、本発明の範囲外にあるが、例示の目的のみで、このメカニズムには、ビデオを構成コンポーネント（ショット）に分割し、次に、たとえば視覚的類似度キュー及び／又はビデオ時間軸に基づいて、それらショットをシーンの階層にグループ化する自動ビデオセグメント化方法が含まれ得る。代替的に、ビデオセグメント化メカニズムは、ビデオ時間軸にのみ依拠することもできる。

ユーザは、カーソルを制御することによって、シンボリック表現空間の異なる部分にナビゲーションすることができる。図１９に示すように、カーソルが一定時間量の間静止して保たれると、カーソルが存在する領域のデータシンボル４００が強調表示され、たとえば各データシンボルの周りに長方形が描かれる。この一定時間量は、ユーザ制御とすることができる。オプションとして、カーソルに最も近いデータシンボルを、たとえば特定の色の長方形を描くことによって、特別に強調表示することもできる。オプションとして、関連のある領域に属するデータシンボル４１０も強調表示することができる。強調表示されるデータシンボルの総数は、ユーザ制御とすることができる。本発明の別の実施形態では、データシンボルは、一定時間量の間カーソルを静止して維持することに代えて又はこれに加えて、コントローラの適切な選択ボタンを使用することにより強調表示することができる。いずれにしても、ユーザは、強調表示されたシンボルが対応するデータアイテムを、たとえば画像サムネイル又はビデオサムネイルとして見ることができる。これは、データシンボルが強調表示された後さらに一定時間量の間カーソルを静止して保つことにより、且つ／又は、コントローラの適切な選択ボタンを使用することにより、達成することができる。本発明の一実施形態では、データアイテムは、シンボリック表現空間に取って代わることができる。本発明の好ましい一実施形態では、データアイテムは、シンボリック表現空間と共にユーザに示される。この一例は図２０に示されている。図２０では、データアイテムの大きなサムネイル４２０が、シンボリック表現空間によって占有されていないディスプレイのエリアに表示されている。代替的に、データアイテムは、シンボリック表現空間表示領域とオーバーラップすることもできる。別の例が図２１に示されている。図２１では、データアイテムをより大きく且つ／又はより多くユーザに表示することを可能にするために、シンボリック表現空間表示領域が縮小されている。データアイテムは、任意の所定の且つユーザ調整可能な形式で配列することができる。オプションとして、たとえば、各データシンボル及びその対応するデータアイテムの周りに識別できる(distinct)色の長方形を描くことによって、データシンボルをデータアイテムにリンクすることができる。いずれにしても、ユーザは、シンボリック表現空間のナビゲーションを続けることができ、その結果、新しいデータシンボルが強調表示され、新しいデータアイテムが前のデータアイテムの場所に表示される等が行われる。どの時点においても、ユーザは、適切な選択ボタンを使用することによって、シンボリック表現空間からデータアイテムへカーソルの対象を変更することができる。次に、ユーザは、現在表示されているデータアイテムからデータアイテムを選択することができ、それによって、選択したデータアイテムをフルスクリーンで見る、ビデオ再生を開始する、等を行う。その後、カーソルの対象をシンボリック表現空間へ再び変更することによって、ユーザが、上記空間のナビゲーションを続けることが可能になり、他のデータアイテムを見ることが可能になる。

これまでの閲覧例について説明したさまざまな拡張及び変更が、ここでも同様に適用される。

本発明の好ましい一実施形態では、シンボリック表現空間は、静的ではなく、新しいデータを収容するために変化する。同様に、データを表すのに使用されるシンボルも、時間と共に、又は、シンボリック表現空間の現在のビューに従って変化することができる。たとえば、非常に過密なシンボリック表現空間全体を見るときには、点等のあまり詳細でないシンボルを使用することができる一方、ズームインして全シンボリック表現空間のより小さな部分を見るときには、主要色ブロック等のより詳細なシンボルを使用することができる。

本発明の一実施形態では、ユーザは、閲覧用の単一のシンボリック表現空間に制限される必要はない。たとえば、ユーザは、視覚的に類似したビデオセグメントを見つけるために、図１７〜図２１におけるようにビデオのコンテンツを閲覧して、データアイテムを選択し、次に、図５〜図８におけるように相互類似度シンボリック表現空間に切り換えて閲覧することができる。

これまでの例では、ディスプレイ１２０が一般に２次元であることから、例示の目的で且つ便宜のために、２次元シンボリック表現空間が検討されていた。シンボリック表現空間の次元は、ディスプレイの次元とは別であることに留意すべきである。シンボリック表現空間は、データアイテムを表すシンボルのｎ次元空間配置である。ここで、ｎ≧１である。したがって、本発明の一実施形態では、シンボリック表現空間は、２次元ディスプレイに表示された１次元シンボル配置である。別の実施形態では、シンボリック表現空間は、２次元ディスプレイ上に表示するために２次元平面上に投影された３次元シンボル配置である。さらに別の実施形態では、３次元シンボリック表現空間が、一組の２次元平面（又は２次元スライス）として２次元ディスプレイ上でユーザに提示される。さらに別の実施形態では、３次元シンボリック表現空間が、以下のように２次元ディスプレイ上でユーザに提示される。すなわち、ディスプレイの第１の次元が、空間の第１の次元にマッピングされ、ディスプレイの第２の次元が、空間の第２の次元にマッピングされ、シンボリック表現空間の第３の次元が、空間におけるシンボルの或る変化する属性によって表される。たとえば、大きなシンボル又は明るいシンボルほど、ユーザに「より近づき」、小さなシンボル又は暗いシンボルほどユーザから「遠く離れる」。明らかに、本発明は、立体視３Ｄディスプレイ又は空間３Ｄ視覚化装置等の他の視覚化プラットフォームと共に使用することもできる。

本明細書において、「画像」という用語は、フィルタリング、解像度変更、アップサンプリング、ダウンサンプリング等の処理後のものを含めて、画像単位を説明するのに使用されているが、この用語は、フレーム、フィールド、映像等の術後にも適用され、画像又はフレームのサブユニット又は領域等、他の同様の術語にも適用される。ピクセル及びブロック又はピクセルのグループという用語は、適宜交換可能に使用することができる。本明細書において、画像という用語は、文脈から明らかである場合を除いて、画像全体又は画像の一領域を意味する。同様に、画像の一領域は、画像全体を意味することができる。画像には、フレーム又はフィールドが含まれ、画像は、静止画像、又は、フィルム若しくはビデオ等の画像シーケンスにおける一画像、若しくは、関係付けられた画像のグループにおける一画像に関係する。

画像は、グレースケール画像又はカラー画像とすることもできるし、たとえば、ＩＲ画像、ＵＶ画像、又は他の電磁画像といった別のタイプのマルチスペクトル画像とすることもできるし、音響画像等とすることもできる。

「選択手段」という用語は、たとえば、ナビゲーション及び選択ボタンを含むコントローラ等のユーザによって制御される選択用のデバイス、並びに／又は、ポインタ若しくはカーソル等によるディスプレイ上のコントローラの表現を意味することができる。

本発明は、好ましくは、電子的形態で表されたデータアイテムを処理すること、および、適した装置を使用して電気信号を処理することにより実施される。本発明は、たとえば、適したソフトウェア及び／又はハードウェアの変更を有するコンピュータシステムで実施することができる。たとえば、本発明は、プロセッサ又は制御デバイス等の制御手段又は処理手段と、メモリ、磁気ストレージ、ＣＤ、ＤＶＤ等の画像ストレージ手段を含むデータストレージ手段と、ディスプレイ又はモニタ又はプリンタ等のデータ出力手段と、キーボード等のデータ入力手段と、スキャナ等の画像入力手段とを有するコンピュータ又は類似のものを使用して実施することもできるし、追加のコンポーネントを伴うこのようなコンポーネントの任意の組み合わせを使用して実施することもできる。本発明の態様は、ソフトウェア及び／又はハードウェアの形態で提供することもできるし、チップ等の特定用途向け装置又は特定用途向けモジュールで提供することもできる。本発明の一実施形態による装置におけるシステムのコンポーネントは、たとえばインターネットを介して他のコンポーネントから遠隔で提供することができる。

第１のシンボリック表現空間を示す図である。 第２のシンボリック表現空間を示す図である。 第３のシンボリック表現空間を示す図である。 閲覧装置を示す図である。 図４の装置及び図１の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図１の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図１の表現空間を使用する閲覧方法を示す図である。 １つの代替的な表示フォーマットを有する閲覧方法を示す図である。 別の代替的な表示フォーマットを有する閲覧方法を示す図である。 別の代替的な表示フォーマットを有する閲覧方法を示す図である。 異なるシンボルタイプに対応する画像の表示を有する閲覧方法を示す図である。 図１のシンボリック表現空間の変更バージョンを示す図である。 図４の装置及び図２の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図２の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図２の表現空間を使用する閲覧方法を示す図である。 １つ代替的な表示フォーマットを有する閲覧方法を示す図である。 図４の装置及び図３の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図３の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図３の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図３の表現空間を使用する閲覧方法を示す図である。 図４の装置及び図３の表現空間を使用する閲覧方法を示す図である。

Claims (38)

1. シンボルのｎ次元アレイを使用してデータアイテムを閲覧する方法であって、
   ｎは１以上であり、
   シンボルのそれぞれは少なくとも１つのデータアイテムに対応し、
   前記方法は、前記ｎ次元アレイを通って移動可能であり且つ前記シンボルが配置されていない箇所を含む前記アレイにおけるポイントを選択することができる選択手段を使用し、
   前記方法は、前記選択手段のロケーションに従って少なくとも１つのシンボル及び対応するデータアイテムを選択することを含む、データアイテムを閲覧する方法。
2. 少なくとも２つのシンボル及び対応するデータアイテムが、前記選択手段の前記ロケーションに従って選択される、請求項１に記載の方法。
3. シンボルのｎ次元アレイを使用してデータアイテムを閲覧する方法であって、
   ｎは１以上であり、
   シンボルのそれぞれは少なくとも１つのデータアイテムに対応し、
   前記方法は、前記ｎ次元アレイを通って移動可能である選択手段を使用し、
   前記方法は、前記選択手段のロケーションに従って少なくとも２つのシンボル及び対応するデータアイテムを選択することを含む、データアイテムを閲覧する方法。
4. 前記シンボルのｎ次元アレイは非線形である、請求項１〜３のいずれか一項に記載の方法。
5. シンボルのｎ次元アレイを使用してデータアイテムを閲覧する方法であって、
   ｎは１以上であり、
   シンボルのそれぞれは少なくとも１つのデータアイテムに対応し、
   前記方法は、前記ｎ次元アレイを通って移動可能である選択手段を使用し、
   前記シンボルのｎ次元アレイは非線形であり、
   前記方法は、前記選択手段のロケーションに従って少なくとも１つのシンボル及び対応するデータアイテムを選択することを含む、データアイテムを閲覧する方法。
6. １つ又は２つ以上のシンボル及び対応するデータアイテムが、前記選択手段の前記ロケーションに対する前記シンボルの近接性等の所定の基準に基づいて選択される、請求項１〜５のいずれか一項に記載の方法。
7. 前記選択されたデータアイテム（複数可）を表示することをさらに含む、請求項１〜６のいずれか一項に記載の方法。
8. 複数のデータアイテムが、
   たとえば、前記選択手段の前記ロケーションに対する、前記それぞれのシンボルの近接性に基づいて、
   所定の配列で表示される、請求項７に記載の方法。
9. ｎ次元アレイの複数のシンボルを使用して複数のデータアイテムを表す方法であって、
   ｎは１以上であり、
   シンボルのそれぞれは少なくとも１つのデータアイテムに対応し、
   前記アレイの前記シンボルの配置は非線形である、複数のデータアイテムを表す方法。
10. ｎ次元アレイの複数のシンボルを使用して複数のデータアイテムを表す方法であって、
    ｎは１以上であり、
    シンボルのそれぞれは少なくとも１つのデータアイテムに対応し、
    前記アレイの前記シンボルの配置は、前記それぞれのデータアイテム（複数可）の少なくとも１つの特徴に依存する、複数のデータアイテムを表す方法。
11. 前記アレイの前記シンボルの前記配置は、前記それぞれのデータアイテム（複数可）の少なくとも１つの特徴に依存する、請求項１〜９のいずれか一項に記載の方法。
12. 前記アレイの前記シンボルのロケーションは、前記それぞれのデータアイテム（複数可）の前記少なくとも１つの特徴に依存する、請求項１０又は請求項１１に記載の方法。
13. 前記アレイの前記シンボル間の相互関係は、対応するデータアイテムの前記少なくとも１つの特徴の対応関係に依存する、請求項１１又は請求項１２に記載の方法。
14. 前記アレイの前記シンボルの前記ロケーションの類似度は、対応するデータアイテムの対応する少なくとも１つの特徴の類似度を表す、請求項１１〜１３のいずれか一項に記載の方法。
15. 前記データアイテムの前記特徴は、データキャプチャの時刻又は場所または出来事等のメタデータである、請求項１１〜１４のいずれか一項に記載の方法。
16. 前記データアイテムの前記特徴は、前記データアイテムに固有である、請求項１１〜１５のいずれか一項に記載の方法。
17. 前記固有のデータは、たとえば、色、強度、テクスチャ、オブジェクト情報等に基づいている、請求項１６に記載の方法。
18. 前記固有のデータは、たとえば、絶対値、平均値、主要値等に基づいている、請求項１６又は請求項１７に記載の方法。
19. 前記データアイテムの前記特徴は、ユーザ定義の基準又は設計者定義の基準等の所定の基準に基づいている、請求項１１〜１８のいずれか一項に記載の方法。
20. 前記シンボルの前記配置は、少なくとも１つの特徴の数値的記述に基づいている、請求項１１〜１９のいずれか一項に記載の方法。
21. 前記シンボルは、
    アイコン、
    単一のピクセル、
    ピクセルのグループ、
    サブサンプリングされたバージョン、又はサムネイルバージョン等の、データアイテムの変更されたバージョン
    のうちの１つ又は２つ以上を含む、請求項１〜２０のいずれか一項に記載の方法。
22. 前記シンボルの特徴は、前記対応するデータアイテムの特徴を表す、請求項１〜２１のいずれか一項に記載の方法。
23. 前記シンボルの前記色は、対応するビジュアルデータアイテムの色を反映する、請求項２２に記載の方法。
24. 前記アレイは、複数の異なるシンボルを含む、請求項１〜２３のいずれか一項に記載の方法。
25. 前記異なるシンボルは、異なるタイプのデータアイテムに対応する、請求項２４に記載の方法。
26. 前記データアイテムは、
    オーディオデータ、及び
    画像又はビデオ等のビジュアルデータ
    のうちの１つ又は２つ以上を含む、請求項１〜２５のいずれか一項に記載の方法。
27. 前記シンボル及び前記データアイテムは共に表示される、請求項１〜２６のいずれか一項に記載の方法。
28. 前記シンボル及び前記データアイテムは、ディスプレイの別個の領域に表示される、請求項２７に記載の方法。
29. 前記シンボル及び前記データアイテムは、ディスプレイの共通の領域に表示される、請求項２７に記載の方法。
30. 前記シンボル及び前記データアイテムは、混ざるかオーバーラップする、請求項２９に記載の方法。
31. 前記シンボル及び前記データアイテムによって占有される前記領域の相対的なサイズは調整可能である、請求項２７に記載の方法。
32. 前記シンボルによって占有される前記領域のサイズは、前記データアイテムによって占有される前記領域のサイズよりも小さい、請求項２７又は請求項３１に記載の方法。
33. 前記データアイテムは、
    たとえば、それぞれのデータアイテム及びシンボルを同一の色で縁取ることによって、
    それぞれのシンボルに視覚的に関連付けられる、請求項１〜３２のいずれか一項に記載の方法。
34. 少なくとも１つのシンボルは、複数のデータアイテムに対応する、請求項１〜３３のいずれか一項に記載の方法。
35. 請求項１〜３４のいずれか一項に記載の方法を実行するようにプログラミングされる、制御デバイス。
36. 請求項１〜３４のいずれか一項に記載の方法を実行するようになっている、装置。
37. 請求項１〜３４のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
    ディスプレイ手段と、
    選択手段と、
    データアイテムを記憶するストレージ手段と
    を備える装置。
38. 請求項１〜３４のいずれか一項に記載の方法を実行するコンピュータプログラム、又は、そのようなコンピュータプログラムを記憶するコンピュータ可読ストレージ媒体。

Images