JP2012064200A - 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体 - Google Patents

表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2012064200A
JP2012064200A JP2011163233A JP2011163233A JP2012064200A JP 2012064200 A JP2012064200 A JP 2012064200A JP 2011163233 A JP2011163233 A JP 2011163233A JP 2011163233 A JP2011163233 A JP 2011163233A JP 2012064200 A JP2012064200 A JP 2012064200A
Authority
JP
Japan
Prior art keywords
search
display
contents
key
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011163233A
Other languages
English (en)
Inventor
Hidetomo Soma
英智 相馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011163233A priority Critical patent/JP2012064200A/ja
Publication of JP2012064200A publication Critical patent/JP2012064200A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 仮想空間を利用した検索結果の表示において、その空間内での表示・操作が、検索指示の追加・変更と連動することで、その内容の把握と絞り込み検索の操作を容易に行う。
【解決手段】 仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して(S306)表示画面上に表示し、1つのキーワードが配置された場合(S314)、キーワードと複数のコンテンツの関連性に基づいて前記複数のコンテンツの配置を変更して表示する(S307)。
【選択図】 図3

Description

本発明は、文書や画像などのコンテンツの検索結果を表示する表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体に関する。
一般的に、多数の文書や画像等に対し、利用者から与えられるキーワードなど検索指示(クエリ)を基に、検索を行って検索結果が多く得られた場合に、その結果の提示方式として様々な工夫が行われる。実際には、そのような多数の検索結果に対して、利用者は、所望のものを探すことになる。この探すことを容易に行えるようにする場合、所望のものが探しやすくなるように検索結果の表示の仕方や並べ方などを工夫する方法が考えられる。また、検索結果の表示に対して操作を行い、その表示方式を変更することなども行われる。特に、その検索結果をもとに、利用者は、検索結果の中に不要なものが多くあるか、必要なものが入っていない判断した場合には、検索指示の追加などを行うこことで、より絞り込んだ検索や検索範囲の変更などを行う。そのため、検索結果が把握しやすいような表示や、検索範囲の変更や絞り込みが容易に行えるような表示や操作が提供できることが重要となる。
検索結果は、通常、検索指示に対して、どの程度それに対応しているかという指標として類似度のような値を持っている。この類似度の算定方法などには、様々なものがあり、個々の検索結果に対して、検索結果と検索指示の画像やテキストなどについて、内容そのものの類似度や含有率などを扱うものや、検索結果そのものの人気の度合いなどを用いる場合などもある。これらは、基本的に、検索指示の個々やその集まりに対して、基本的な類似度のような値があり、それらを集計することで、検索結果の個々の類似度が算定されることが多い。また、その個々の類似度を用いて、検索結果の違いの表示に利用することも行われている。
このような多数の検索結果の表示を行う際に、1次元の検索結果を羅列する方法(各検索結果の類似度順に並んでいることが多い)以外に、2次元や3次元などの多次元空間内に検索結果を配置し、その配置方法で検索結果の違いを表現する方法がある。しかし、多次元といっても、通常認識できる空間的な次元は、3次元程度までであり、4次元以上を使用すると、我々の一般的な感覚からすると、かなり解釈が難しい表現となることになる。また、検索結果を配置する際に、その次元の各軸に検索指示に対する類似度などで配置を行う場合には、前述の理由から、高々3つ程度の検索指示しか、表現できなくなってしまう。そのため、検索結果の多次元空間表示において、局所的に検索指示で整列させるようにする特許文献1などがある。
さらに、多数の検索指示がある場合には、検索結果の配置に有効な検索指示を複数選ばないといけないが、自動で選ぶのは難しいし、利用者自身にとっても、その候補を選ぶことが難しい。実際には、有効なキーワードなどの検索指示を選びながら、検索を行い、その検索指示を追加・変更していくという行為そのものが、利用者が、どのような検索指示が有効なのかが分かっていないために行われている行為である。
そこで、多次元の空間内に、特に各軸に検索指示との対応などを持たせず、検索結果同士の類似度などを元に、検索結果の相対的な距離や、局所的な方向の関係を導いて、それを利用して空間内に適切に、各検索結果を配置させるという方法が行われる。この方法として、検索した結果同士の類似度をそれらの距離にするものがあるが、この場合、各軸そのものの意味は分からないが、局所的な距離や関係の意味は分かりやすくなる。そこで、各検索結果の空間の散らばり具合が利用者にわかりやすいものになるようにできれば、有効な手段となりうる。特に、集まっている検索結果の意味が分かり、分類されているようになれば、その集まりや、その中の小さな集まりに対して、拡大・縮小表示を行った場合に、利用者の意図するような検索結果の探索が可能となる。しかし、この分類に相当する行為を行うことが難しかったため、それがないことを前提にして、利用者の探す操作を支援する方法などもあった。例えば、特許文献2では、検索指示を磁石というメタファを用いて、検索結果から利用者の所望のものの選択を行うという方式であるが、前述の分類がうまくできないことを前提としている。そのため、検索指示で検索された対象は、表示される空間に、検索とは異なる基準で配置されており、その中で検索指示に類似・該当するものの表現(輝度など)が変更されて、利用者はその変更された表現を頼りに探すことになっている。
検索方法の類似度の扱いや検索手法や技術などの進展により、検索結果に対する分析や分類の手法が開発されてくると、このような多次元空間を利用した検索結果の表示は有効である。さらに3次元表示ができる装置が利用できるようになれば、その効果はさらに増大することが期待できる。例えば、特許文献3では、単純に絞り込み検索での検索結果を、3次元空間を利用した表現で行い、絞り込まれたものが前面に出る方式を使用している。
特開2001−134599 特開2008−97175 特開2003−173356
しかしながら、上記従来技術は、多次元空間を利用した検索結果の表示において、検索指示の追加・変更等と空間内での表示・操作をわかりやすく連動させるものではなかった。
本発明は、多次元空間を利用した検索結果の表示において、検索指示の追加・変更等と空間内での表示・操作をわかりやすく連動させ、内容が把握しやすい表示を行うことを目的とする。
上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示する表示制御手段と、1つのキーを前記表示画面上に配置する配置手段と、
前記複数のコンテンツの内、前記配置手段によってキーが配置された位置に基づいて検索対象のコンテンツを選択する選択手段と、前記選択手段によって選択された対象に対して、前記配置されたキーで検索を行う検索手段と、前記検索手段によって検索されたコンテンツを、前記配置手段によって配置されたキーとの関連性に基づいて、配置を変更して表示する表示変更手段とを備える。
また、上記の目的を達成するための本発明の他の態様による表示制御装置の制御方法は以下の構成を備える。すなわち、仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示する表示制御手段と、1つのキーを前記表示画面上に配置する配置手段と、前記配置手段によって配置されたキーと前記複数のコンテンツとの関連性に基づいて、前記コンテンツが前記キーに吸引されるように前記複数のコンテンツの配置を変更して表示する表示変更手段とを備える。
本発明は、多次元空間を利用した検索結果の表示において、その空間内での表示・操作が、検索指示の追加・変更などと連動することで、その内容が把握しやすい。
本発明の実施例である表示装置のハードウェア構成を示す図である。 本発明の実施例の構成と情報の流れを示すブロック図である。 本発明の実施例の処理の流れを示したフローチャートである。 本発明の実施例の検索内容(重要語リストと検索結果候補)の例の図である。 本発明の実施例の分類/クラスタ処理の結果の例の図である。 本発明の実施例の検索結果の3D表示の例の図である。 本発明の実施例の検索結果の3D表示で重要語の磁石メタファの選択操作時の表示を示す図である。 本発明の実施例の3D表示で重要語の磁石メタファの吸引を開始した後の表示を示す図である。 本発明の実施例の3D表示で別の磁石メタファを連続適用している場合の表示を示す図である。 本発明2の実施例の3D表示で選択操作をした後に、磁石メタファの吸引力を開始した後の表示を示す図である。 本発明2の実施例の処理の流れを示すフローチャートである。 本発明3の実施例の検索装置のハードウェア構成を示す図である。 本発明3の実施例の処理の流れを示すフローチャートである。
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。(実施例1)
以下、添付図面を用いながら、本発明を好適な実施形態について、詳細に説明する。なお、本実施例では、文書検索やインターネットの情報検索において、検索を行う操作とその結果である多数の検索結果の表示を行う際を例として説明を行うものとする。
図1に本発明の実施例である表示制御装置のハードウェア構成を示す。101はCPUであり、本実施例の表示制御装置における各種制御を実行する。フローチャート等を用いて後述する処理はこのCPU101によって制御される。その作業内容は、後述するROM102やRAM103上のプログラムによって指示される。また、CPU101自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることもできる。102はROMであり、CPU101による制御の手順を記憶させた計算機プログラムやデータが格納されている。
103はRAMであり、CPU101が処理するための制御プログラムを格納するとともに、CPU101が各種制御を実行する際の様々なデータの作業領域を提供するものである。104は、入力装置であり、ユーザによる各種入力操作環境を提供するキーボードやマウスであるが、ユーザからの各種入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等、何でもよい。105は各構成に接続されているアドレスバス、データバスなどである。106は、さまざまなデータ等を記憶するための外部記憶装置である。ハードディスクやフロッピー(登録商標)ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し、情報を記録するドライブなどで構成される。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にRAM103上に完全もしくは部分的に呼び出される。
107は、他のコンピュータ装置等と通信を行うための通信デバイスNCUであり、ネットワーク(LAN)等を介して、図にはないが遠隔地に存在する装置と通信し、本実施形態のプログラムやデータを共有することが可能になる。この通信手段としては、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、Ethernet(登録商標)などの有線通信や、Bluetooth、赤外線通信、IEEE802.11b等の無線通信等何でもよいし、本発明の装置と接続されている機器と通信手段をもつものであれば何でもかまわない。
108は、GPUであり、CPU101などとバス105を経由して、与えられた表示指示や計算指示に従い、計算を行って表示内容の画像の作成や表示位置などの計算を行い、その計算結果を109の表示装置へ送って描画させる。109は、表示装置であり、ディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示画面上に表示する。本発明の場合、表示内容は、立体空間表示(以下、3D空間表示)であるが、表示装置は通常の平面(2D)表示で、仮想3次元空間表示を行う方法でも、実際に3D空間を表示できるものでもどちらでもよい。しかし、3D空間を表示できる機器(例えば、利用者に視差のある右目用の画像と左目用の画像を提供する機器等)であるほうが、効果的であることはいうまでもない。
ROM102やRAM103などの記憶媒体には、本実施形態のデータ管理を実現する計算機プログラムやデータなどが格納されている。これらの記録媒体に格納されたプログラムコードを、CPU101が読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。また、本発明に係わるプログラムやデータを格納した外部記録装置を本システムあるいは本装置に供給して、RAM103などの書き換え可能な記憶媒体上に前記の外部記憶装置から、そのプログラムがRAM103上にコピーされる可能性がある。その外部記憶装置106としては、フロッピー(登録商標)ディスク、CD−ROM、ハードディスク、メモリカード、光磁気ディスクなど何でもよい。
また、本発明の検索処理で使用するデータは、外部記憶装置106だけではなく、NCU107を介して入手しても良い。同様に、検索処理中に作成するデータもついても、ROM102やRAM103、外部記憶装置106だけでなく、NCU107を介して、他の機器上に格納しても構わない。以上述べてきた構成は、あくまでも、本実施形態における一例であり、本発明においては、特にこれに限定されるものでない。
図2は、本実施例で使用する検索処理における、基本的な処理における情報の流れを示したブロック図である。
201は、検索対象の情報源であり、検索対象の文書や画像などの情報源である。文書や画像と言ったコンテンツを管理するためのコンテンツ管理システムである場合や、インターネットの検索サービスなどのように、インターネット上のHTMLなどの形式の文書などである。一般的に、文書や画像と言ったコンテンツを管理する管理システムの場合には、その中にある文書が画像の情報を取出す手段を有することが多く、それを利用して検索装置202は動作することになる。インターネットなどの場合には、そこから利用できる文書や情報などを取り出す手段が必要で、これを効率的に行うクローラなどと呼ばれる装置やソフトウェアを利用することが多い。本実施例では、この情報源がどのような形態でも構わないため、これらをまとめて、検索対象の情報源と呼ぶことにする。この検索対象の情報源は機器やソフトウェアやそれらを利用したサービス、通信手段などの様々な形態とその混成形態のものがある。
前述のコンテンツ管理システムなどの場合には、本実施例の検索装置と同じ機器やソフトウェアの構成上にあることが多い。また、図1の外部記憶装置106にコンテンツを格納する場合や、NCU107を経由して、外部の装置やインターネット上のサービスなどを利用する場合もある。また、利用者から同一の機器やソフトウェアに見えるようになっていることが多い。また、検索装置や検索した結果を利用する機器やソフトウェアなどから、その検索結果のコンテンツや情報を利用できるようにするための手段が準備されていることが多い。
202は、検索部である。この検索部202は、大きく分けて2つの動作を行う。その2つの動作の1つは、検索対象の情報源にあるコンテンツや情報を高速な検索が可能なようにするための登録動作と呼ばれる動作である。大量のコンテンツや情報の検索を行う際には、そのコンテンツや情報を取出しながら実時間で検索を行ってしまうと非常に処理時間が必要となってしまう。そのため、事前に検索に必要な情報を抽出し、高速な検索が可能なように加工しておくのである。またもう一つの動作は、検索動作であり、利用者から与えられる検索指示に基づき、該当するコンテンツや情報を探索し、その検索結果のコンテンツや情報を利用者に提示するために必要な情報と合わせて提供するものである。
以下、検索部202の登録動作の手順に従い、メタデータ抽出装置203、検索インデックス作成部204、検索インデックス情報205、要約情報206の説明を行う。
203は、メタデータ抽出部であり、検索対象の情報源にあるコンテンツや情報から、それを検索可能にするための情報(これをメタデータと呼ぶ)を抽出する部分である。そして、その抽出したメタデータを検索インデックス作成部204に渡す。また、検索結果を提示する際に利用する、画像サムネイルや検索該当部分のテキストなどの要約情報を抽出し、要約情報206に格納する。これは検索結果の該当した部分を説明する情報として利用されることになる。このメタデータ抽出は、あらかじめ、ROM102,RAM103上に配置しておいたメタデータ抽出方式の計算機プログラムに格納しておき、検索対象の情報源201から得られた情報を、CPU101、RAM103を利用して抽出処理を行うことで実現する。そして、その結果を、RAM103や外部記憶装置106経由で、検索インデックス作成部204に渡す。このメタデータ抽出部には、様々なメタデータの抽出方式がある。例えば、コンテンツや文書の中のテキスト情報を抽出して、いわゆる全文検索を可能にするものがある。また、例えば、さらに、そのテキスト情報の中から重要な単語や語句を取出して、いわゆるキーワード検索を可能にするものがある。画像コンテンツや文書の中の画像などから被写体の人物等の顔、色味や構図などの画像特徴量を抽出して、画像検索や被写体検索などを可能にするものがある。このように様々なものがあるが、本発明は、そのいずれでも適用可能である。
204は、検索インデックス作成部であり、メタデータ抽出部203から得られたメタデータから、その該当するコンテンツや情報、またその中の検索該当部分を、高速に得られるように、検索インデックスを作成する部分である。そして、作成した検索インデックスを検索インデックス情報205に格納する。これは、あらかじめ、ROM102,RAM103上に配置しておいた検索インデックス作成方式の計算機プログラムに格納しておき、メタデータ抽出部203から得られた情報を、CPU101、RAM103を利用して抽出処理を行うことで実現する。そして、その結果を、外部記憶装置106上の検索インデックス情報205に格納する。
検索インデックスの作成方法は、そのメタデータに応じて、それぞれ最適なものがあるが、基本的な作成戦略として良く用いられるのは転置方式である。これは、コンテンツや情報、またその中の検索該当部分を識別するための識別情報と、そのメタデータの値を対応づけておく際に使用されるものである。その際に、メタデータをキーとすることで、メタデータの値が分かると、即、前記識別情報を得られるようにする方式である。これは、検索動作時の処理速度を向上させることを目的とする。通常、コンテンツや情報の管理を行う際には、その対象となるコンテンツや情報やその部分に識別情報を作成し、その識別情報を利用して、対象のコンテンツや情報やその部分を判定するためのインデックスを作成する。これと逆向きに見えるため、転置方式とか、その情報を転置ファイルや逆インデックスなど呼ばれている。このように、コンテンツや情報やその部分に識別できるように識別情報を持たせるのが一般的で、かつ、その識別情報の形態には様々なものがあるが、ここでは、まとめて検索対象の識別情報と呼ぶことにする。通常、この検索インデックス作成方法や検索対象の識別情報の作成方法には、様々なものがあるが、本発明は、そのいずれでも適用可能である。
205は、検索インデックス情報を格納する部分であり、登録動作時には検索インデックス作成部204で作成された、検索インデックスを図1の外部記憶装置106上に格納する。また、検索動作時には、検索インデックス探索部209に、その検索インデックス情報を提供し、高速な検索インデックスの探索を可能とする。
206は、要約情報を格納する部分であり、登録動作時にはメタデータ抽出部203で作成された、要約情報を図1の外部記憶装置106上に格納する。また、検索動作時には、検索インデックス探索部209で検索された結果に対して、それに該当する要約情報を提供し、検索結果生成部210で処理を行い、利用者のわかりやすい情報の表示や提供の形態になるような加工を行えるようにする。
以下、検索部202の検索動作の手順に従い、検索指示207、検索指示解析部208、検索インデックス探索部209、検索結果生成部210、検索結果211の説明を行う。
207は、検索指示であり、利用者から入力された検索指示内容であるキーワードや画像などが、図1の入力装置104や、NCU107を経由して外部の機器の入力装置などから、指示される。この検索指示の内容は、図1のRAM103や外部記憶装置106経由で、検索指示解析部208に渡されることになる。この検索指示の内容は、複数ある場合もあり、種類の異なる検索指示が混在している場合もある。さらに、本発明の特徴として、検索している利用者の状況や状態なども、この検索指示情報も含まれるようにする。また、検索結果211の一部を指定した状態での、その一部にだけ追加検索指示を出せるようにする。これらに対しても、検索指示解析部208で利用できるようにする。
208は、検索指示解析部であり、図1のRAM103や外部記憶装置106経由で渡された検索指示の個々の内容を解析して、検索インデックス探索部209で検索できるようにする部分である。例えば、入力されたキーワードに対して、大文字、小文字、ひらがな、カタカナの表記のゆれの対応や、同義語の追加を行う。また、例えば、画像検索の場合には、検索指示画像に対して画像特徴量の抽出を行う。例えば、利用者の検索利用状態や、図1の表示装置109での表示している状態等から、検索指示207の検索している利用者の状況や状態や、すでに検索・表示した内容(検索結果211の一部)に対しての追加検索指示などを判別する。そして、これに応じた検索結果を生成するように、検索結果生成部210に指示を行う。これらの情報は、図1のRAM103や外部記憶装置106経由で渡されることになる。これは、あらかじめ、ROM102,RAM103上に予め配置しておいた検索指示解析方式の計算機プログラムに格納しておき、検索指示207の内容を、CPU101、RAM103を利用して解析・抽出する処理を行うことで実現する。ここで得られた情報は、図1のRAM103や外部記憶装置106経由で、検索インデックス探索部209に渡される。
209は、検索インデックス探索部であり、図1のRAM103や外部記憶装置106経由で渡された検索指示解析部208からの情報を基に、検索インデックス情報205を利用して、検索結果候補として該当するコンテンツや情報やその一部を、高速に探索する。また、単純に該当するだけでなく、類似度や含有率などの計算も行い、高い類似度や含有率などを持つものを、検索結果の該当候補として探索することも行うことも行う。この検索結果候補は、複数ある場合もあり、全く該当するものがない場合もある。そして、該当する検索対象の識別情報だけでなく、それがどの検索指示207内の個々の指示情報に対して、どの程度の類似度や含有率などを持つかという値も保有することになる。そこで、これらをまとめて検索結果候補情報と呼ぶことにする。これは、あらかじめ、ROM102,RAM103上に予め配置しておいた検索インデックス探索方式の計算機プログラム(類似度や含有率などの計算も含む)に格納しておく。そして、検索指示解析部208から情報を、CPU101、RAM103を利用して、外部記憶装置上106上の検索インデックス情報内の探索・類似度や含有率計算処理を行うことで実現し、検索対象候補情報を得る。この得られた検索結果候補情報は、検索結果生成部210へ、図1のRAM103や外部記憶装置106経由で渡される。
210は、検索結果生成部であり、図1のRAM103や外部記憶装置106経由で渡された検索結果候補情報と、その検索結果情報内の検索対象の識別情報を基に、外部記憶装置106上の要約情報206から、検索結果211を作成する。ここでは、検索結果情報を基に、検索結果とし提示する検索対象の順番や、要約情報も含めて検索結果全体の表示方式などを決定する処理を行う。また、本発明の特徴として、検索結果を利用者が理解しやすいように、キーワード毎の分類や、クラスタリングなども行い、提示方式を変化させるようにする。さらに、検索指示検索している利用者の状況や状態なども、この検索指示情報も含まれるようにする。また、検索結果211の一部を指定した状態での、その一部にだけ追加検索指示を出せるようにする。
これは、あらかじめ、ROM102,RAM103上に配置しておいた検索結果生成方式の計算機プログラムに格納しておき、検索結果候補情報と要約情報206からの情報を基に、CPU101、RAM103を利用して処理を行う。そして、図1のRAM103や外部記憶装置106上に、検索結果211を生成することで実現する。また、検索結果211を、図1のGPUを利用して、表示装置109に表示する、または、NCU107を経由して外部の機器へ送り利用できるようにする。
211は、検索結果であり、表示装置109に表示する、または、NCU107を経由して外部の機器へ送られるものである。
図3は、本実施における表示制御処理を行う場合の処理の流れを示したものである。以下、この図3について説明を行う。
S301は、処理の開始点であり、S302へ進む。以降、検索対象の情報源をコンテンツと呼ぶこともある。
S302は、重要語の抽出・取得を行う。これは、検索を開始する時点で、検索対象として有効なキーワードなどを、検索指示を行う利用者の環境や状況などから、抽出可能な場合に、あらかじめ抽出しておき、これを重要語リストに追加する。この結果である重要語リストの例を示したものが、図4(a)である。図4(a)の表の中で、各重要語の識別のために重要語ID、重要語同士には階層関係があり、それを親重要度IDで示している。重要語名はその重要語のテキスト表現そのものである。そして、その個々の重要語の抽出元から、重要度も同時に抽出している。これらは、この検索装置を使用開始する際に、図2の検索指示207として、作成中の記載内容の文章や、その文書に記載すべき内容に関する指示情報、その元になる資料中の文章などを与えることになる。そして、検索指示解析部208で、重要とされる語句の使用頻度や、単語の一般的な重要度情報などから、キーワード抽出することで得られる。または、特定表現を抽出する固有表現抽出を行うことで得られる。これらを重要語として使用する。さらに、このような抽出技術を使用すると、同時に、その語句の重要度も得られることになる。また、その際に、概念辞書や文書中の出現状況から、その語句間の階層関係を得るのである。このS302の処理が終了したら、S303へ進む。
S303は、検索指示の選択を行う。これは、S302で得た重要度リストに対して、検索指示として使用する重要語を選ぶ処理である。図4(a)の表の中の重要語の値を基に、一定の値以上の重要語を、選択指示として使用するものと判定する。その結果が、図4(a)の表の中の選択指示状態に示されている。この処理は、図2の検索指示解析部208で行われ、このS303の処理が終了したら、S304へ進む。
S304は、S303で使用することが決まった重要語を、検索指示語として、図2の検索インデックス探索部に渡して、検索処理を行う。この図4(a)の表の例では「希少動物」と「北海道」が検索指示語になることになり、これと同じか類似する表現を含むコンテンツが検索され、北海道で見られる希少性の高い動物に関する情報を含むコンテンツが検索結果候補として現れることになる。また、同時に、検索指示語で使用されない重要語との類似度も計算するものとする。その結果である検索結果候補情報を示したものが、図4(b)である。この表は、検索結果候補を識別するための検索結果候補IDと、該当コンテンツやその一部を識別するためのコンテンツIDを、検索結果候補の個々が保有することになっている。また、検索結果候補が指示された検索指示語に該当する部分の情報として、その内容も記されている。この内容の部分は、図2の要約情報206内の個々の要約情報を識別する要約情報IDを記して、間接的に示すのでも構わない。個々の検索結果候補は、重要語リスト内の各重要語に対して、類似度を持っている。このS304の処理が終了したら、S305へ進む。
S305は、S304の検索結果候補情報をもとに、図2の検索結果生成部210において、その中の個々の検索結果候補を分類もしくはクラスタ分割するために計算を行う。この計算方法としては、様々なものがあるが、ここでは、クラスタリング・アルゴリズムとして、有名なK−means法と概念辞書(シソーラス)を用いて、クラスタリングを行う。ここで、各検索結果間の距離として、最終的に、検索結果候補に対して、類似度が高い傾向を示すものが多数あるものを選び出すものとする。メタデータとして、比較できる値や距離が定義できる場合には、K−means法を使用する。
例えば、撮影(作成)日時や撮影場所などのメタデータに対しては、その差を距離として使用して、K−means法を使用する。また、作成者の所属などについては、その職場の組織の(木)構造をもとに、所属間の(木)構造の移動距離を距離として、K−means法を使用する。物や生き物などの名前についても、概念辞書(シソーラス)で、(木)構造が得られるため、同様に、K−means法を使用する。そして、得られたクラスタ同士の重心に対して、さらに、K−means法などを用いて、まとまったら階層を作っていく。このようなやり方は、単純な階層クラスタリングでよく行われる手法の1つである。また、動物の種類などのように、動物の系統情報という体系化された構造があれば、これをオントロジーの一種として使用する方法なども考えられる。ここでは、多数の検索結果候補を利用者にわかりやすいように、表示するための分類ができることが目的であり、その分類した集まりが多数ある場合には、さらに階層的な分類ができるのが良い。このような分類・クラスタリングを行うための計算手法であれば、何でも本発明は適用可能で、それが利用者に分かりやすい分類・クラスタリングができれば、さらに本発明の効果は増大することになる。
ここでは、北海道の希少性の高い動物として、「ツル」の何種類かの動物と、「フクロウ」の何種類かの動物が多かったということから、この両者は同一の「鳥」であることが概念辞書から分かる。それに基づいて、各検索結果候補のクラスタと対応付ける処理を行う。この分類/クラスタ計算を行った結果である、クラスタ情報の例を図5(a)に示す。各クラスタは識別用のクラスタIDを保有し、該当する動物の系統情報からクラスタ名を得ている。また、その階層関係を親クラスタIDで示している。実際には、「鳥」と「ツル」や「フクロウ」の間に、いくつかの系統上の分類・分岐があるのであるが、一般に概念辞書ではそこまで詳細な情報がないので、これで階層が作成される。このようにして、この部分は、2階層になっている。もしくは、検索結果候補の該当するものがないか極端に少なかった場合などは、省かれるようにしてもよい。また、各検索結果候補が、そのクラスタに所属するかを示す対応表の例を図5(b)に示す。ここでは、検索結果候補IDとクラスタIDの対応関係が記載されている。検索結果候補は必ず、特定のクラスタに所属するとは限らないので、クラスタIDの値がないものも存在する。このS305の処理が終了したら、S306へ進む。
S306は、S305で得られた各クラスタや、各検索結果候補を、検索結果を仮想3D空間上に配置するために、その配置位置を計算する。これは図2の検索結果生成部210で処理される。この3Dの検索結果空間では、3Dを構成する各軸(通常はX,Y,Z軸)に対して、各クラスタや、各検索結果候補の配置を行う際に、個々の重要語を軸として類似度で配置位置を決めることが、計算方式としては容易である。しかし、特に重要語が多数ある場合などで、配置した結果がかえってわかりにくいものになることが多い。そのため、検索結果候補やクラスタ同士の類似度などをもとに、3Dの検索結果空間内に類似するものが近くになるように、配置していくことが良く行われる。この実施例では、S305で得られた各クラスタが、多数ある検索結果候補をまとめて表示するのに適切であるという考えから、一番親となるクラスタ同士が見渡せるように、また重ならないように、配置位置を決定していく。この時に、類似度が高い重要語が同一のものが近くなるように配置計算を行うようにする。
まず、各クラスタ内の各検索結果候補の配置を決定する方法について記す。実際には、クラスタの外形を空間的に表示するか、クラスタ内の検索結果候補と、それ以外の検索結果候補の空間的な距離を離して配置することで、クラスタ内の各検索結果候補が、そのクラスタ内にあることを、わかるようにする。クラスタはあくまでも検索結果候補で構成されるものであり、どのような検索結果候補が入っているかをわかりやすくするために、本実施例では、検索結果候補のサムネイル画像を個々に表示を行い、それをクラスタ内に配置することで表現を行う方式を用いる。これを行うために用いられる方法は、基本的に球体の外形を有するクラスタの中心に対する、各検索結果の相対位置を決めることで行われる。
一番簡単な方法は、クラスタの中心からの各検索結果候補の距離を、クラスタ名と各検索結果候補のメタデータであるキーワードの比較による類似度によって決める方法である。クラスタ名やメタデータ内のキーワードの比較には、さまざまなものがあり、文字列としての一致度、類語辞書や同義辞書などを使用することによる類似度、それぞれの単語の意味ベクトルの類似度などを用いる方法が知られている。
この計算では、あくまでもクラスタ中心から各検索候補までの距離が求められるだけで、クラスタ内の位置が決まるわけではない。そこで、通常は、3Dを構成する各軸とその方向が何であるかということによって、その各検索結果候補同士の位置関係を相対的に配置していくことで実現することが多い。
そこで、各軸とその方向に有意に使用しないことと、クラスタを階層的に構成するため、異なる方式を用いるものがある。すなわち、各検索結果候補の相対位置を、前述のクラスタ中心の距離と、各検索結果候補において、そのキーワード同士の類似度を同様に計算する方法で、各検索結果候補間の相対距離を求め、この両方から、最適な各検索結果候補の位置を確定するものとする。
実際には、各検索結果候補間の相対距離に従って配置した場合には、必ずその相対距離を完全に満たすような配置はできないことが多いため、あくまでも相対距離間の大小関係が異ならない範囲で、相対距離に適切な重みをかけることとする。すなわち、その重みを山登り法などで、なるべく1(つまり、もとの相対距離に近いものが好ましい)になるような評価値を設けて、計算を行うことで実現する。この評価値は、すべての重みの合計などで実現する。
本実施例では、これとは異なる配置を試みるものとする。まず、クラスタの球体内部において、球体中心付近にある検索結果候補のサムネイルは見づらくなるため、クラスタ内の検索結果候補の数から、相対的なクラスタの球体の半径を決定し、クラスタ内の検索結果候補の数が多いほど、その半径は大きくなるようにする。次に、このクラスタ球面の表面上に、検索結果候補のサムネイルを配置する。そのため、この球面上を配置する検索結果候補の数で均等に分割して、配置位置を決定する。
そして、クラスタ名の類似度が高いものから、配置していくようにする。この際に、前述の方法と同様に各検索結果間の類似度として、同一のメタデータの含有率を使用して、同じメタデータを持つものが近くになるように配置していく。また、階層クラスタを使用しているので、下位のクラスタが含まれるが、その場合には、その下位のクラスタのクラスタ名をキーワードとして使用して、他の検索結果と同様に配置していく。
このようにして、各クラスタの内の配置は決められていく。各クラスタ内において、そのクラスタ中心を基準にした相対座標で計算を行い、クラスタ階層に応じてこれを組み合わせて計算を行い、最終的な絶対的な座標値を得るようにする。
なお、最上位クラスタを1つにする場合には、最上位クラスタを球面上に配置してもよいが、その中のクラスタや検索結果候補の数が少ない場合には、直線状に並べたり、円状に配置するなどの方が使いやすい場合があるので、個数や、クラスタ間の類似度などに応じて、最上位のクラスタの表示方式を変化させるのは、有効である。
なお、この計算方式は、本発明の表示や操作を実現可能なものであれば、いかなるものであっても、本発明は適用可能である。
また、重要語が3Dの検索空間内に配置されている場合には、それも配慮して、表示位置の計算を行う。このS306の処理が終了したら、S307へ進む。
S307は、検索結果の3D空間表示と重要語を表示装置109に表示するための表示制御を行う。すなわち、S304からS306で得られた内容を基に、実際に3Dの検索結果空間に表示するための表示制御を行う。これは図2の検索結果生成部210で処理され、その表示の際には、図1のGPU108の機能を利用して、図2の表示結果211を作成する。この表示を行っている例を、図6に示す。ここでは簡略化して各クラスタ毎に楕円のみを表記してあるが、実際にはこの楕円は立体的な球体状で、その中にサムネイルが配置されている。ここでは、「鳥類」のクラスタの球体の内側に、中心が、この球体の中心からの距離が等しい、「ツル」と「フクロウ」の球体が表示される。それぞれのクラスタでは、クラスタが示す重要語と一番類似度の高いサムネイルが一番全面に表示されるように配置される。図6中の601は、実際に表示されている3Dの検索結果空間であり、602は空間の最下限を示す床、603は「鳥類」のクラスタ、604は「鳥類」クラスタ内のある「ツル」サブクラスタである。これらのクラスタ・サブクラスタは、S305で計算されたものであり、その配置位置は、S306で計算されたものである。これらの配置や表現の詳細については、後述するものとする。
605は重要語をリスト表示したもので、S303、S304で得られたものか、それが改変されたものである。ここでは、各重要語の階層関係を、各重要語の枠線で示される領域の包含関係で示しており、点線の枠線は検索語として使用されなかった重要語を示している。このようにして、検索結果の3D空間での表示を実現する。また、後述するが、重要語が3Dの検索空間内に配置されている場合には、それに応じた表示を行う。このS307の処理が終了したら、S308へ進む。なお、図6以降、表示結果の図が複数あり、図中で2Dの平面的にみえるものもあるが、基本的には、各図の中のものは3Dで表示される立体的なものである。
S308は、利用者が検索の終了を指示したかどうかを判定する。これは図2の検索結果生成部210で処理される。利用者が、図1の入力装置104の操作などで、検索の終了を指示した場合には、S309へ進んで、処理は終了となる。検索の終了を指示が行われていない場合には、S310へ進む。S309は、処理の終了点であり、ここに到達した場合には、検索装置の処理がすべて終了することになる。
S310は、利用者が、図1の入力装置104の操作などで、3Dの検索空間内の移動を指示したかどうか判定する。これは図2の検索結果生成部210で処理される。利用者が、図1の入力装置104の操作などで、移動指示を行った場合は、S311へ進む。移動指示を行わなかった場合には、S312へ進む。
S311は、利用者が移動指示を行ったため、その移動指示に従い、3Dの検索結果空間内の視点位置を移動させ、その位置取得を行う。そして、その取得した視点位置に従い、S307へ進んで、3Dの検索結果空間の表示を更新する。これは図2の検索結果生成部210で処理される。これにより、利用者は、よりクラスタや検索結果候補に近づいてその内容を把握することを容易にする。また、遠ざかって他のクラスタや検索結果候補を並べて全体把握することを容易にする。さらに、見やすい角度からの回り込んで見ることなども可能にする。このようにして、この実施例では、検索結果候補が多数ある場合に、その内容や全体像を、この3Dの検索空間内の移動を行いながら、理解・把握していくようになっている。
S312は、利用者が、図1の入力装置104の操作などで、重要語の追加や、検索指示に使用していない重要語を検索指示に加えるような指示したどうかを判定する。これは図2の検索結果生成部210で処理される。利用者が、図1の入力装置104の操作などで、前記の指示を行った場合は、S313へ進む。移動指示を行わなかった場合には、S314へ進む。
S313は、S312で指示された重要語を、検索指示に追加する。これにより、重要語リストの内容は変更されることになる。すなわち、新規の重要語が追加された場合には、その重要語に対して新しい重要語IDを付加して、それを検索指示として使用状態とする。また、検索指示として使用されていない重要語に対しして、検索指示に加える指示の場合には、該当する重要語の検索指示状態が「使用」に変更される。そして、S314に進んで、検索処理から再度処理が行われ、3Dの検索結果空間の表示内容が更新されることとなる。
S314は、利用者が、図1の入力装置104の操作などで、重要語の3Dの検索結果空間内の投入や、投入された重要語の移動等、重要語の配置が行われたかどうかを判定する。利用者が、重要語を図1の入力装置104によって、投入・移動指示を行った場合は、S315へ進む。重要語の投入・移動指示を行わなかった場合には、S308へ進んで、次の指示に対する処理が継続される。S315は、利用者が、図1の入力装置104の操作などで操作した、重要語に対して、その3Dの検索結果空間内の位置を得る。そして、S316へ進む。
S316は、利用者が、図1の入力装置104の操作などで操作した、重要語に対して、選択候補がある場合に、その選択候補を得る。そして、S306へ進んで、重要語が3Dの検索空間内に配置されている場合の表示になるように、各クラスタや各検索結果候補の位置計算が行われ、S307で3D空間内に配置がされ、表示変更がなされる。この、3Dの検索結果空間に、重要語が配置されている場合の、表示内容や動作について、以下に、図7、図8、図9を用いて、まとめて記述する。
図7は、3Dの検索結果空間に、重要語が配置された直後の表示例である。図7中、701から705までは、図6の601から605と、それぞれ同じものなので、説明を省略する。また、この表示内容は、図3のS305からS307で計算・表示されることになる。
706は、3Dの検索結果空間内に配置された重要語であり、これが磁石などのように吸引力を持つものとして表現されている。ここでは重要語リスト705から重要語を選択すると、選択された重要語の磁石が表示されることとする。これは重要語のメタファであり、吸引力を持つことを利用者に想像させるようなものが好適となる。重要語のメタファとしての表現としては、何でも良いが、ここでは、吸引力を持つことを表しやすい磁石をメタファとして表現することとし、これを磁石メタファと呼ぶことにする。707は、「△△湿原」という重要語から作られた磁石メタファである。実際には、各クラスタや各検索結果候補は、図4(b)や図5(a)の例で示したように、重要語の個々に対して、類似度を保有している。したがって、磁石メタファは、その重要語との関連性として類似度が高いものに対して、強い吸引力をもつことになる。
これは、本来検索結果が配置されている位置から、その検索結果に対して、マクスウェルの磁力の式で示されるような、距離の二乗に反比例した吸引力があるものとし、これを全検索結果やクラスタが保有しているものとする。これに対し、磁石メタファも同様に吸引力を保有するが、磁石メタファがその磁石メタファの重要語についてのみ反応するところに特徴がある。したがって、磁石メタファの重要語と、各検索結果のメタデータのキーワード(クラスタの場合にはクラスタ名)との類似度の計算を行い、その類似度を基本値として、前述のマクスウェルの磁石のように、距離の二乗に反比例して変化するようにすることで吸引力の計算を行う。したがって、各検索結果やクラスタは、この2つの吸引力の釣り合いが取れるとこまで、移動することとなり、これにより、磁石メタファ使用時の動きが計算されることとなる。
さらに、磁石メタファに一定の距離以上近づいたクラスタについては、そのクラスタ内の検索結果候補やクラスタについても、個々に吸引力の計算を行うようにする。これにより、磁石メタファに近づいたクラスタは、その形状の変化や、非常に強い磁石メタファからの吸引力を保有する検索結果候補などは、クラスタの外側近くまで移動することとなる。なお、この計算方式は、磁石メタファに吸引力を持たせるものであり、本発明の表示や操作を行えるものであれば、いかなるものでも適用可能である。
しかし、単純に、クラスタや検索結果候補の全体に対して、吸引力を持ち、その配置位置を変更するのでは、検索結果候補全体に対する配置位置の変更が生じるだけで、これは、検索指示の単純な追加などの操作と、あまり変わらない結果となる。本実施例では、図6で示したように、検索結果候補がクラスタの形で、ある程度、分類・配置されている状態になっている。そのため、その中で集まっている特定かつ複数のクラスタや検索結果候補を選択して、その選択された対象にだけ、磁石メタファの吸引力を適用するようにする。そこで、その対象を選択する操作を保有することになる。
707は、磁石メタファで吸引する対象を選択するための、選択対象の範囲を示す表示である。この選択対象の範囲の中に、クラスタや検索結果候補が入ると、その状態の変化を表現する。具体的に、704の「ツル」のサブクラスタが、707の選択対象の範囲に含まれたため、色が変わり強調表示されることが図7では示されている。
図8は、図7で示した選択操作をした後に、磁石メタファの吸引力を開始した後の表示である。図8中、801から803と805から806は、図7中の701から703と705から706と、それぞれ同じものなので、説明を省略する。また、この表示内容は、図3のS305からS307で計算・表示されることになる。
808と809は、704の「ツル」のサブクラスタに対して、磁石メタファ806の吸引力が行使されたために、配置が変更されたものである。808は、磁石メタファ806に対して、強く吸引されていないため、まだ「ツル」のサブクラスタの形態を保持している。これに対して、809は、もともと704の「ツル」のサブクラスタ内にあった、サブサブクラスタや、検索結果候補であるが、808は、磁石メタファ806に対して、強く吸引されたため、704の「ツル」のサブクラスタから引き出されたものである。さらに、この磁石メタファの根元に、その重要語に対して類似度が高いものが集まるが、この内容が見やすいように、通常の磁石とは異なり、磁石メタファの根元部分が太くなるように紡錘状に集まるようにする。このような集まり方を行うことで、その磁石メタファの根元部分にある、検索結果候補や(サブ)クラスタなどについて、その内容を容易に把握できるようにする。この場合、磁石メタファの根元部分の検索結果ほど、利用者が見たいはずなので、検索結果が重ならないように配置するのが良いし、強調表示などを施しても良い。
これに対し、磁石メタファから遠い部分は、相対的に重なっても構わないし、表現をある程度、省略してもよい。そして、さらに、磁石メタファの根元部分がよく見えるように、視点を近づけて配置するようことで、その内容を個々に、もしくは、見比べて把握できることを容易に行えるようにする。また、磁石メタファの操作時の、操作の速度や移動距離などに応じて、検索結果の配置や配置の形状などを変化させてもよい。たとえば、ゆっくり磁石メタファを移動させている場合と、高速に移動させる場合とで、または、移動距離が大きいか小さいかによって、(特に、磁石メタファの根元部分で)、検索結果の配置や配置の形状を変化させるのである。これにより、類似度がどの程度高い検索結果までを移動させるか、逆に、どの程度、低いと移動させないか、移動させた後の、視点の位置をどこまで、検索結果に近づけるかなどの調整ができるようにする方法が考えられる。このような処理を追加することで、磁石メタファの操作方法に多様性と、それに応じた検索結果の見せ方も変化させるのである。これは、有効な磁石メタファを操作しながら試している場合などにおいて、利用者によって効果的な方法であるともに、磁石メタファを操作して見える結果をどこまで表現するかという点で、処理や処理の軽減を図る方法でもある。
図9は、図8の結果に対して、別の磁石メタファを連続配置したい場合の表示である。図9中、901から903と905から906と908から909は、図8中の801から803と805から806と808から809と、それぞれ同じものなので、説明を省略する。また、この表示内容は、図3のS305からS307で計算・表示されることになる。 910は、重要語「希少動物」の磁石メタファであり、この磁石メタファ906を配置して、その根元に集まってきた部分に対して、図7のように選択操作を行い、図8のように磁石メタファ910の吸引力を行使した結果である。これにより、磁石メタファ910に強く吸引された結果、911の「□□ツル」のサブサブクラスタもしくは検索結果候補が取出されてことがわかる。
図9で示される操作を行うことで、検索結果の一部について磁石メタファを適用した結果についても、その全部、もしくは、一部について、異なる磁石メタファを適用することができる。このような操作の場合、最初の磁石メタファ(これを磁石メタファ1とする)を適用において、その磁石メタファ1に類似度の高いものが得られる。そして、次の磁石メタファ(これを磁石メタファ2とする)の適用で、磁石メタファ1に類似度の高いものから選択された中で、磁石メタファ2に類似度の高いものが得られる。ここで、最終的に吸引されて残った検索結果は、磁石メタファ1と磁石メタファ2での検索結果の単純な積集合ではなく、磁石メタファ2の方の類似度が高いことが優先した状態になっている。すなわち、(異なる)磁石メタファの適用順番に応じて、最終的に吸引されて残った検索結果やその配置が変化することになる。これは、単純に検索結果全体に対して、キーワードなどの検索指示を追加することで、検索結果の和集合や積集合を得る場合と異なり、磁石メタファの適用順番を適切に選ぶことで、必要な検索結果を早く絞り込む手段の提供が可能となる機能を有しているのである。
いうまでもなく、もっと多数の磁石メタファを利用しても構わないし、一度、磁石メタファが適用された検索結果に対して、複数の異なる磁石メタファを適用しても良い。本発明は、このように、多数の磁石メタファを適用して、絞り込み検索を強力に行う場合に、好適なものになっている。そのため、前述したように、磁石メタファとなる重要語は、任意に追加が可能で、それから磁石メタファを作り出せるようになっている。ただし、検索結果があまり類似度を保有しない重要度を追加すると、その磁石メタファは有効に活用できないので、その重要語を追加して、再検索して、検索結果を再構成する方が有効となる。
以下に、S307での表示についての補足的な詳細を記す。
S307では、本発明の特徴である、磁石メタファの適用以外に、基本的な表示や、特に検索結果の空間内の移動や、検索結果を良く見るための操作と表示などがある。それらについて、以下に詳細を記す。
図8や図9で磁石メタファが適用されている状態においても、S307での表示において、S1110とS1111での視点を移動させることで、3Dの検索空間内を移動して、検索結果を自由に見ることが可能である。そして、各検索結果は視点方向から見やすいように、配置される方向を変化させることができる。視点方向からこの表示を行う際に、各検索結果の表示を、視点からの距離や、検索結果としての類似度等を基に、表示精度や見え方を変化させることができる。これを利用して、表示処理速度の改善を行う。
また、特定の検索結果やクラスタに注目している際に、関係が薄いものが邪魔にならないように、ぼやけた表示等を行う。これは、3Dの検索空間の表示において、空間の距離感を強調することと、利用者から手前にある注目している検索結果について、利用者の着目・集中を行いやすくするためのものである。そのため、表示速度的には余分な処理ではあるが、その処理速度低下を、利用者に特に感じさせない範囲において、このような表示方法を仕様することは、利用者にとって重要である。
さらに、3Dの検索空間内の移動を行っている場合に、その視点の位置や経路を分かりやすくするために、図6の602の空間の最下限を示す床の上に、縦横線(グリッド)の表示などを行うことで、3Dの検索空間の距離感を分かりやすくすることができる。このグリッド以外にも、床面の色や輝度などを変えたりすることでも同様の事が可能である。これは、この空間自体の背景となる無限遠点の色や輝度や模様などでも同様の事が可能である。さらに、3D空間表示内の検索結果やクラスタ、磁石メタファなどを俯瞰するような地図表示を追加するという方式も考えられる。これらの方式は、いずれも、本発明で利用可能で、3D空間の検索空間内の表示を分かりやすくするものである。
特定のクラスタを選択して、そのサブクラスタを表示させることができる。これは、特定のクラスタに近づくと、S307での表示において、そのサブクラスタ表示を行うように、表示方式を変更させることで実現されている。また、クラスタを表示している場合には、そのラベル(前述の例の「ツル」など)が表示され、これも視点移動に伴い、見やすい位置などに移動して、利用者に見やすい状態を保つようになっている。さらに、サブクラスタの存在を示すために、クラスタ表示には、クラスタとサブクラスタの影を図6の602上に表示する、もしくは、クラスタの中にサブクラスタの存在を示す特定の形状の枠などが表示される。このサブクラスタを表示においても、そのクラスタやサブクラスタに視点が近づくと、ラベルが表示され、これも視点移動に伴い、見やすい位置などに移動して、利用者に見やすい状態を保つようになっている。
また、このクラスタ、サブクラスタの表現をもっと分かりやすくするために、表示や動きを変えることを行う方法が考えられる。さらに、同じクラスタやサブクラスタに所属する場合には、どのクラスタやサブクラスタに所属しているかを区別できるように、表示や動きを変えることを行う方法が考えられる。例えば、個々の検索結果色の色や輝度、動き(例えば、置位置付近で上下や左右に少し移動して、戻ってくるような動き)において、同一のクラスタやサブクラスタに所属しているものに、同じものを使用して、表示や動き付けなどを行うことで実現することができる。さらに、検索結果の最初の表示の時や、クラスタがそのサブクラスタになる表示の時、または、サブクラスタがその上位のクラスタになる表示の時に、そのクラスタやサブクラスタの単位で、移動や特定の動作、色や輝度の変化などを行いながら、クラスタやサブクラスタ内の検索結果の表示や移動を行うことで、その所属しているクラスタやサブクラスタを利用者に強く意識させることができる。移動する際にも、単純に目的の位置へ直線的に移動するのではなく、所属するクラスタやサブクラスタ単位で、冗長になるが同じ曲線的な移動を行うことでも同様の効果を得られることができる。
また、特定の検索結果を選択して、拡大表示を行わせることで、検索結果をもっと詳細に見ることができるようになっている。その際に、検索結果として残っている理由を知るために、検索結果の保有するキーワードなどの様々なメタデータを見ることも可能である。
また、異なる検索結果やクラスタに対して、同じ重要語の磁石メタファを適用することが可能である。さらに、いったん適用した磁石メタファに対して、適用解除を行うことで、吸引された検索結果やクラスタを、その前の配置位置に戻すことが可能である。さらに、重要語の磁石メタファを適用されている検索結果とそうでない検索結果を区別できるように、表示や動きを変えることを行う方法が考えられる。さらに、複数の磁石メタファを適用している場合には、どの重要語の磁石メタファが適用されているかが区別できるように、表示や動きを変えることを行う方法が考えられる。例えば、個々の検索結果色の色や輝度、動き(例えば、置位置付近で上下や左右に少し移動して、戻ってくるような動き)において、同一の重要語の磁石メタファが適用されているものに、同じものを使用して、表示や動き付けなどを行うことで、実現することができる。これらを行う際に、クラスタやサブクラスタの表示や動き、移動などと異なるパターンで行うことで、操作している内容が重要語の磁石メタファの適用であることを、利用者に意識させることが可能である。
このように、重要語の中から特に重要な重要語を検索指示として検索を行った結果に対して、検索結果候補をその集まりである(サブ)クラスタとしてコンテンツの分類表示を行う。そして、磁石メタファを利用して、磁石メタファとコンテンツとの関連性に応じて表示を変更する。また、コンテンツの一部の(サブ)クラスタや検索結果候補の選択を行い、その選択された対象にのみ、重要語の磁石メタファによる吸引による取出しを行う。これにより、多次元空間を利用した検索結果の表示において、その空間内での表示・操作が、検索指示の追加・変更などと連動することで、その内容が把握しやすい。また、通常の検索操作で難しい、検索結果の特定の一部に対する、絞り込み検索を実現する。また、それを連続的に、異なる重要語の磁石メタファを利用することで、さらに効果的な、検索結果の特定の一部に対する絞り込みを実現する。(実施例2)
本実施例では、文書検索やインターネットの情報検索において、検索を行う操作とその結果である多数の検索結果の表示を行う際を例である実施例1をもとに、3Dの空間配置による表現をさらに活用した例を説明する。
図10は、図7で示した選択操作をした後に、磁石メタファの吸引力を開始した後の表示である。図10中、1001から1009は、図8中の801から809と同じものである。ただし、1006の重要語の磁石メタファが選択され絞り込みが開始されると自動的に、1006の重要語の磁石メタファの位置が、利用者から見て手前方向に移動し、それにより移動する検索結果1009も利用者から見て手前方向に移動している。さらに、この手前に移動してくる検索結果がよく見えるように、視点の位置も同時に移動している。このようにすることで、移動する検索結果が画面上、よく見える位置となり、かつ、それが拡大されて表示されるような状態になるのである。これは3D空間を利用した検索結果の提示を行っていることを活用した、絞り込み検索結果の提示方式となる。これにより、利用者は、磁石メタファの吸引力を利用した絞り込み検索の結果が容易に把握できるようになる。
これを行うために、実施例1の処理に追加を行う必要があるが、これを図11で示す。
図11中、S1101からS1116は、図3中のS301からS316と同じであるため、説明を省略する。追加されているのは、S1117である。S1117は、S1116で得た情報をもとに、操作された重要語があり、磁石メタファ1006の吸引力を利用する状態になった場合に、その重要語の磁石メタファの位置と視点位置を移動させる処理を行う。そして、図10で示したような位置になるように位置を修正し、移動が発生するようにする。そして、S1106へ進んで、重要語の磁石メタファが3Dの検索空間内に配置されている場合の表示になるように、各クラスタや各検索結果候補の位置計算が行われ、S1107で検索結果空間の表示が行われ、本実施例の表示が実現されることになる。
また、S1117での処理において、類似度が高い順に並べる、または、類似度の差が分かるように、並べる場合の配置の位置を決めるようにする。これにより、利用者は、適用した検索指示に対して、どの程度、類似度が高いものがあるのか、その数はどのくらいなのかを、分かりやすく表示することができる。この時に、あまり類似度の高くないものを、その並べる候補から外すことを行うようにする。もしくは、その類似度の高くないものを判定するための基準最低類似度を決めておき、これ以下のものを、並べる候補から外すことを行う。また、その基準最低類似度を、磁石メタファの重要語毎に設定・変更できるようにする。
同様に、その類似度に対して、重要語毎に重みなどを変えることができるように、磁石メタファの重要語毎に、その強度を設定できるようにしておき、それを類似度の計算に含めるようにしてもいい。こうすることで、重要語毎に類似度に重みが付いて、検索結果の並び位置などが変更できるようになる。このようなことを行った場合、磁石メタファの吸引力の強弱のように利用者には見えることになり、これは磁石の特性を利用した分かりやすい表現になっている。
さらに、実施例1と同様に、この場合も、視点を移動させることで、3Dの検索空間内を移動して、検索結果を自由に見ることが可能である。そして、各検索結果は視点方向から見やすいように、配置される方向を変化させることができる。視点方向からこの表示を行う際に、各検索結果の表示を、視点からの距離や、検索結果としての類似度等を基に、表示精度や見え方を変化させることができる。また、特定の検索結果やクラスタに注目している際に、関係が薄いものが邪魔にならないように、ぼやけた表示等を行う。そして、利用者から表示速度低下が特にわからないような範囲で、このような表示を行うようにする。
さらに、S1117での処理において、一度に移動を行わせず、徐々に移動させるように、各位置の修正を行うと、画面手前に徐々に、重要語の磁石メタファ1006や検索結果1009が、利用者からみて手前に移動してくることを連続的に確認できるようになる。さらに、重要語の磁石メタファに類似度の高い検索結果から、順番に移動させたり、その配置の単位内の検索結果ごとに順番に移動させる。また、この移動時に、類似度に応じて、色や輝度、移動時の動きや経路などを変えることで、単純な類似度順だけでなく、類似度の違いの大きさを利用者に表現することができる。また、検索結果の類似度が大きく変化するような場合に、色や輝度、移動時の動きや経路などを大きく変わるようにすることで、その類似度の変化の違いを利用者に表現することができる。同様に、背景や床、検索結果の近傍の空間などの色や輝度を、この重要語の磁石メタファの適用時の状態や、どの重要語の磁石メタファが適用されているかの状態を表現するとことができる。また、これらを検索結果の移動に合わせて変化させることで、その重要語の磁石メタファの適用における変化が、どの程度の類似度の検索結果が移動しているのか、もしくは、全体でどの程度の移動が生じるのか、すなわち、どの程度の検索結果が得られるのかを表現する。また、効果音等を用いて、前述の色や輝度の違いに相当する違いを表現する方法もある。
このような方法を行うことで、その表示内容は、利用者にわかりやすいものとなる。この際に、類似度が高く、手前に来る検索結果については注目してもらえるように、連続的で目立つように曲線的な移動で動きを示し、その移動も優先的に行い、その内容の表示精度も高く保つようにする。逆に、類似度が低いものについては、表示処理負担軽減のため、簡単な直線的な移動の組合せや、移動時の表示精度低下を行うようにする。
このように、重要語の中から特に重要な重要語を検索指示として検索を行った結果に対して、検索結果候補をその集まりである(サブ)クラスタとしてコンテンツの分類表示を行う。そして、磁石メタファを利用して、磁石メタファとコンテンツとの関連性に応じて表示を変更する。また、コンテンツの一部の(サブ)クラスタや検索結果候補の選択を行い、その選択された対象にのみ、重要語の磁石メタファによる吸引による取出しを行う。これにより、多次元空間を利用した検索結果の表示において、その空間内での表示・操作が、検索指示の追加・変更などと連動することで、その内容が把握しやすい。また、これにより、通常の検索操作で難しい、検索結果の特定の一部に対する、絞り込み検索を実現する。また、それを連続的に、異なる重要語の磁石メタファを利用することで、さらに効果的な、検索結果の特定の一部に対する絞り込みを実現する。また、その絞り込まれた結果を容易に把握できるようにする。(実施例3)
本実施例では、文書検索やインターネットの情報検索において、検索を行う操作とその結果である多数の検索結果の表示を行う際を例である実施例1をもとに、3Dの空間配置による検索効率をさらに活用した例を説明する。実施例1の処理を主に行う主体として、図1のCPU101とGPU108がある。3D空間での表示は、GPU108が担当しており、各検索結果やそのクラスタの表示内容やその位置、重要語の磁石メタファの表示内容やその位置などを与えれば、GPU108を中心に計算が行われて表示内容が作成され、表示装置109に表示されることとなる。これは、このGPU108を中心に構成される、いわゆる、3D空間のレンダラがある状態である。実際には、図3中の、S307の処理が、これに該当し、S311とS315の処理は、3D空間のレンダラから位置を取得するようになる。また、3D空間内の移動も、利用者の操作に応じて、3Dレンダラにそれを通知するだけで、表示装置109に表示が更新されるようになる。さらに、3D空間のレンダラが入力も管理できる場合には、検索結果やクラスタや重要語の磁石メタファなどの選択なども3Dレンダラが検出するようにできるものもある。実施例1の図3の各処理を、このように、処理の適切な振り分けを行うことで、処理負担の分散化を行い、処理の効率化を図ることができるようになっている。
そこで、実施例3では、さらなる処理の分散化を図る。それは、3D空間での表示を行うような機器の場合、3D空間内で表現する内容について、重力による効果や、力が加わったことによる物体の移動などの物理現象を行うことが多くなる。そのため、このような物理計算を主に専門とするような物理計算エンジンが利用できる場合がある。この物理計算エンジンは、図1のCPU101の中か、GPU108の中、もしくは独立して、バス105に接続されて配置されることが考えられる。本発明では、前記のどの配置でも構わないし、さらに、CPU101やGPU108が、このような物理演算を得意とするものである場合には、物理計算エンジンが別になくとも実現可能で、効果が望めることになる。本実施例では、わかりやすいように、物理計算エンジンを独立のバスに配置されるものとする。図12が、これを示した図であり、図12中1201から1209は、図1の101から109と同じなので、説明を省略する。1210が物理計算エンジンPPUであり、前述したように、物理計算を主に専門とした計算を行う部分である。
このような場合、本実施例における検索結果やクラスタなどの位置の計算を、物理現象の運動や磁力のマクスウェルの方程式などのような物理計算に置き代えて表現することで、3D空間の表示をGPU1208とPPU1210に行わせることが可能となる。この時に、検索結果の表示空間内での現象は、我々が通常生活している世界とは異なる物理計算を行う場合もあり、予め、その仮想物理空間での現象を、前述の運動方程式やマクスウェルの方程式などに代えて、PPU1210に与えることで対応できる。同様に、磁石メタファを利用した操作などは、一般相対性理論のような空間変形の方程式の形か、それを参考にした仮想空間での空間変形の方程式で与えても良い。このようにすることで、処理の分散化を進め、検索とその結果作成を、図1のCPU101、検索結果やクラスタの位置計算をPPU1210、3D空間での表示内容の計算をGPU108に分散させることが可能となる。
このような分散処理を行った場合の処理の流れを記したものが、図13である。図13中、1301から1305と、1308から1316は、図3中の301から305と、308から316と同じであるため説明を省略する。
S1317は、図12のCPU1201で、あらかじめ、検索結果の表示に使用する3D空間内での物理方程式を、図12のPPU1210に設定する部分である。前述したように、ここで設定する物理方程式は、仮想空間の物でもよく、我々が通常生活している世界とは異なるものでも構わない。実際には、検索結果の類似度等をもとに配置を計算するので、その類似度などを物理特性の値に変換して計算する際に使用する物理方程式となる。例えば、クラスタ内の検索結果の配置は、そのクラスタを中心とする類似度を基にした吸引力と無限遠点からの吸引・斥力や、検索結果やクラスタ同士の吸引力や斥力、検索結果が物理運動している場合の運動方程式等といったものを与えることとなる。
S1318は、図12のCPU1201で、S1305で計算した検索結果候補情報の分類/クラスタ計算の結果を基に、各検索結果やクラスタの特性(中心位置や半径、吸引力の基となる内容など)と重要語の情報を、S1317で与えた物理方程式で計算できるように、物理特性へ変換する。これを、PPU1210へ送ることで、PPU1210は、S1317で与えた物理方程式と合わせて、各検索結果の位置などの計算を行わせることが可能となる。
S1319は、図12のPPU1210で、S1317で取得した物理方程式に対して、S1318で与えられた各検索結果や重要語等の物理特性値を適用して、物理計算を行うことで、各検索結果の配置される位置などの情報の計算を行う。そして、その位置情報などを、GPU1208へ送る。これにより、GPU1208で表示内容が作成できるようになる。S1320は、図12のGPU1208で、S1318で与えられた位置情報を基に、検索結果や重要語の磁石メタファの3D空間の表示を作成し、表示装置1209で利用者に対して表示する。
この実施例では、図12のPPU1210を使用することにしている。しかし、一般的に、物理計算は、科学技術演算などで利用され、大量の計算対象(データ)について適用されることが多いため(例えば、物理シミュレータなど)、高速に計算できるような機構もしくはその一部が、CPU1201などに格納されていることは多い。そして、その高速計算特性を引き出せるようなソフトウェアが準備されていることも多い。さらに、ゲームなどのソフトウェアで3D空間内の物体の配置や接触・衝突などを計算することが多い。そのため、科学技術演算ほどの精度はないが、利用者に3D空間内の表示等を行って違和感が発生しない程度の物理演算を大量に効率よく行えるような機構もしくはその一部が、GPU1208などに格納されていることは多い。そして、このようなGPU1208を活用した高速計算特性を引き出せるようなソフトウェアが準備されていて、CPU1201から利用できることが多い。そのため、このような場合であれば、各検索結果やクラスタや磁石メタファなどの配置位置の計算を、物理計算の形で表現し、前述したような高速計算特性を引き出せるようなソフトウェアを利用するだけでも、処理速度の向上が望めるのである。
さらに、磁石メタファを適用した場合の各検索結果の配置などは、その磁石メタファに対する類似度という値を各検索結果が有することになるが、これを空間的な配置にあてはめる際に、実際の物理現象とは異なる計算を行う必要がある。これによって、得られる検索結果が、利用者に見やすいように配置することを実現するためである。このような場合の計算を、単純な吸引力のような物理計算だけでなく、それが配置される空間をゆがませるような物理計算(一般相対性理論における重力場の計算など)に置き換える。これにより、磁石メタファを適用した場合の計算をすべて、物理計算に置きかえることが可能となる。このようにすることで、前述したような高速計算特性を引き出せるようなソフトウェアやPPU1210など利用する際の効率向上を狙うことが可能であり、それにより、処理速度の向上も望めるのである。
以上実施例1〜3で説明したように、重要語の中から特に重要な重要語を検索指示として検索を行った結果に対して、検索結果候補をその集まりである(サブ)クラスタとしてコンテンツの分類表示を行う。そして、磁石メタファを利用して、磁石メタファとコンテンツとの関連性に応じて表示を変更する。また、コンテンツの一部の(サブ)クラスタや検索結果候補の選択を行い、その選択された対象にのみ、重要語の磁石メタファによる吸引による取出しを行う。これにより、多次元空間を利用した検索結果の表示において、その空間内での表示・操作が、検索指示の追加・変更などと連動することで、その内容が把握しやすい。また、通常の検索操作で難しい、検索結果の特定の一部に対する、絞り込み検索を実現する。また、それを連続的に、異なる重要語の磁石メタファを利用することで、さらに効果的な、検索結果の特定の一部に対する絞り込みを実現する。また、検索結果などの表示を行うための処理を分散化させることで、その実現を容易にする。(その他の実施形態)
尚、本発明は多次元表示であれば、いくつの次元表示であっても適用可能である。ただし、3Dの立体表示利用時に効果が高い。また、本発明の構成は図1のものに限らない。基本的な構成内容が同じであれば、適用可能である。また、本発明の検索対象は、文書、画像、動画像、音声など、いかなるものであっても良い。検索される対象となるその特徴データ(メタデータ)があれば良く、そのメタデータの抽出方式や検索方式は何でも構わない。検索方式は、あらかじめ検索インデキシングを作成する方式であっても、検索時にメタデータの抽出や比較を行うような検索方式であっても構わない。また、本発明は、他の機器や手段等から、起動されたり、呼び出されたり、最初に検索する内容の情報をもらって、検索の自動開始を行う場合など、それらの機能に連携する形でも、適用可能である。同様に、本発明で検索された結果や、その一部、特に利用者が選択した検索結果などを、他の機器や手段等に提供し、それらの機能に連携する形で利用しても良い。また、本発明は複数の機器の連携で実現されても良い。特に、コンピュータ・ネットワークなどを利用した複数の機器の連携が考えられる。主な計算を行う主体が、インターネット等の上にあり、表示や入力を行う主体が、インターネットなどのネットワークを利用する機器である場合などが考えられる。
また、本発明は複数の機器(例えば、ホストコンピュータ,インターフェース機器,リーダ,プリンタ)から構成されるシステムに適用してもよい。また、1つの機器からなる装置(例えば、複写機,ファクシミリ装置,カメラ,ビデオカムコーダ,テレジョンなど)に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (17)

  1. 仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示する表示制御手段と、
    1つのキーを前記表示画面上に配置する配置手段と、
    前記複数のコンテンツの内、前記配置手段によってキーが配置された位置に基づいて検索対象のコンテンツを選択する選択手段と、
    前記選択手段によって選択された対象に対して、前記配置されたキーで検索を行う検索手段と、
    前記検索手段によって検索されたコンテンツを、前記配置手段によって配置されたキーとの関連性に基づいて、配置を変更して表示する表示変更手段とを備えることを特徴とする表示制御装置。
  2. 前記表示変更手段は、前記配置されたキーと前記検索されたコンテンツとの距離が、該コンテンツの有するキーワードと前記配置されたキーとの類似度に応じた距離となるように、前記コンテンツを配置して表示することを特徴とする請求項1に記載の表示制御装置。
  3. 前記表示変更手段は、前記配置されたキーと前記コンテンツとの距離が近いコンテンツほど見やすく表示することを特徴とする請求項2に記載の表示制御装置。
  4. 前記表示制御手段は、前記複数のコンテンツを、前記キーワード毎に分類して表示することを特徴とする請求項1に記載の表示制御装置。
  5. 前記表示制御手段は、前記複数のコンテンツを、前記キーワード毎に分類し、クラスタリングして表示することを特徴とする請求項1に記載の表示制御装置。
  6. 前記表示変更手段は、前記キーの位置に応じた分類に該当するコンテンツから該キーで絞り込み検索を行うことを特徴とする請求項4または5に記載の表示制御装置。
  7. 前記表示変更手段は、前記キーが吸引力を持つものとして、前記検索手段による検索によって絞り込まれたコンテンツを表示することを特徴とする請求項2に記載の表示制御装置。
  8. 前記表示変更手段は、前記キーの位置に応じた分類に対応する領域を強調表示することを特徴とする請求項4または5に記載の表示制御装置。
  9. 前記表示変更手段は、前記表示画面上に表示された複数のコンテンツの視点を移動させて表示を行うことを特徴とする請求項1〜8のいずれか1項に記載の表示制御装置。
  10. 前記配置手段は、前記配置されたキーとは別のキーを更に配置し、
    前記表示変更手段は、前記検索手段で検索された結果に対して、該別のキーに基づいて絞り込み検索を行うことを特徴とする請求項2、6または7のいずれか1項に記載の表示制御装置。
  11. 前記表示制御手段は、前記複数のコンテンツが有するキーワードをリスト表示することを特徴とする請求項1に記載の表示制御装置。
  12. 前記表示制御手段は、前記複数のコンテンツを球体状に配置して表示し、
    前記表示変更手段は、前記キーに基づいて前記複数のコンテンツの配置を変更して表示する場合、該複数のコンテンツを紡錘状に配置して表示することを特徴とする請求項1〜11のいずれか1項に記載の表示制御装置。
  13. 仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示する表示制御手段と、
    1つのキーを前記表示画面上に配置する配置手段と、前記配置手段によって配置されたキーと前記複数のコンテンツとの関連性に基づいて、前記コンテンツが前記キーに吸引されるように前記複数のコンテンツの配置を変更して表示する表示変更手段とを備えることを特徴とする表示制御装置。
  14. 仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示手段が表示する表示工程と、
    1つのキーを前記表示画面上に配置手段が配置する配置工程と、
    前記複数のコンテンツの内、前記配置工程によってキーが配置された位置に基づいて検索対象とするコンテンツを選択する選択工程と、
    前記選択工程によって選択された対象に対して、前記配置されたキーで検索を行う検索工程と、
    該検索工程によって絞り込まれたコンテンツを、前記配置工程で配置されたキーと前記複数のコンテンツとの関連性に基づいて、前記複数のコンテンツの配置を変更して表示変更を行う表示変更工程と
    を備えることを特徴とする表示制御装置の制御方法。
  15. 仮想空間にそれぞれがキーワードを有する複数のコンテンツを配置して表示画面上に表示する表示制御工程と、
    1つのキーを前記表示画面上に配置する配置工程と、
    前記配置工程で配置されたキーと前記複数のコンテンツとの関連性に基づいて、前記コンテンツが前記キーに吸引されるように前記複数のコンテンツの配置を変更して表示する表示変工程と
    を備えることを特徴とする表示制御装置の制御方法。
  16. 請求項14に記載された表示制御装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
  17. 請求項14に記載のプログラムを記憶したコンピュータが読み取り可能な記録媒体。
JP2011163233A 2010-08-16 2011-07-26 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体 Pending JP2012064200A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011163233A JP2012064200A (ja) 2010-08-16 2011-07-26 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010181895 2010-08-16
JP2010181895 2010-08-16
JP2011163233A JP2012064200A (ja) 2010-08-16 2011-07-26 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2012064200A true JP2012064200A (ja) 2012-03-29

Family

ID=44651099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011163233A Pending JP2012064200A (ja) 2010-08-16 2011-07-26 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20120041952A1 (ja)
EP (1) EP2420947A1 (ja)
JP (1) JP2012064200A (ja)
CN (1) CN102375876A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235723A (ja) * 2013-06-05 2014-12-15 日本電信電話株式会社 情報提示装置、方法、及びプログラム
JP2015210587A (ja) * 2014-04-24 2015-11-24 株式会社Nttドコモ 情報処理装置、プログラム及び情報出力方法
JP2017068862A (ja) * 2016-12-06 2017-04-06 株式会社Jvcケンウッド 情報処理装置、情報処理方法、及び情報処理プログラム
JP2017134847A (ja) * 2017-02-27 2017-08-03 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275681B2 (en) 2007-06-12 2012-09-25 Media Forum, Inc. Desktop extension for readily-sharable and accessible media playlist and media
JP5744660B2 (ja) * 2010-08-26 2015-07-08 キヤノン株式会社 データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
US8799263B2 (en) * 2011-09-04 2014-08-05 Leigh M Rothschild Systems, devices, and methods for providing multidimensional search results
US8843497B2 (en) * 2012-02-09 2014-09-23 Linkshare Corporation System and method for association extraction for surf-shopping
KR101462253B1 (ko) * 2012-03-08 2014-11-17 주식회사 케이티 동적으로 메뉴를 생성하는 메뉴 데이터 생성 서버 및 방법, 그리고 메뉴 데이터를 표시하는 단말
JP2013253961A (ja) * 2012-05-07 2013-12-19 Denso Corp 画像表示システム
CN105446705B (zh) * 2014-06-30 2019-06-21 国际商业机器公司 用于确定配置文件的特性的方法和装置
EP3198473A1 (en) * 2014-09-22 2017-08-02 THOMSON Licensing Use of depth perception as indicator of search, user interest or preference

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3686802B2 (ja) 1999-11-08 2005-08-24 日本電信電話株式会社 データベース検索方法、装置、およびデータベース検索プログラムを記録した記録媒体
US7519605B2 (en) * 2001-05-09 2009-04-14 Agilent Technologies, Inc. Systems, methods and computer readable media for performing a domain-specific metasearch, and visualizing search results therefrom
JP2003173356A (ja) 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> 検索結果表示装置および方法と検索結果表示プログラムと該プログラムを記録したコンピュータ読取り可能な記録媒体
US7447418B2 (en) * 2003-01-17 2008-11-04 Matsushita Electric Industrial Co., Ltd. Image reproducing device and image recording/reproducing device
JP2008097175A (ja) 2006-10-10 2008-04-24 Fuji Xerox Co Ltd 電子ファイル検索装置
JP5044236B2 (ja) * 2007-01-12 2012-10-10 富士フイルム株式会社 コンテンツ検索装置、およびコンテンツ検索方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235723A (ja) * 2013-06-05 2014-12-15 日本電信電話株式会社 情報提示装置、方法、及びプログラム
JP2015210587A (ja) * 2014-04-24 2015-11-24 株式会社Nttドコモ 情報処理装置、プログラム及び情報出力方法
JP2017068862A (ja) * 2016-12-06 2017-04-06 株式会社Jvcケンウッド 情報処理装置、情報処理方法、及び情報処理プログラム
JP2017134847A (ja) * 2017-02-27 2017-08-03 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
EP2420947A1 (en) 2012-02-22
US20120041952A1 (en) 2012-02-16
CN102375876A (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
JP2012064200A (ja) 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
Raja et al. Exploring the benefits of immersion in abstract information visualization
CN113795834A (zh) 用于修改查询图像的技术
Young Three dimensional information visualisation
EP3262616A1 (en) Molding and anchoring physically constrained virtual environments to real-world environments
CN104969223A (zh) 相邻搜索结果探索
JP2004288170A (ja) 三次元モデル検索方法及びシステム
TW201106181A (en) A method and system for facilitating object searches in virtual worlds
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
Khanwalkar et al. Exploration of large image corpuses in virtual reality
Koutsoudis et al. Content-based navigation within virtual museums
JP6144968B2 (ja) 情報提示装置、方法、及びプログラム
Subramanian et al. Survey and classification of spatial object manipulation techniques
Zhang et al. User guided 3D scene enrichment.
Chen et al. Game development data analysis visualized with virtual reality
Steed et al. Immersive visual analytics for transformative neutron scattering science
Ryan et al. Large-scale interactive visualizations of nearly 12,000 digital games
JPH10207907A (ja) 3次元空間を用いたオブジェクト配置・表示・操作方法および装置
Hérisson et al. DNA in Virtuo visualization and exploration of 3D genomic structures
Barthel et al. navigu. net: NAvigation in Visual Image Graphs gets User-friendly
Dengel et al. Human-centered interaction with documents
Henriques et al. Poster: Evaluation of immersive visualization techniques for 3D object retrieval
Choi et al. Motion rank: applying page rank to motion data search
Pinho et al. Voromap: A voronoi-based tool for visual exploration of multi-dimensional data
Sridhar et al. FullHand: markerless skeleton-based tracking for free-hand interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318