JP6021272B2 - 情報処理システムおよび情報処理方法 - Google Patents

Description

本発明は、ナチュラル・ユーザー・インターフェイス（ＮＵＩ）を用いた情報処理システムおよび情報処理方法に関する。

近年、３次元でのユーザーからの入力を認識可能な、モーションキャプチャーデバイスなどの入力デバイスと、３次元での画像出力が可能な、空中ディスプレイやＨＭＤ（Head Mount Display）などの出力デバイスとを用いて、コンピューターとユーザーとの間で自然で直感的な遣り取りを行えるＮＵＩが実現されてきている。

また、情報処理装置に蓄えられた大量のデータを整理してユーザーに分かり易く提示する技術が開発されてきている。

例えば、特許文献１では、ユーザーが画面に時系列で表示される多くのデータを見やすいように、そのデータが過去にどのタイムスケールで閲覧されたかの記録に基づき、自動的にタイムスケールが切り替えられて時系列データが表示されるという技術が開示されている。

また、例えば、特許文献２では、携帯電話端末において、自端末の通信の履歴情報に基づいて通信パターンを抽出し、抽出した通信パターンをカレンダーの各日に対応付けて視覚的により分かり易く表示する技術が開示されている。そして、特許文献２の技術では、通信の履歴情報を統計処理し、単位期間ごとの通信量を折れ線グラフで表示することも行われている。

また、例えば、特許文献３では、画像形成装置を用いて、送受信される大量の電子メールを、スレッドごとに管理する技術が開示されている。

特開２０１２−１７３８４６号公報 特開２００７−１１０１９９号公報 特開２０１２−８６３５号公報

上述したように、大量のデータを扱う情報処理装置では、蓄えられた大量のデータを分かり易くユーザーに提示するために様々な工夫がなされてきた。

しかし、ＮＵＩを用いる情報処理装置において、大量のデータを整理して分かり易くユーザーに提示したり、ユーザーが提示されたデータを操作したりする仕組みには改善の余地があった。

以上のような事情に鑑み、本発明の目的は、ナチュラル・ユーザー・インターフェイスを用いて大量のデータを整理し分かり易くユーザーに提示でき、提示されたデータをユーザーが直感的に操作できる情報処理システムおよび情報処理方法を提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理システムは、情報処理装置と、表示装置と、操作検知装置とを含み、前記情報処理装置は、Ｎ（Ｎは３以上の整数）種類の属性を有するデータを複数記憶する記憶部と、（Ｎ−１）以上の互いに異なる前記属性を（Ｎ−１）次元空間の軸にそれぞれ割り当て、前記記憶された複数のデータを、前記複数のデータに各々対応する点として前記（Ｎ−１）次元空間上にプロットしたグラフを生成し、前記プロットされた複数のデータを、前記（Ｎ−１）以上の属性とは異なる他の１つの属性を用いてグループに分け、前記複数の点を、前記グループごとに識別可能なように処理する制御部とを有し、前記表示装置は、前記情報処理装置の前記制御部が処理したグラフを表示し、前記操作検知装置は、ユーザーが行う動作を検知し、前記情報処理装置の前記制御部は、更に、前記操作検知装置が検知した前記ユーザーの動作に基づいて、前記表示装置に表示させる前記グラフを移動、回転、拡大／縮小させて表示させる。

そのため、大量のデータを整理し分かり易くユーザーに提示でき、提示されたデータをユーザーが直感的に操作できる。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記情報処理装置の前記制御部は、前記グループごとに、前記グループに含まれるデータを表す前記点が乗る線を生成することにより、前記複数の点を、前記グループごとに識別可能とする構成でもよい。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記表示装置は、前記ユーザーの手指と重ね合わせて、前記グラフを立体的に前記ユーザーに視認させることが可能であり、前記操作検知装置は、前記ユーザーの手指の３次元空間内での絶対位置を検知可能であり、前記情報処理装置の前記制御部は、前記ユーザーが立体的に表示された前記グラフを直接触って操作する感覚が得られるナチュラル・ユーザー・インターフェイスにより前記ユーザーとの遣り取りを行う構成でもよい。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記情報処理装置の前記制御部は、前記操作検知装置により検知された、前記ユーザーが前記軸方向に手を振る動作により、前記ユーザーが操作対象とする前記線を選択する構成でもよい。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記情報処理装置の前記制御部は、前記操作検知装置により検知された、前記ユーザーが前記選択した線をつまむ動作により、前記ユーザーにつままれた箇所に応じた前記線上のデータを選択する構成でもよい。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記情報処理装置の前記制御部は、前記操作検知装置により検知された、前記ユーザーが前記選択した線をつまむ動作により、前記ユーザーにつままれた箇所に応じた前記線上のデータの内容を、前記ユーザーがつまんだ箇所の近傍に表示させる構成でもよい。

上記目的を達成するため、本発明の一形態に係る情報処理システムでは、前記複数のデータは、電子メールであり、前記（Ｎ−１）以上の互いに異なる属性は、前記電子メールの送受信時刻、前記電子メールの単位時間当り送受信頻度、および前記電子メールの宛先であり、前記他の１つの属性は、前記電子メールの件名であってもよい。

上記目的を達成するため、本発明の一形態に係る情報処理方法は、記憶部に複数記憶されたＮ（Ｎは３以上の整数）種類の属性を有するデータの、（Ｎ−１）以上の互いに異なる前記属性を（Ｎ−１）次元空間の軸にそれぞれ割り当て、前記記憶された複数のデータを、前記複数のデータに各々対応する点として前記（Ｎ−１）次元空間上にプロットしたグラフを生成し、前記プロットされた複数のデータを、前記（Ｎ−１）以上の属性とは異なる他の１つの属性を用いてグループに分け、前記複数の点を、前記グループごとに識別可能なように処理し、前記処理したグラフを表示装置に表示させ、操作検知装置が検知した、ユーザーの動作に基づき、前記表示装置に表示させた前記グラフを移動、回転、拡大／縮小させて表示させる。

以上のように、本発明によれば、ナチュラル・ユーザー・インターフェイスを用いて大量のデータを整理し分かり易くユーザーに提示でき、提示されたデータをユーザーが直感的に操作できる。

大量の電子メールのデータを、メールの件名に基づくスレッドごとに曲線で繋いでストリームを表し、送受信された時刻（ｔ）、送受信の頻度、およびメールの宛先人数を３軸に取り、３次元のグラフ上にプロットしたグラフである。 特定の件名に関するストリームのうち、送受信の頻度の高い部分に絞ってメールを探す様子を示す図である。 本発明の一実施形態に係る情報処理装置１０を含めた情報処理システム１の構成図である。 情報処理装置１０が一般的なコンピューターにより構成される場合の構成図である。 ユーザーがピンチインやピンチアウトのジェスチャーを行う様子を示す図である。 ユーザーが親指と人差し指を伸ばした状態で、Ｘ軸、Ｙ軸、またはＺ軸回りに手を回転させるジェスチャーを行う様子を示す図である。 頻度軸回りに、図１に示した３次元グラフを９０度回転させた状態を示す図である。 ユーザーが３次元グラフの軸に並行に手を振るジェスチャーを行う様子を示す図である。 ユーザーが選択したストリーム上で特定の箇所をつまむジェスチャーを行う様子を示す図である。 ユーザーが「案件Ａ」の件名を持つストリームを選択した後、最も頻度の高い箇所をつまみ、つまんだ箇所の近傍に、つまんだ箇所にあるデータの内容（この例では、電子メールの内容）がプレビュー表示されている例を示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［本発明のポイント］
まず、本発明のポイントを説明する。本発明の第１のポイントは、ＮＵＩでユーザーが操作し易いように、大量のデータを扱い易い単位にまとめたことである。なお、以下の説明では、大量のデータを扱いやすくするための単位を「ストリーム」と呼ぶ。

例えば、大量のデータが、あるユーザーが保存している過去の多くの電子メールである場合を考える。

この場合、大量にある電子メールのデータを、３次元のグラフ上に、１件ずつプロットすることが出来る。点でプロットしただけでは、散布図となり、ユーザーが大量の点を区別して認識することは困難である。そこで、電子メールのデータをメールの件名に基づくスレッドごと（グループごと）に曲線で繋いでストリームとして表現することで、大量のデータをユーザーに分かり易く提示することが出来る。

なお、ここでは、ストリームごとの曲線としたが、これに限らず、グループごとにプロットした点を色分けしたりして、区別できるように表示するものであってもよい。

図１は、大量の電子メールのデータを、メールの件名に基づくスレッドごとに曲線で繋いでストリームを表し、送受信された時刻（ｔ）、送受信の頻度、およびメールの宛先人数を３軸に取り、３次元のグラフ上にプロットしたグラフである。

なお、ストリームという呼称からわかるように、３軸のうちの１軸は、時間の経過とともにデータが１列に並ぶような、データの処理に関する時刻を表したものであってもよい。本発明の情報処理装置は、データが持つ様々な属性から、データをグラフ上で１列に並べられる属性をデータ解析により発見することが出来る。このように、１列で並ぶように、データを例えば時系列でプロットすることにより、ユーザーは時系列での変化を容易に把握することが出来る。

グラフでは、各ストリームの曲線は、区別できるように、互いに異なる色や線種で描かれていてもよい。

なお、ここでは、ある特定の電子メール１通の送受信頻度として、例えば、その電子メールが送受信された時刻を中心としてその前後、特定の時間内に送受信された同じ件名の電子メールの数を採用することが出来る。

各電子メールが持つ、上述した３つの属性を用いて３次元グラフ上にプロットした上で、電子メールの件名に基づいて関連するデータを紐付け、曲線で繋いでストリームとして表すことにより、ユーザーは、大量のデータを視覚的に容易に区別して把握することが出来る。

なお、上記の説明では、１つの具体例として、３次元空間に大量のデータがそれぞれ持つ３つの属性を軸としてグラフを描き、さらにもう一つの属性を用いてグループ分けしてストリームを形成した。

一般的にはＮ（Ｎは３以上の整数）種類の属性をそれぞれのデータが持つ大量のデータを（Ｎ−１）次元空間上にグラフ化して他の１つの属性でグラフ上にプロットされた大量のテータをグループ分けすることが出来る。

そして、本発明の第２のポイントは、ＮＵＩ用に、ストリームごとにまとめた大量のデータをグラフ表示し、ユーザーが検索したいデータを曖昧な検索条件からも検索できるようにしたことである。

例えば、ユーザーが昔のメールを探すときに、正確な時期やキーワードは覚えていないが、そのメールを送受信した時期を、「プロジェクトが佳境に入っており、とても頻繁にメールの送受信を行った頃」と曖昧に覚えていた場合、図２に示すように、特定の件名（例えば「議事録」）に関するストリームのうち、送受信の頻度の高い部分に絞って当たりを付けてメールを探すことにより、目的のメールを容易に見いだすことが出来る。

このように、本発明では、従来、目的のメールを検索するときに、差出人や、宛先、キーワードなどを指定して行っていた検索より、曖昧な条件でも検索を行うことが出来る。

目的のデータを見いだした後は、例えば、データが電子メールである場合、通常のメーラーを用いてメールに返信したりメールを転送したりする構成でもよい。

なお、上記の説明では、グラフは３次元であるとしたが、これに限らず、ユーザーがデータを区別し易いものであれば、例えば２次元のグラフであってもよい。

以上、本発明のポイントについて説明した。

［システムの構成］
次に、本発明の一実施形態に係る情報処理装置を含めた情報処理システムの構成を説明する。図３は、本発明の一実施形態に係る情報処理装置１０を含めた情報処理システム１の構成図である。

情報処理システム１は、情報処理装置１０、ＨＭＤ（表示装置）２０、およびモーションキャプチャーデバイス（操作検知装置）３０を含んで構成される。なお、ＨＭＤ２０およびモーションキャプチャーデバイス３０は一体として構成されていてもよい。

情報処理装置１０は、電子メールなどの大量のデータを記憶しており、ユーザーの指示などに基づいて、記憶しているデータから３次元のグラフを生成し、ＨＭＤ２０に表示させる。

また、情報処理装置１０は、モーションキャプチャーデバイス３０が検知したユーザーの動きやジェスチャーに基づき、ＨＭＤ２０に表示させている３次元グラフの表示を変化させる。すなわち、ユーザーが目の前に立体表示されたグラフを直接自分の手指で触って操作する感覚を得られるようにして、ナチュラル・ユーザー・インターフェイスを実現する。情報処理装置１０は、具体的には、ＰＣ（Personal Computer）やテレビジョン受像器などの家電製品であってもよい。

ＨＭＤ２０は、ユーザーが頭部に装着する眼鏡型や帽子型のディスプレイである。ユーザーが目の前に表示された３次元グラフを直接触って操作するような、より自然なＮＵＩを実現するために、ユーザーには、３次元表示されるグラフと、グラフを操作する自分の手や指とが重なって視認されることが好ましい。

そのため、ＨＭＤ２０として、外部の景色をユーザーが見ることが出来ない非透過型ではなく、ＨＭＤ２０に装着されたビデオカメラで外部の景色を撮影し、撮影した外部の景色と３次元グラフを重ねて表示させる（ビデオシースルー）ＨＭＤや、ユーザーが直接、外の景色を見られる（光学シースルー）ＨＭＤなどを用いることが出来る。

モーションキャプチャーデバイス３０は、ユーザーが３次元グラフを見ながら行う手や指の動作やジェスチャーを検知する。すなわち、モーションキャプチャーデバイス３０は、ユーザーが行う動作やジェスチャーにおける手指の絶対位置を検出可能であってもよい。モーションキャプチャーデバイス３０は、情報処理装置１０に検知したジェスチャーを伝える。

なお、上記の説明では、情報処理装置１０、ＨＭＤ２０、およびモーションキャプチャーデバイス３０を別個の機材とし、これらを組み合わせて情報処理システム１を構成するとしたが、この構成に限らず、情報処理装置１０が、ＨＭＤ２０およびモーションキャプチャーデバイス３０を含む構成でもよい。

なお、上記の構成に限らず、３次元グラフの映像を空中に浮かべることが可能なダイナミックディスプレイ技術と、高速３Ｄジェスチャー認識技術とを組み合わせて、ユーザーに対し、３次元空間の中で実際にグラフに直接手を触れて操作を行っているような感覚を与えるものであってもよい。

以上、本発明の一実施形態に係る情報処理装置を含めた情報処理システムの構成を説明した。

［情報処理装置の構成］
次に、情報処理装置１０のハードウェア構成について説明する。情報処理装置１０は、専用のハードウェアやソフトウェアにより構成されていてもよいし、一般的なコンピューターにより構成されてもよい。情報処理装置１０が一般的なコンピューターにより構成される場合の構成図を図４に示す。

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入力インターフェイス部１４、ネットワークインターフェイス部１５、表示インターフェイス部１６、および記憶部１７を有し、これら各ブロックがバス１８を介して接続されている。

ＲＯＭ１２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。ＲＡＭ１３は、ＣＰＵ１１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

記憶部１７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリー、その他の不揮発性メモリーである。記憶部１７には、ＯＳや各種アプリケーション、各種データが記憶される。

ネットワークインターフェイス部１５は、ネットワーク上の機器と情報のやりとりを行う為、ネットワークと結ばれている。

ＣＰＵ１１は、ＲＯＭ１２や記憶部１７に格納された複数のプログラムのうち、入力インターフェイス部１４から与えられる命令に対応するプログラムをＲＡＭ１３に展開し、この展開されたプログラムにしたがって、表示インターフェイス部１６及び記憶部１７を適宜制御する。

ＣＰＵ１１がプログラムを実行することにより、記憶部１７に記憶された大量のデータを３次元グラフで表示するためにデータを整理するデータ処理部１１ａが機能ブロックとして構成される。また、ＣＰＵ１１は、入力インターフェイス部１４が受け付けたジェスチャーに応じた処理を実行する。

入力インターフェイス部１４は、モーションキャプチャーデバイス３０が検知したユーザーの動作やジェスチャーを受け付ける。

表示インターフェイス部１６は、ＨＭＤ２０に３次元グラフを表示するためのデータを出力する。

以上、情報処理装置１０のハードウェア構成について説明した。

［ジェスチャーおよび表示の例］
次に、ユーザーが目の前に表示された３次元グラフを操作するためのジェスチャーの例およびジェスチャーにより変化した表示の例を説明する。

図５から図１０は、ユーザーが３次元グラフの表示を操作するためのジェスチャーの例を示す図および特定のジェスチャーにより変更された３次元グラフの例を示す図である。

図５に示すように、ユーザーがピンチインやピンチアウトのジェスチャーを行うことにより、情報処理装置１０のデータ処理部１１ａは、３次元グラフの表示範囲を拡大したり縮小したりする。

図６に示すように、ユーザーが親指と人差し指を伸ばした状態で、Ｘ軸、Ｙ軸、またはＺ軸回りに手を回転させたり捻ったりするジェスチャーを行うことにより、情報処理装置１０のデータ処理部１１ａは、３次元グラフを支持された軸の回りに回転させる。

図７は、頻度軸回りに、図１に示した３次元グラフを９０度回転させた状態を示す図である。図７では、宛先人数の軸が手前に来るので、宛先人数が１００人規模のストリームと、１０人規模のストリームと、数人規模のストリームとを容易に区別することが出来る。

図８に示すように、ユーザーが３次元グラフの軸に並行に手を振るジェスチャーを行うことにより、情報処理装置１０のデータ処理部１１ａは、手を振った軸に並行な方向に並んだ複数のストリームを、詳細に検索する対象の候補として特定する。

図９に示すように、ユーザーが選択したストリーム上で特定の箇所をつまむジェスチャーを行うことにより、情報処理装置１０のデータ処理部１１ａは、つまんだ位置に対応するストリームを詳細な検索の対象として特定すると共に、つまんだ位置に対応するデータを特定する。

図１０は、ユーザーが「案件Ａ」の件名を持つストリームを選択した後、最も頻度の高い箇所をつまみ、つまんだ箇所の近傍に、つまんだ箇所にあるデータの内容（この例では、電子メールの内容）がプレビュー表示されている例を示す図である。

なお、ユーザーがつまもうとする箇所の近傍にあるデータの内容が、予め各データに応じた位置にプレビュー画像として複数表示されており、ユーザーは、それらのプレビュー画像を見ることにより、目的とするデータを選択する構成でもよい。

以上、ユーザーが目の前に表示された３次元グラフを操作するためのジェスチャーの例およびジェスチャーにより変化した表示の例を説明した。

［３軸およびストリームとして用いる項目例］
次に、複数の属性を持ち、コンピューターにより検索可能で有る大量のデータを３次元グラフに表す際に、グラフの３軸およびストリームの項目として採用することが出来る例を説明する。

例えば、大量のデータがブラウザの閲覧履歴である場合、サイトを閲覧した時刻、サイトランク、およびそのサイトを訪れる頻度を３軸にとり、１つのタブの閲覧履歴または１つのサイトの閲覧履歴をストリームとすることが出来る。

また、例えば、大量のデータが音楽データである場合、音楽が発表された時期、ヒット度、ユーザーが与えた評価、およびジャンルのうち３つを軸の項目として採用し、アーティスト名またはジャンル、ヒットチャートの上位１０個などをストリームとすることが出来る。但し、軸にジャンルを採用した場合、ストリームにはジャンルを採用することは出来ない。

また、例えば、大量のデータがドキュメントである場合、ドキュメントが作成・更新された時刻、ドキュメントの更新頻度、およびジャンルを３軸にとり、作成者名、フォルダなどの分類名、文書の種類のうちの１つをストリームとすることが出来る。

また、例えば、大量のデータが録画されたビデオである場合、録画時刻、録画した番組のヒット度、評価、およびジャンルのうちの３つを軸に採用し、番組名またはジャンルをストリームとして採用することが出来る。

また、例えば、大量のデータがネットショッピングサイトの商品である場合、商品が掲載された時刻、商品のヒット度、評価、ジャンルのうち３つを軸に採用し、商品のブランド名やシリーズ名、ジャンルのうち１つをストリームとして採用することが出来る。

また、例えば、大量のデータが写真である場合、写真が撮影された時刻、撮影の頻度、および写真の評価を３軸にとり、写真に写っている、人物の名前や場所（ＧＰＳによる位置情報なども含む）、ユーザーが作成したアルバム名などをストリームとして採用することが出来る。

以上、大量のデータを３次元グラフに表す際に、グラフの３軸およびストリームの項目として採用することが出来る例を説明した。

［補足事項］
その他、本発明は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ … 情報処理システム
１０ … 情報処理装置
１１ … ＣＰＵ
１２ … ＲＯＭ
１３ … ＲＡＭ
１４ … 入力インターフェイス部
１５ … ネットワークインターフェイス部
１６ … 表示インターフェイス部
１７ … 記憶部
１８ … バス
２０ … ＨＭＤ
３０ … モーションキャプチャーデバイス

Claims (8)

1. 情報処理装置と、表示装置と、操作検知装置とを含み、
   前記情報処理装置は、
   ４種類の属性を有するデータを複数記憶する記憶部と、
   ４種類の互いに異なる前記属性を３次元空間の軸にそれぞれ割り当て、
   前記記憶された複数のデータを、前記複数のデータに各々対応する点として前記３次元空間上にプロットしたグラフを生成し、
   前記プロットされた複数のデータを、前記４種類の属性のうちの３つの属性とは異なる他の１つの属性を用いてグループに分け、
   前記グループごとに、前記グループに含まれるデータを表す前記点が乗る線を生成することにより、前記複数の点を、前記グループごとに識別可能なように処理する制御部と
   を有し、
   前記表示装置は、前記情報処理装置の前記制御部が処理したグラフを表示し、
   前記操作検知装置は、ユーザーの手指の３次元空間内での絶対位置を検知可能であって、前記ユーザーが行う動作を検知し、
   前記情報処理装置の前記制御部は、更に、前記操作検知装置が検知した前記ユーザーの動作に基づいて、前記表示装置に表示させる前記グラフを移動、回転、拡大／縮小させ、
   前記ユーザーがつまもうとする箇所の近傍にあるデータの内容を、前記近傍にあるデータに応じた位置にプレビュー画像として表示させる
   て表示させる
   情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記情報処理装置の前記制御部は、
   前記操作検知装置により検知された、前記ユーザーが前記線をつまむ動作により、前記ユーザーにつままれた箇所に応じた前記線上のデータの内容を、前記ユーザーがつまんだ箇所の近傍にプレビュー画像として表示させる
   情報処理システム。
3. 請求項２に記載の情報処理システムであって、
   前記表示装置は、前記ユーザーの手指と重ね合わせて、前記グラフを立体的に前記ユーザーに視認させることが可能であり、
   前記操作検知装置は、前記ユーザーの手指の３次元空間内での絶対位置を検知可能であり、
   前記情報処理装置の前記制御部は、前記ユーザーが立体的に表示された前記グラフを直接触って操作する感覚が得られるナチュラル・ユーザー・インターフェイスにより前記ユーザーとの遣り取りを行う
   情報処理システム。
4. 請求項３に記載の情報処理システムであって、
   前記情報処理装置の前記制御部は、
   前記操作検知装置により検知された、前記ユーザーが前記軸方向に手を振る動作により、前記ユーザーが操作対象とする前記線を特定する
   情報処理システム。
5. 請求項４に記載の情報処理システムであって、
   前記情報処理装置の前記制御部は、
   前記操作検知装置により検知された、前記ユーザーが前記選択した線をつまむ動作により、前記ユーザーにつままれた箇所に応じた前記線上のデータを特定する
   情報処理システム。
6. 請求項１から５のうちいずれか１項に記載の情報処理システムであって、
   前記複数のデータは、電子メールであり、
   前記４種類の属性のうちの３つの属性は、
   前記電子メールの送受信時刻、
   前記電子メールの単位時間当り送受信頻度、および
   前記電子メールの宛先であり、
   前記３つの属性とは異なる他の１つの属性は、前記電子メールの件名である
   情報処理システム。
7. 記憶部に複数記憶された４種類の属性を有するデータを３次元空間の軸にそれぞれ割り当て、
   前記記憶された複数のデータを、前記複数のデータに各々対応する点として前記３次元空間上にプロットしたグラフを生成し、
   前記プロットされた複数のデータを、前記４種類の属性のうちの３つの属性とは異なる他の１つの属性を用いてグループに分け、
   前記グループごとに、前記グループに含まれるデータを表す前記点が乗る線を生成することにより、前記複数の点を、前記グループごとに識別可能なように処理し、
   前記処理したグラフを表示装置に表示させ、
   ユーザーの手指の３次元空間内での絶対位置を検知可能な操作検知装置が検知した、ユーザーの動作に基づき、前記表示装置に表示させた前記グラフを移動、回転、拡大／縮小させて表示させ、
   前記ユーザーがつまもうとする箇所の近傍にあるデータの内容を、前記近傍にあるデータに応じた位置にプレビュー画像として表示させる
   情報処理方法。
8. 請求項７に記載の情報処理方法であって、
   前記操作検知装置により検知された、前記ユーザーが前記線をつまむ動作により、前記ユーザーにつままれた箇所に応じた前記線上のデータの内容を、前記ユーザーがつまんだ箇所の近傍にプレビュー画像として表示させる
   情報処理方法。

Images