JP4513620B2 - 情報処理装置、情報処理装置におけるデータ呈示方法 - Google Patents

Description

本発明は、情報処理装置、特に計測データの直感的な把握を容易にする呈示手法に関する。

従来、様々な計測実験から得られたデータを確認するために、計測データをグラフ、分布図、ベクトル図などを用いて表示することが一般的に行われている。そして、パラメータ設定値を変更することで被計測対象の環境を変化させ、計測データを別途収集する。このように、同一測定環境において計測条件を変更して収集した複数の計測データを、グラフ等を用いて並べて表示することで解析等を行っていた。

また、被計測対象の環境を変化させなくても、１回のシミュレーションで複数の計測データが得られる場合もある。図６は、磁場解析により得られた計測データを可視化可能に表示したときの画面例を示した図であり、図６（ａ）は透磁率などの物性値に関する計測データを示した図、図６（ｂ）は電位、温度などのようなポテンシャルに関するスカラデータを示したコンター図、図６（ｃ）は磁束密度などのようなベクトルデータに関するベクトル図である。このように、例えば電磁場をシミュレーションする場合、電界と磁界とは同時に発生するのでその一シミュレーションにおける解析結果としてポテンシャルやベクトルデータなどの複数の計測データが同時に得られる。この場合も、同一測定環境における同一計測実験において収集した複数種類の計測データを、グラフ等を用いて並べて表示することで解析等を行っていた。

ところで、近年では、データを視覚以外に、例えば可聴化するなどして聴覚により、あるいは触覚化、力覚化することで触力覚により呈示する技術が提案されている（例えば非特許文献１）。この結果、計測データあるいは計測データの変化の状態を直感的にユーザに把握させることが可能になる。また、本願特許出願人においても触力覚でユーザに情報を提示するインタフェースを提案している（例えば特許文献１）。

特開２０００−３３０６８８号公報 ［平成１６年１２月６日検索］、インターネット＜http://www.sensable.com/languages/jp-hp.asp＞

しかしながら、例えば同一計測環境においてパラメータを変更しながら収集した複数の計測データをユーザに呈示するとき、従来においては、各計測データを可視化可能にそれぞれ別画面で表示していた。また、例えば、１回のシミュレーションで複数の計測データが得られた場合でも、図６に例示したように各計測データをそれぞれ別画面で表示していた。このため、計測データの差異を視覚のみで把握しなければならず、その差異を直感的に把握することは困難だった。

仮に、同一画面上に計測データを重畳させて表示することで差異を把握させるようなことも考えられるが、図６（ａ）〜図６（ｃ）など異なる表現による図を重畳表示させたり、図６（ｃ）に示した磁束密度などのベクトルデータを表示させたりすると、かえって差異がわかりにくくなるため必ずしも効果的、汎用的ではない。

また、視覚以外の感覚で情報を呈示する方法も提案されているが、従来では、あるデータを予め決められたいずれかの感覚にて呈示するに留まっている。

本発明は、以上のような課題を解決するためになされたものであり、その目的は、データの直感的な理解をより向上させることのできる改良された情報処理装置を提供することにある。

以上のような目的を達成するために、本発明に係る情報処理装置は、計測データを異なる感覚にて呈示する複数の呈示手段と、前記呈示手段の一つに該当し、計測データを可視化可能に呈示する表示手段と、画面表示した選択画面からのユーザ入力に従い、同一の計測環境から得られた複数の計測データそれぞれに対し、互いに異なる感覚で呈示されるように各計測データを呈示するための前記呈示手段を対応付ける割付処理手段と、ユーザ操作に応じて移動する前記表示手段上のポインタの表示位置を検出する位置検出手段と、前記表示手段に対応付けられた計測データを前記表示手段に表示するための呈示情報に変換すると共に、前記表示手段以外の前記呈示手段から呈示するための計測データのうち前記位置検出手段による検出位置に対応した計測データを当該呈示手段から呈示するための呈示情報に変換する呈示情報生成手段と、前記呈示情報生成手段により生成された各呈示情報を、対応する前記呈示手段から出力する情報出力手段とを有し、同一の計測環境から得られた複数の計測データを、それぞれ対応する前記呈示手段から同時並行して呈示することを特徴とする。

また、前記呈示手段の一つは、計測データを触力覚にて呈示する触力覚呈示手段であることを特徴とする。

また、前記呈示手段の一つは、計測データを聴覚にて呈示する音出力手段であることを特徴とする。

また、呈示対象となる複数の計測データは、それぞれ一シミュレーションテストから得られた異なる種類のデータであることを特徴とする。

また、複数の計測データが蓄積された計測データ記憶手段を有し、前記割付処理手段は、前記計測データ記憶手段に蓄積された計測データの中からユーザにより選択された複数の計測データを呈示対象とすることを特徴とする。

本発明に係る情報処理装置におけるデータ呈示方法は、計測データを異なる感覚にて呈示するための複数の呈示手段を有する情報処理装置において実施され、割付手段が、ユーザからの入力指示に従い同一の計測環境から得られた複数の計測データに対し、互いに異なる感覚で呈示されるように各計測データを呈示するための前記呈示手段を対応付ける割付ステップと、呈示情報生成手段が、選択された各計測データを、それぞれ対応する前記呈示手段から呈示するための呈示情報に変換するステップと、情報出力手段が、生成された各呈示情報を、対応する前記呈示手段から同時並行して出力する情報出力ステップとを含むことを特徴とする。

また、前記割付ステップは、同一の計測環境から得られた計測データの中から呈示する複数の計測データを選択することを特徴とする。

本発明によれば、複数の計測データを視覚のみならず他の感覚と併せて同時並行して呈示することができるので、計測データ、またその変化などを直感的に把握させることができる。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

図１は、本発明に係る情報処理装置の一実施の形態を示した全体構成図である。本実施の形態では、計測実験により得られた計測データを視覚、聴覚及び触力覚により呈示する情報処理装置を示している。図１には、予め計測実験により得られた計測データを内部に保持した情報処理装置２の本体と共に、計測データを呈示するための呈示手段として、可視化可能に出力するためのディスプレイ４と、聴覚により呈示するためのスピーカ６と、触力覚により呈示するための触力覚呈示装置とが示されている。

図２は、本実施の形態における情報処理装置の機能ブロック構成図である。図２において、触力覚呈示装置８は、図１に示したようにマウス１０とマウス１０の上面から突出した呈示部位１２とで構成される。マウス１０は、周知のごとく表示画面上のカーソル１４を移動させるためにユーザに操作される操作手段である。呈示部位１２は、表示された計測環境上におけるカーソル位置における計測データを、接触された指先を通じてユーザに触力覚で呈示する。マウス１０及び呈示部位１２は、それぞれ対応したインタフェース（ＩＦ）１６，１８を介して情報処理装置２に設けられた構成要素と情報の授受を行う。このうち、マウスインタフェース１６は、ユーザによるマウス１０の操作方向及び量を検出する操作検出部２０を有している。

情報処理装置２は、ＣＰＵ、メモリ、外部記憶装置等汎用的なコンピュータと同様の構成により実現され、このコンピュータのハードウェアと、コンピュータ上で動作するアプリケーションソフトウェアとの協調動作によって以下の各構成要素が実現される。

本実施の形態における割付処理部２２は、ディスプレイ４に後述する選択画面を表示して、その選択画面からのユーザ選択操作に従い、計測データ記憶部２４に予め記憶されている複数の計測データと、その複数の計画データそれぞれを呈示するための呈示手段とを対応付ける。音情報生成部２６は、「聴覚」による呈示と選択された計測データを音情報に変換し、スピーカに相当する音出力部６から音で出力する。画像情報生成部２８は、「視覚」による呈示と選択された計測データを可視化可能な画像情報に変換する。画面制御部３０は、画像情報生成部２８により生成された画像情報に従い計測データをディスプレイに相当する表示部４に表示すると共に操作検出部２０が検出した操作方向及び量を含むマウス操作情報に従い画面上におけるカーソル１４の位置を検出し、移動させる。また、割付処理部２２からの指示に従い表示した選択画面を介した入出力制御を行う。

触力覚情報生成部３２は、「触力覚」による呈示と選択された計測データを変換することによって触力覚情報を生成する。呈示部位インタフェース１８は、触力覚情報生成部３２により生成された触力覚情報に従い呈示部位１２の駆動制御を行う駆動制御部３４を有している。この駆動制御部３４による駆動制御により、呈示部位１２は、接触された指先を通じてカーソル１４の位置における計測データを触力覚にてユーザに呈示することになる。なお、本実施の形態における触力覚呈示装置８は、本願特許出願人により前述の特許文献１に開示された情報受感装置を利用することができる。

次に、本実施の形態における動作を図３に示したフローチャートを用いて説明する。本実施の形態では、１回のシミュレーションで同時に得られた複数の計測データを呈示する場合を例にして説明する。この計測データの組として透磁率、ポテンシャル及び磁束密度からなるデータセットを用いる。図６には、全ての計測データをそれぞれ可視化可能に画面表示したときの例が示されている。

割付処理部２２は、計測データ記憶部２４に記録された計測データから呈示対象となる計測データの種類を特定する（ステップ１１０）。本実施の形態では、図６に例示したように透磁率、ポテンシャル及び磁束密度という種別が認識される。また、割付処理部２２は、情報処理装置２が有する呈示手段、具体的にはディスプレイ４、スピーカ６及び触力覚呈示装置８を認識する必要があるが、この呈示手段の認識は、データとして装置内部に予め設定登録してもよいし、動的に認識するようにしてもよい。割付処理部２２は、このように呈示対象の計測データと、呈示手段とを取得すると、図４に例示したような選択画面を生成し、ディスプレイ４に表示する（ステップ１２０）。

図４において、選択画面の縦方向に呈示対象の計測データのデータ種別４０を並べ、横方向に呈示手段種別４２を並べて表示する。なお、本実施の形態では、呈示手段の種別の代わりに呈示手段による呈示方法、具体的には、呈示手段がディスプレイ４であれば「視覚」と、スピーカ６であれば「聴覚」と、触力覚呈示装置８であれば「触覚」及び「力覚」と、それぞれ表示するようにした。なお、「触覚」は、ザラザラ感などのテクスチャ情報により表現され、「力覚」は、作用する方向及びその量（ベクトル情報）により表現されるので、図４では別個に示したが、単一の触力覚呈示装置８で呈示するため「触力覚」と一緒にしてもよい。そして、計測データと呈示手段の各種別４０，４２を２次元表的に表示し、その交差する箇所にチェックボックス４４を配置する。

割付処理部２２が上記の選択画面を生成して、ディスプレイ４に表示すると、ユーザは、この選択画面から各計測データをどの呈示手段から呈示させたいかを、該当するチェックボックス４４をチェックすることによって選択する。割付処理部２２は、このユーザによる選択操作に従い、計測データと呈示手段との対応付けを行う（ステップ１３０）。そして、各情報生成部２６，２８，３２は、割付処理部２２により対応付けられた計測データをデータ変換し、それぞれ音情報、画像情報、触力覚情報を生成し、それぞれ対応する呈示手段から変換した情報を出力する（ステップ１４０，１５０）。すなわち、画像情報生成部２８であれば、対応する計測データを画像情報に変換する。そして、画面制御部３０は、生成された画像情報とカーソル１４とを表示部４へ出力する。また、音情報生成部２６であれば、対応する計測データを音情報に変換して音出力部６へ出力する。

ただ、本実施の形態では、計測データ値の変化を音の変化により表現することになる。つまり、計測環境内においては、どの場所でも計測データ値が一定であるとは限らないため、この計測データ値に応じた音で出力する必要がある。そこで、本実施の形態では、表示された計測環境内においてカーソル１４によって指し示された位置に対応する計測データを出力するようにしている。このため、音情報生成部２６は、音情報への変換対象の計測データのうち画面表示された計測環境内のカーソル位置に対応した位置の計測データのみデータ変換すればよい。もちろん、呈示対象の計測データ全体をデータ変換してもよいが、処理速度の観点からするとカーソル位置に対応した位置のみ変換することが効率的である。そして、詳細は具体例をあげて後述するが、カーソル１４の移動に伴い呈示対象の計測データ値も変化するため、これに応じて出力音を変化させる。なお、本実施の形態では、聴覚及び触力覚に共通した一つのカーソル１４を用いるようにしたが、聴覚及び触力覚それぞれに対応させてカーソル１４を生成するようにしてもよい。そうすれば、ある箇所は聴覚で、ある箇所は触力覚で、などのように計測環境内の異なる箇所の計測データを同時に呈示することができる。以上のようにして、音情報生成部２６は、計測環境内のカーソル１４によって指し示された位置の計測データを聴覚により呈示する。

更に、触力覚情報生成部３２は、音情報生成部２６と同様に計測環境におけるカーソル１４により指し示された位置に対応する計測データを変換することによって触力覚情報を生成する。駆動制御部３４は、触力覚情報生成部３２により生成された触力覚情報に従い呈示部位１２を駆動する。これにより、呈示部位１２は、接触された指先を通じてカーソル１４の位置における計測データを触力覚にてユーザに呈示することになる。

本実施の形態によれば、１回のシミュレーションにおいて収集した物性データ、スカラデータ、ベクトルデータに関する計測データをそれぞれ異なる呈示手段にて呈示することができるので、ユーザは、視覚、聴覚及び触力覚という異なる感覚にて複数の計測データの呈示を同時に受けることができる。ここで、ユーザが受ける感覚について具体例をあげて説明する。

例えば、図４に示した選択画面からユーザが透磁率に「視覚」を、ポテンシャルに「聴覚」を、磁束密度に「触覚」と「力覚」をそれぞれ選択したとする。このとき、画面制御部３０は、図６（ａ）に示したように透磁率に関する計測データをディスプレイ４に表示する。なお、ここでは説明の便宜上、計測データを可視化した図６（ｂ），（ｃ）を用いて説明するが、実際には、ユーザはディスプレイ４に表示された図６（ａ）のみ目視でき、図６（ｂ），（ｃ）は目視できていない。

一方、音情報生成部２６は、可視化可能に表示すると図６（ｂ）に相当するポテンシャルデータのうちディスプレイ４に表示されたカーソルの位置に対応した部分のデータをデータ変換することによって、カーソル位置に対応する計測データを聴覚にて呈示する。同様に、触力覚情報生成部３２は、可視化可能に表示すると図６（ｃ）に相当する磁束密度データのうちディスプレイ４に表示されたカーソルの位置に対応した部分のデータをデータ変換することによって、カーソル位置に対応する計測データを触力覚にて呈示する。

図５は、図６と同じ図であり、図６にカーソルで指し示す位置Ａ，Ｂと矢印とを追加した図である。位置Ａ，Ｂは図５（ａ），（ｂ），（ｃ）共に同じ位置である。そして、矢印は、カーソルが指し示す位置が位置Ａから位置Ｂに移動されたことを示している。図５（ａ）によると、同じ配色上、つまり同じ物性値の領域内をカーソルが移動されたことがわかる。これに対し、聴覚で呈示する図５（ｂ）では、色の濃い領域から薄い領域へカーソルが移動されたことがわかる。つまり、音情報生成部２６は、音出力部６から例えば位置Ａでは低い音程の音を出力し、カーソルが位置Ｂに移動する際に色の濃度が変わる境目で高い音程の音に変更して出力する。位置Ｂでは高い音程での音出力を維持する。つまり、ユーザは、実際には図５（ａ）しか視覚により確認できていないが、カーソル移動の際に出力音の音程が変化することでポテンシャルのデータ値が変化していることが聴覚にて確認することができる。

一方、触力覚で呈示する図５（ｃ）では、ベクトルを表す矢印がやや右下からやや左上に向きかつ密度が相対的に低い位置Ａから、矢印が右上から左下に向きかつ密度が相対的に高い位置Ｂへ、カーソルが移動されたことがわかる。つまり、触力覚情報生成部３２は、位置Ａでは、やや右下からやや左上に向きの流れを受けるような力覚を、位置Ｂへ移動するにつれ右方向から左方向への流れを受けるような力覚を、そして位置Ｂでは右上から左下に向きの流れを受けるような力覚を、それぞれ生成する。なお、この例では、触覚は一定の感覚で生成する。このようにして、触力覚情報生成部３２は、磁束密度データを前述した触力覚にて呈示することになるが、ユーザは、実際には図５（ａ）しか視覚により確認できないが、カーソル移動の際に触力覚が変化することで磁束密度のデータ値が変化していることが触力覚にて確認することができる。

また、例えば、図４に示した選択画面からユーザが透磁率に「触覚」と「力覚」を選択したとすると、触力覚情報生成部３２は、色の変わり目に段差があるような力角を呈示できるようにし、そして色が異なる位置ではざらざら感やすべすべ感等異なる触覚を呈示できるようにする。また、例えば、図４に示した選択画面からユーザが磁束密度に「聴覚」を選択したとすると、音情報生成部２６は、ステレオ効果で出力音に方向性を持たせ、また磁束密度の大小を出力音の大小で表現する。

本実施の形態によれば、以上のようにして１回のシミュレーションにより得られた３種類の計測データを異なる感覚にて同時並行して呈示することができる。このように、聴覚や触力覚を同時並行して呈示することによって計測データの変化を直感的に把握することができる。また、例えば、物性値では変化がなくてもポテンシャルは変化しているという計測データ間の特性の相違等を把握しやすくなる。

なお、例えば触力覚を例にして説明すると、どの種類の計測データのどの値をどのような触覚及び力角にて呈示するかは、事前に定義しておく必要がある。例えば、どの値は、ざらざら感で呈示するなどである。また、仮に触力覚にて呈示できないような計測データであることが事前に把握できるときには、チェックボックス４４の選択ができないように選択画面を生成する。

ところで、上記説明では、１回のシミュレーションで複数の異なる種類の計測データが収集でき、それらを同時並行して呈示する場合を例にした。このため、計測データ記憶部２４には、これらの３種類の計測データのみが蓄積されていることを前提とした。しかし、呈示対象の計測データの組は、これに限定されるものではない。例えば、前述した１回のシミュレーションで収集される３種類の計測データをデータセットと称することにすると、複数のデータセットを計測データ記憶部２４に蓄積しておき、割付処理部２２による選択画面上、若しくは選択画面生成の前段階でデータセットをユーザに選択させるようにして、図４における呈示対象の計測データのデータ種別４０を決定するようにしてもよい。

また、磁場解析の方法としてパラメータ値を変更しながら複数のシミュレーションを連続して行い、パラメータ値の変更に伴うある特定の計測データの変化具合を確認したい場合がある。このような場合、どのデータセットに含まれるどの種類の計測データという、データセット及び計測データの種別をユーザ選択させるようにしてもよい。これにより、パラメータ１のときのポテンシャルは「視覚」で、パラメータ２のときのポテンシャルは「聴覚」で、などのように、ある特定の計測データを同時並行して呈示することで、その計測データ間の異同を容易に理解させることができる。なお、各データセットに設定したパラメータ値を計測データに付加して計測データ記憶部２４に保存するようにしておけば、ユーザにデータセットを特定する情報の代わりにパラメータへの設定値を直接入力指定させることができる。

もちろん、直感的に計測データの内容及び計測データ間の異同を認識させるという効果を得るためには、呈示対象とする計測データ群が、同一計測環境上において１回のシミュレーションで得られる異なる種類の複数の計測データ、あるいは同一計測環境上において異なるパラメータ設定値によって得られる同じ種類の複数の計測データで構成されることが好ましい。

いずれにしても、本実施の形態によれば、複数の計測データを異なる呈示手段から同時並行して呈示することができ、また、呈示対象の計測データ毎に、呈示する手段を選択することができるので、計測データの直感的な理解を可能にすることができる。また、本実施の形態では、計測データに限定したが、同等の効果が得られるのであれば、他の種類のデータの呈示にも適用することは可能である。

本発明に係る情報処理装置の一実施の形態を示した全体構成図である。 本実施の形態における情報処理装置の機能ブロック構成図である。 本実施の形態における計測データの呈示処理を示したフローチャートである。 本実施の形態において生成、表示する選択画面の表示例を示した図である。 １回のシミュレーションにおいて得られた３種類の計測データを可視化可能にデータ変換し生成した画像情報の表示例を示した図であり、カーソルの移動位置を示した図である。 １回のシミュレーションにおいて得られた３種類の計測データを可視化可能にデータ変換し生成した画像情報の表示例を示した図である。

符号の説明

２ 情報処理装置、４ ディスプレイ，表示部、６ スピーカ，音出力部、８ 触力覚呈示装置、１０ マウス、１２ 呈示部位、１４ カーソル、１６ マウスインタフェース、１８ 呈示部位インタフェース、２０ 操作検出部、２２ 割付処理部、２４ 計測データ記憶部、２６ 音情報生成部、２８ 画像情報生成部、３０ 画面制御部、３２ 触力覚情報生成部、３４ 駆動制御部。

Claims (7)

1. 計測データを異なる感覚にて呈示する複数の呈示手段と、
   前記呈示手段の一つに該当し、計測データを可視化可能に呈示する表示手段と、
   画面表示した選択画面からのユーザ入力に従い、同一の計測環境から得られた複数の計測データそれぞれに対し、互いに異なる感覚で呈示されるように各計測データを呈示するための前記呈示手段を対応付ける割付処理手段と、
   ユーザ操作に応じて移動する前記表示手段上のポインタの表示位置を検出する位置検出手段と、
   前記表示手段に対応付けられた計測データを前記表示手段に表示するための呈示情報に変換すると共に、前記表示手段以外の前記呈示手段から呈示するための計測データのうち前記位置検出手段による検出位置に対応した計測データを当該呈示手段から呈示するための呈示情報に変換する呈示情報生成手段と、
   前記呈示情報生成手段により生成された各呈示情報を、対応する前記呈示手段から出力する情報出力手段と、
   を有し、同一の計測環境から得られた複数の計測データを、それぞれ対応する前記呈示手段から同時並行して呈示することを特徴とする情報処理装置。
2. 請求項１記載の情報処理装置において、
   前記呈示手段の一つは、計測データを触力覚にて呈示する触力覚呈示手段であることを特徴とする情報処理装置。
3. 請求項１記載の情報処理装置において、
   前記呈示手段の一つは、計測データを聴覚にて呈示する音出力手段であることを特徴とする情報処理装置。
4. 請求項１記載の情報処理装置において、
   呈示対象となる複数の計測データは、それぞれ一シミュレーションテストから得られた異なる種類のデータであることを特徴とする情報処理装置。
5. 請求項１記載の情報処理装置において、
   複数の計測データが蓄積された計測データ記憶手段を有し、
   前記割付処理手段は、前記計測データ記憶手段に蓄積された計測データの中からユーザにより選択された複数の計測データを呈示対象とすることを特徴とする情報処理装置。
6. 計測データを異なる感覚にて呈示するための複数の呈示手段を有する情報処理装置において実施され、
   割付手段が、ユーザからの入力指示に従い同一の計測環境から得られた複数の計測データに対し、互いに異なる感覚で呈示されるように各計測データを呈示するための前記呈示手段を対応付ける割付ステップと、
   呈示情報生成手段が、選択された各計測データを、それぞれ対応する前記呈示手段から呈示するための呈示情報に変換するステップと、
   情報出力手段が、生成された各呈示情報を、対応する前記呈示手段から同時並行して出力する情報出力ステップと、
   を含むことを特徴とする情報処理装置におけるデータ呈示方法。
7. 請求項６記載の情報処理装置におけるデータ呈示方法において、
   前記割付ステップは、同一の計測環境から得られた計測データの中から呈示する複数の計測データを選択することを特徴とする情報処理装置におけるデータ呈示方法。