JPH10153946A - 感覚情報提示装置 - Google Patents

Abstract

(57)【要約】 【課題】 大量の高速コンピュータ処理や大掛かりな構
成装置が必要となる割には実際に人間が感じているもの
に近い感覚の再現または効果的な感覚の提示が困難であ
る課題があった。また人間の総合的な感覚を動員させて
快適な環境を提示することが困難であるなどの課題があ
った。 【解決手段】 被提示者が置かれた環境の環境温を計測
する環境温計測手段３４と、前記環境温計測手段で計測
された温度を温冷感を想起させる色に対応させる環境温
−色調変換手段３５と、前記環境温−色調変換手段が決
定した色を被提示者への提示画像に組み込む視覚情報生
成手段３６と、前記提示画像を被提示者に提示する視覚
情報提示手段３２とを備えた感覚情報提示装置などを被
提示者に提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、被提示者に視覚
情報，聴覚情報等の感覚情報を提示する感覚情報提示装
置に関するものである。

【０００２】

【従来の技術】人の感覚、すなわち、視覚、聴覚、触
覚、力覚、嗅覚に対する感覚情報を被提示者に提示する
感覚情報提示装置として種々のものが用いられている。
これらの感覚情報提示装置においては、被提示者に対し
て、より現実的または効果的な感覚情報を提示すること
が要求されてきているが、そのためには大量の高速コン
ピュータ処理や大掛かりな構成装置を必要とする場合が
多く、その割には実際に人間が感じているものに近い、
または効果的な感覚を再現することが困難であった。

【０００３】また、視覚情報の提示技術の向上により人
工現実感が脚光を浴びているが、視覚偏重の感が否め
ず、聴覚，触覚，力覚，嗅覚に関する人工現実感の技術
はまだまだ実用レベルに達しているとはいえず、人間の
総合的な感覚を用いて総合的な感覚情報を提示する感覚
情報提示装置はまだ少ない段階である。

【０００４】

【発明が解決しようとする課題】従来の感覚情報提示装
置は以上のように構成されているので、大量の高速コン
ピュータ処理や大掛かりな構成装置が必要となる割には
実際に人間が感じているものに近い、感覚の再現や効果
的な感覚の提示が困難である課題があった。また、視
覚，聴覚，触覚，力覚，嗅覚等の人間の総合的な感覚を
動員させて総合的な感覚情報を提示することのできる感
覚情報提示装置はまだ少なく、これらにより被提示者に
快適な環境を提示することが困難であるなどの課題があ
った。

【０００５】この発明は上記のような課題を解決するた
めになされたもので、現在のような大量の高速コンピュ
ータ処理や大掛かりな構成装置を要求することなく、簡
易な構成により人間の自然な感覚に近い、または効果的
な感覚情報の提示を行うことが可能な感覚情報提示装置
を得ることを目的とする。また、この発明は、視覚，聴
覚，触覚，力覚，嗅覚等の人間の複数の感覚を効果的に
動員させて総合的な感覚情報を効果的に被提示者に提示
し、被提示者により高度な現実感，臨場感，快適な環境
を提示することが可能な感覚情報提示装置を得ることを
目的とする。

【０００６】

【課題を解決するための手段】請求項１記載の発明に係
る感覚情報提示装置は、被提示者の体幹に対する頭部の
方向移動量を検出する頭部移動量検出手段と、撮影方向
を可変に設けられて実写画像を撮影する実写画像撮影手
段と、前記頭部移動量検出手段において検出された頭部
移動量に対応した方向に前記実写画像撮影手段の向きを
制御し、所定の条件下では前記実写画像撮影手段を被提
示者の体幹に対して前記頭部移動量より大きくまたは小
さくした移動量を移動させる移動量制御手段と、被提示
者の頭部眼前に設置され、前記実写画像撮影手段により
撮影された実写画像を被提示者に提示する実写画像提示
手段とを備えたものである。

【０００７】請求項２記載の発明に係る感覚情報提示装
置は、被提示者の頭部が向いている方向を検出する頭部
方向検出手段と、撮影方向を可変に設けられて実写画像
を撮影する実写画像撮影手段と、前記頭部方向検出手段
において検出された方向に前記実写画像撮影手段の向き
を制御する撮影方向制御手段と、前記実写画像撮影手段
により撮影された実写画像において被提示者の実際の視
野領域を越える領域の実写画像を圧縮して取り入れた提
示画像を形成する画像加工手段と、被提示者の頭部眼前
に設置され、前記画像加工手段により形成された提示画
像を被提示者に提示する実写画像提示手段とを備えたも
のである。

【０００８】請求項３記載の発明に係る感覚情報提示装
置は、被提示者が置かれた環境の環境温度を計測する環
境温度計測手段と、前記環境温度計測手段で計測された
温度を温冷感を想起させる色に対応させる環境温度−色
調変換手段と、前記環境温度−色調変換手段が決定した
色を被提示者への提示画像に組み込む視覚情報生成手段
と、前記提示画像を被提示者に提示する視覚情報提示手
段とを備えたものである。

【０００９】請求項４記載の発明に係る感覚情報提示装
置は、画像を蓄積する画像蓄積部と、画像を被提示者に
提示する画像提示部と、被提示者が見ている所を検出す
る視点検出手段と、被提示者が何かを注視しているか否
かを判定する注視判定手段と、注視している場合の視点
検出手段上の注視点座標を画像提示部上の座標に変換す
る注視点座標変換手段と、画像提示部上の注視点座標に
何らかの物体が提示されているか否かを検索する物体検
索手段と、画像提示部上の注視点座標に何らかの物体が
提示されている場合に、その提示されている被注視物体
のズームアップまたはズームアウトを所定の法則に従っ
て行なうズーム制御手段とを備えたものである。

【００１０】請求項５記載の発明に係る感覚情報提示装
置は、画像を蓄積する画像蓄積部と、画像を被提示者に
提示する画像提示部と、被提示者が見ている所を検出す
る視点検出手段と、被提示者が何かを注視しているか否
かを判定する注視判定手段と、注視している場合の視点
検出手段上の注視点座標を画像提示部上の座標に変換す
る注視点座標変換手段と、画像提示部上の注視点座標に
何らかの物体が提示されているか否かを検索する物体検
索手段と、画像提示部上の注視点座標に何らかの物体が
提示されている場合に、その提示されている被注視物体
の状態を変化させる提示物体状態変更手段とを備えたも
のである。

【００１１】請求項６記載の発明に係る感覚情報提示装
置は、視覚情報を被提示者に提示する視覚情報提示部
と、被提示者の視覚機能を計測する視覚機能計測手段
と、計測された視覚機能から被提示者の視覚疲労を推定
する視覚疲労推定手段、推定された視覚疲労状態に応じ
て前記視覚情報提示部において提示する提示情報を制御
する提示情報制御手段とを備えたものである。

【００１２】請求項７記載の発明に係る感覚情報提示装
置は、視覚情報を被提示者に提示する視覚情報提示部
と、被提示者の顔または体が向いている方向を判定する
方向判定手段と、前記視覚情報提示部による提示位置を
前記方向判定手段により判定された方向に対応させて移
動させる提示位置制御手段とを備えたものである。

【００１３】請求項８記載の発明に係る感覚情報提示装
置は、画像を被提示者に提示する画像提示部と、被提示
者が見ている所を検出する視点検出手段と、被提示者が
何かを注視しているか否かを判定する注視判定手段と、
注視している場合の視点検出手段上の注視点座標を画像
提示部上の座標に変換する注視点座標変換手段と、画像
提示部上の注視点座標に何らかの物体が提示されている
か否かを検索する物体検索手段と、画像提示部上の注視
点座標に何らかの物体が提示されている場合に、その提
示されている被注視物体に対応した音の音量または音質
を変化させて提示する音制御手段とを備えたものであ
る。

【００１４】請求項９記載の発明に係る感覚情報提示装
置は、被提示者の耳に提示される音の音量と周波数スペ
クトルを計測する提示音周波数スペクトル計測手段と、
提示音が耳から放射される耳音響放射音の音量と周波数
スペクトルを計測する放射音周波数スペクトル計測手段
と、前記提示音周波数スペクトル計測手段および前記放
射音周波数スペクトル計測手段による計測結果に基づい
て被提示者の聴覚特性を推論する情報処理手段と、前記
情報処理手段により推論された被提示者の聴覚特性に適
合した特性の聴覚情報を生成する聴覚情報生成手段と、
前記聴覚情報を被提示者に提示する聴覚情報提示手段と
を備えたものである。

【００１５】請求項１０記載の発明に係る感覚情報提示
装置は、聴覚情報を被提示者に提示する聴覚情報提示手
段と、被提示者が存在すると想定される環境における物
体や周辺環境等による音場をシミュレートする音場シミ
ュレート手段と、前記音場シミュレート手段がシミュレ
ートした音場の特徴を、必要に応じて誇張したり減衰さ
せたりして前記聴覚情報提示手段における聴覚情報の提
示に反映させる効果制御手段とを備えたものである。

【００１６】請求項１１記載の発明に係る感覚情報提示
装置は、仮想空間の画像を被提示者に提示する仮想空間
画像提示手段と、仮想空間内に提示されている物体を被
提示者が掴もうとする動作を検出する掌握動作検出手段
と、被提示者が掴もうとする掌握物体に近い形状まで内
部圧力の印加により膨張することによって前記掌握物体
を再現する再現物体と、前記再現物体に内部圧力を印加
して膨張させる物体再現手段と、前記再現物体の内部圧
力を前記掌握物体の硬度に応じて設定する硬度再現手段
とを備えたものである。

【００１７】請求項１２記載の発明に係る感覚情報提示
装置は、仮想空間の画像を被提示者に提示する仮想空間
画像提示手段と、仮想空間内に提示されている物体を被
提示者が持ち上げようとする動作を検出する持上動作検
出手段と、被提示者が持ち上げようとする持上物体を特
定する持上物体特定手段と、前記持上物体の重量に比例
した重量感を被提示者に与える重量感再現手段とを備え
たものである。

【００１８】請求項１３記載の発明に係る感覚情報提示
装置は、画像を被提示者に提示する画像提示手段と、被
提示者に提示されている画像における気圧，水圧等の圧
力値を出力する圧力値出力手段と、前記圧力値出力手段
が出力した圧力値に応じた圧力を被提示者に感じさせる
圧力再現手段とを備えたものである。

【００１９】請求項１４記載の発明に係る感覚情報提示
装置は、画像を蓄積する画像蓄積部と、画像を被提示者
に提示する画像提示部と、被提示者が見ている所を検出
する視点検出手段と、被提示者が何かを注視しているか
否かを判定する注視判定手段と、注視している場合の視
点検出手段上の注視点座標を画像提示部上の座標に変換
する注視点座標変換手段と、画像提示部上の注視点座標
に何らかの物体が提示されているか否かを検索する物体
検索手段と、画像提示部上の注視点座標に何らかの物体
が提示されている場合に、その提示されている被注視物
体の触覚特性を特定して、それと同等な触覚情報を被提
示者に提示する触覚情報提示手段とを備えたものであ
る。

【００２０】請求項１５記載の発明に係る感覚情報提示
装置は、被提示者に提示する風の温度を制御する温度制
御手段と、被提示者に提示する風の湿度を制御する湿度
制御手段と、被提示者に提示する風の風速を制御する風
速制御手段と、被提示者に提示する風における空気の流
れの状態を制御する乱流制御手段と、被提示者にさまざ
まな環境を想起させうる風質を実現するように前記温度
制御手段，湿度制御手段，風速制御手段，および乱流制
御手段を制御する風質制御手段とを備えたものである。

【００２１】請求項１６記載の発明に係る感覚情報提示
装置は、被提示者に風を提示する風提示手段と、前記風
提示手段により空気の流れを提示されている被提示者の
手，足，頭部等の露出部の状態を検知する被提示者状態
検知手段と、前記被提示者状態検知手段の検知情報を基
に、被提示者に提示される風の知覚波形，知覚強度，お
よび知覚頻度が適切なものとなるように前記風提示手段
を制御する提示状態制御手段とを備えたものである。

【００２２】請求項１７記載の発明に係る感覚情報提示
装置は、被提示者に提示する風に、被提示者に想起させ
る環境に適合した香りを付加する香り制御手段を備えた
ものである。

【００２３】請求項１８記載の発明に係る感覚情報提示
装置は、仮想空間における進行方向と移動速度の入力を
被提示者から受ける入力手段と、前記入力に従った仮想
空間における進行履歴を記憶する進行履歴記憶手段と、
仮想空間における進行を誘導するために被提示者に提示
する誘導情報を決定する誘導情報決定手段と、前記進行
履歴に対応した画像と前記誘導情報を被提示者に提示す
る画像提示手段と、前記誘導情報を音像データとして作
成し、この音像を立体的に提示する音像提示手段とを備
えたものである。

【００２４】請求項１９記載の発明に係る感覚情報提示
装置は、実写画像を再生して被提示者に提示する実写画
像提示手段と、実写画像の再生速度を被提示者が希望す
る速度に制御する再生速度制御手段と、実写画像の再生
を開始するポイントを被提示者に任意に指定させること
により実写画像の場面を切り替える場面切替手段とを備
えたものである。

【００２５】請求項２０記載の発明に係る感覚情報提示
装置は、被提示者に画像を提示する画像提示手段と、前
記画像に対応した適切な風を被提示者に提示する風提示
手段と、前記画像に対応した適切な香りを前記風に付加
する香り制御手段とを備えたものである。

【００２６】請求項２１記載の発明に係る感覚情報提示
装置は、被提示者に画像，温度感覚，および力覚を提示
する感覚提示手段と、被提示者が画像による仮想空間内
で物体に触れる際の手の動きを計測する計測手段と、前
記画像の内容および計測された前記手の動きに対応させ
て、被提示者に提示される画像，温度感覚，および力覚
を制御する提示感覚制御手段とを備えたものである。

【００２７】請求項２２記載の発明に係る感覚情報提示
装置は、被提示者に画像を提示する画像提示手段と、被
提示者との接触により運動負荷を提示しながら被提示者
に足踏み運動をさせる運動負荷提示手段と、前記画像の
内容および被提示者の踏み込み位置に合わせて、提示さ
れる運動負荷を制御する運動負荷制御手段とを備えたも
のである。

【００２８】請求項２３記載の発明に係る感覚情報提示
装置は、被提示者に画像を提示する画像提示手段と、被
提示者が足踏み運動をする動作を検出する足踏み運動検
出手段と、被提示者に提示される画像の内容に適合した
足踏み音を選択する足踏み音選択手段と、前記足踏み音
選択手段により選択された足踏み音を前記足踏み運動検
出手段により検出された足踏み運動のタイミングに合わ
せて被提示者に提示する足踏み音提示手段とを備えたも
のである。

【００２９】請求項２４記載の発明に係る感覚情報提示
装置は、視覚情報を被提示者に提示する視覚情報提示部
と、被提示者の視覚機能を計測する視覚機能計測手段
と、計測された視覚機能から被提示者の視覚疲労を推定
する視覚疲労推定手段、被提示者の脳波や心電図などの
生理反応を計測する生理反応計測手段と、計測された生
理反応から被提示者の精神・身体疲労を推定する精神・
身体疲労推定手段と、推定された被提示者の視覚疲労お
よび精神・身体疲労に応じて前記視覚情報提示部におい
て提示する提示情報を制御する提示情報制御手段とを備
えたものである。

【００３０】請求項２５記載の発明に係る感覚情報提示
装置は、請求項１から請求項７のうちのいずれか１項記
載の感覚情報提示装置における方法により被提示者に視
覚情報を提示する視覚提示手段と、請求項８から請求項
１０のうちのいずれか１項記載の感覚情報提示装置にお
ける方法により被提示者に聴覚情報を提示する聴覚提示
手段と、請求項１１から請求項１３のうちのいずれか１
項記載の感覚情報提示装置における方法により被提示者
に力覚情報を提示する力覚提示手段と、請求項１４から
請求項１６のうちのいずれか１項記載の感覚情報提示装
置における方法により被提示者に触覚情報を提示する触
覚情報提示手段とのうちの、少なくとも２種類以上の提
示手段を備えたものである。

【００３１】請求項２６記載の発明に係る感覚情報提示
装置は、視覚情報および聴覚情報を被提示者に提示する
感覚情報提示手段と、被提示者に提示される視覚情報中
において被提示者が注視している物体を特定する注視物
体特定手段と、特定された被注視物体の視覚属性と聴覚
属性をデータベースに随時蓄積し、このデータベースと
被提示者への提示情報との照合により注意対象の存在を
検出する注意対象検出手段と、注意対象が検出された場
合に、注意対象について被提示者の注意を喚起するため
に、視覚情報を注意対象に向かってズームアップし聴覚
情報の音量・音質を変化させるなどにより前記感覚情報
提示手段の提示情報を修飾する感覚情報修飾手段とを備
えたものである。

【００３２】

【発明の実施の形態】

以下、この発明の実施の一形態を説明する。 実施の形態１．図１はこの発明の実施の形態１による感
覚情報提示装置を示すブロック図であり、図において、
１０は被提示者の頭部の方位を検出する磁気コイルセン
サ（頭部移動量検出手段）、１１は被提示者の体幹の方
位を検出する磁気コイルセンサ（頭部移動量検出手
段）、１２はヘッドマウントディスプレイ（実写画像提
示手段）、１３は磁気コイルセンサ１０と１１の出力信
号を処理して方位を算出する信号処理部（頭部移動量検
出手段）、１４は画像方位計算部（頭部移動量検出手
段，移動量制御手段）、１５は実写画像方向制御部（移
動量制御手段）、１６は実写画像撮影手段、１７は実写
画像撮影手段１６の撮影方向を変更する撮影方向変更手
段（移動量制御手段）である。

【００３３】次に動作について説明する。磁気コイルセ
ンサ１０と被提示者の磁気コイルセンサ１１により被提
示者の体幹の方位θ₁ と頭部の方位θ₂ に関する量が計
測され、信号処理部１３においてそれぞれの方位が導出
される。この方位の導出の仕方としては、例えば、磁気
コイルセンサ１０および磁気コイルセンサ１１の周囲に
方向および強度が所定のパターンで変動する磁界をかけ
ておき、磁気コイルセンサ１０および磁気コイルセンサ
１１に発生する誘導電流から各センサの向きを導出する
等の方法が用いられる。そして、算出された方位θ₁ と
θ₂ から、画像方位計算部１４において、例えば図２
（ａ）に示すような関数により提示画像の方位が計算さ
れ、実写画像方向制御部１５の制御により撮影方向変更
手段１７が算出された画像方位に実写画像撮影手段１６
を向ける。

【００３４】提示画像方位θ₃ は、体幹の方位θ₁ と頭
部の方位θ₂ を用いて例えば以下のように計算される。
θ₂ −θ₁ の絶対値が閾値角度θｓを越えるまでは従来
と同様に頭部の方位θ₂ を提示画像方位θ₃ とする。閾
値角度θｓを超えた場合は、 θ₃ ＝θ₁ ＋（θ₂ −θ₁ ）×（１＋α） を提示画像方位とする。ここでαは提示画像方位拡張率
である。

【００３５】なおここで、図２（ａ）の関数は、図２
（ａ）に示したように直線状の関数でなくてもよく、３
次曲線のように原点を中心に点対称で原点から離れるほ
どθ₃の絶対値が大きくなるような関数であればよい。

【００３６】また、実写画像ではなく計算機で生成した
仮想空間において実施する場合には、実写画像方向制御
部１５を用いず、実写画像撮影手段１６と撮影方向変更
手段１７の機能を仮想空間生成計算機により置き換え、
画像方位計算部１４からの入力に対応した画像を生成す
るようにすればよい。

【００３７】以上のように、この実施の形態１によれ
ば、実写撮影による空間や計算機による仮想空間におい
て、ある範囲は実空間と同じ感覚で視覚情報を獲得しな
がら、かつ少ない頭部の運動で広範囲の視覚情報を獲得
することが可能となる。

【００３８】実施の形態２．図３はこの発明の実施の形
態２による感覚情報提示装置を示すブロック図であり、
図において、１０は被提示者の頭部が向いている方向を
検出する磁気コイルセンサ（頭部方向検出手段）、１２
はへッドマウントディスプレイ、（実写画像提示手
段）、１３は磁気コイルセンサ１０の出力信号を処理し
て方向を算出する信号処理部（頭部方向検出手段）、１
５は実写画像方向制御部（撮影方向制御手段）、１６は
実写画像撮影手段、１７は実写画像撮影手段１６の撮影
方向を変更する撮影方向変更手段（撮影方向制御手
段）、２０は実写画像撮影手段１６により撮影された実
写画像に加工を行う画像加工部（画像加工手段）であ
る。

【００３９】次に動作について説明する。磁気コイルセ
ンサ１０および信号処理部１３により被提示者の頭部が
向いている方向が計測され、撮影方位制御部１５の指令
により駆動される撮影方向変更手段１７が実写画像撮影
手段１６を前記計測された方向に向ける。

【００４０】画像加工部２０は、実写画像撮影手段１６
により撮影された実写画像を以下のように加工してヘッ
ドマウントディスプレイ１２に提示する。図４（ａ）に
示すように、被提示者の頭部の方位を基準とした実空間
における角度をθ_R 、ヘッドマウントディスプレイ１２
内における角度をθ_V とすると、画像加工部２０は、例
えば図４（ｂ）に示すような関数により、周辺部や後方
の画像を圧縮して視野に押し込んだ画像に加工する。す
なわち、被提示者の顔の正面からプラスマイナスθｓの
範囲は実空間と同じように表示を行い、プラスマイナス
θｓより外側の範囲は画像を水平方向に圧縮して表示す
る。この場合の実空間における画像とヘッドマウントデ
ィスプレイ１２における画像は図４（ｃ）のような対応
になる。

【００４１】ここで、この関数は図４（ｂ）に示したよ
うな直線状の関数でなくてもよく、原点を中心に点対称
で、原点から離れるほどθｖの値の増加率が少なくなる
ものであればよい。また、実写画像ではなく計算機で生
成した仮想空間において実施する場合には、実写画像方
向制御部１５を用いず、実写画像撮影手段１６と撮影方
向変更手段１７の機能を仮想空間生成計算機により置き
換え、画像方位計算部１４からの入力に対応した画像を
生成するようにすればよい。

【００４２】以上のように、この実施の形態２によれ
ば、視力の優れた中心視野の解像度を保ったまま、周辺
部の視野に広範囲な視覚情報を取り入れた視覚情報を被
提示者に提供することが可能となる。

【００４３】実施の形態３．図５はこの発明の実施の形
態３による感覚情報提示装置を示すブロック図であり、
図において、３０は被提示者に提示する画像データ、３
１は環境温度によって決定される色と画像データ３０を
合成する画像合成部（視覚情報生成手段）、３２は合成
された画像を再生する画像再生部（視覚情報提示手
段）、３３は再生画像を映示するモニタ（視覚情報提示
手段）、３４は被提示者の置かれた環境の温度を計測す
るデジタル温度計等の環境温度計測手段、３５は計測さ
れた環境温度に対応する色（色調）を決定する環境温度
−色調変換手段、３６は画像データ３０と色（色調）の
合成方法を制御する合成方法制御部（視覚情報生成手
段）である。

【００４４】次に動作について説明する。環境温度計測
手段３４で計測された温度データは環境温度−色調変換
手段３５に送られ、環境温度−色調変換手段３５は、環
境温度が高くなるに従って寒色系の色から暖色系の色に
するなど、あらかじめ設定された変換法則に従って環境
温度を色に変換する。画像合成部３１は画像データ３０
と前記環境温度−色調変換手段３５が決定した色（色
調）を、含成方法制御部３６にあらかじめ設定された法
則に従って合成し、画像再生部３２に送る。

【００４５】画像の合成方法は、例えば、画面全体を環
境温度−色調変換手段３５で求めた色にしたり、映しだ
される画像の背景だけを変えるなどの方法が可能であ
る。画像再生部３２は、合成された画像データを再生し
てモニタ３３によりこれを映示する。

【００４６】以上のように、この実施の形態３によれ
ば、被提示者に視覚的に温冷感を体験させることがで
き、例えば、温度感覚に障害を持つ人が温冷感を体験す
ることを補助したり、気温が高いときに逆に画像を寒色
系の色調に補正して提示することにより被提示者に清涼
感を与えるなどのことが可能となる。

【００４７】実施の形態４．図６はこの発明の実施の形
態４による感覚情報提示装置を示すブロック図であり、
図において、４０は画像データおよび物体属性データを
保持する画像蓄積部、４１は画像データの編集および再
生を行なう画像編集再生部（ズーム制御手段）、４２は
スクリーン，モニタ等の画像提示部、４３は被提示者が
見ている所を検出する視点検出手段、４４は被提示者が
何かを注視しているか否かを判定する注視判定手段、４
５は視点検出手段４３上の注視点座標を画像提示部４２
上の座標に変換する注視点座標変換手段、４６は変換さ
れた提示画面上の注視点座標に何らかの物体が存在する
かどうかを判定する物体検索手段、４７はズームアップ
またはズームアウトのどちらを行なうかを判定するズー
ム判定部（ズーム制御手段）である。

【００４８】次に動作について説明する。画像編集再生
部４１は画像蓄積部４０の画像データを再生して、画像
提示部４２により被提示者に提示する。被提示者は視点
検出手段４３として頭部に固定される視線方向撮影カメ
ラを装着しており、被提示者の顔が向けられた方向の画
像が撮影されるとともに照射赤外線の目からの反射光等
により視線方向が検出され、視点検出部４３において、
被提示者の視点の視線方向撮影カメラによる画像上の座
標が検出される。

【００４９】注視判定手段４４は、視点検出手段４３で
得られる視点がある一定時間以上停留しており、何かを
注視しているか否かを判定する。判定の方法としては、
例えば、ある一定時間の間視点位置が一定範囲を超えな
かった場合を注視とみなし、パラメータとして時間と範
囲を指定して行なう。

【００５０】次に、視点検出手段４３の視線方向撮影カ
メラによる画像上の注視点座標が算出されたら、注視点
座標変換手段４５において、これを画像提示部４２の画
像上の注視点座標に変換する。この注視点座標の変換
は、画像提示部４２の画像の四隅にマーカーを付けてお
き、視点検出手段４３にて得られる画像上のこの四つの
マーカーの座標を計算して変換に用いるなどの方法によ
り、容易に行うことができる。

【００５１】画像提示部４２上の注視点座標が決まった
後、物体検索手段４６において、提示画面上の注視点座
標になんらかの物体があるかどうかを判定する。この判
定においては、例えば、画像データに対して画像処理に
より輪郭を出し、輪郭で囲まれた比較的小さな閉じた領
域を物体とし、これと画像提示部４２上の注視点座標と
を照合する方法や、あらかじめ画像蓄積部において画像
データの各時刻に対応させて物体の存在する座標範囲等
を物体属性データとして保持しておき、この座標範囲と
画像提示部４２上の注視点座標とを照合する方法等を用
いることができる。そして、この判定結果は画像編集再
生部４１に送られる。

【００５２】ズーム判定部４７においては、ズームアッ
プを行なうか、ズームアウトを行なうかの判定を所定の
法則に従って実施する。判定基準は、最も簡単には、頭
部にセンサ等を取り付けて頭部の動きを検出し、これに
基づいて被提示者が画像提示部４２に顔を近付ければズ
ームアップ、遠ざければズームアウトするというもので
よい。

【００５３】注視判定手段４４，物体検索手段４６，お
よびズーム判定部４７からの信号を画像編集再生部４１
が受け取り、画像編集再生部４１は、被提示者が注視し
た状態で、注視点の物体が例えば花瓶であれば、提示画
面上での花瓶の重心位置を基に、ズームアップの場合は
重心位置を画像提示部４２の中心に近づけながら拡大表
示するように制御する。物体の重心位置は、例えば事前
に画像データの各時刻に対応させて求め、物体属性デー
タとして保持しておけばよい。

【００５４】また、物体検索手段４６において、提示画
面上の注視点が壁や空といった背景部分と判定された場
合は重心位置が存在しないので、被提示者が見ている注
視点をそのまま利用し、注視点座標を中心としたある一
定範囲を画像提示部４２の中心に近づけながら拡大表示
すればよい。これにより任意の物体のみではなく背景部
分のズームアップも行なえる。また、いうまでもなく、
注視点が物体にある場合の拡大においても、物体の重心
位置ではなく注視点を基準とした拡大も可能である。ま
た、ズームアウトの場合はズームアップの逆の操作を行
なうことにより実現する。

【００５５】なお、提示画像としては、画像蓄積部４０
に蓄積された実写画像やＣＧ（コンピュータグラフィッ
クス）画像等を用いることができるが、リアルタイムで
撮影している実写画像を用いる場合には、上記実施の形
態において、画像編集再生部４１の部分に撮影アングル
を制御可能なカメラを用い、カメラで撮影された画像を
解析して物体属性データとしての重心等を求める画像解
析手段を画像蓄積部４０や物体検索手段４６などに用い
る。この場合には、画像処理技術をリアルタイムで用い
て実写物体の輪郭等を検出し、これを基に大きさや色な
どの情報を実写画像から得て、実写物体の認識や重心の
導出等を行なう。

【００５６】以上のように、この実施の形態４によれ
ば、提示画像中の物体を被提示者が注視している場合に
その被注視物体をズームアップまたはズームアウトして
提示することが可能となる。

【００５７】実施の形態５．図７はこの発明の実施の形
態５による感覚情報提示装置を示すブロック図であり、
図において、５０は注視物体の状態をどのように変化さ
せるかを判定して提示物体の属性を変化させる提示物体
属性変更部（提示物体状態変更手段）である。なお、図
６に示したものと同一または相当の部分については同一
符号を付して重複説明を省略する。

【００５８】次に動作について説明する。画像編集再生
部４１は画像蓄積部４０の画像データを再生して、画像
提示部４２により被提示者に提示する。前記実施の形態
４と同様に、視点検出手段４３、注視判定手段４４、注
視点座標変換手段４５、物体検索手段４６により、注視
点座標になんらかの物体があるかどうかの判定を実施す
る。画像蓄積部４０には各々の物体に対応する物体属性
データが蓄えられており、提示画面上の注視点座標に物
体がある場合には対応する属性データを提示物体属性変
更部５０に送る。提示物体属性変更部５０においては、
注視判定手段４４より注視点の滞留時間と注視後の視点
の移動位置情報を得て、この注視時間と視点の移動に対
応した属性データの変更を行なう。提示物体の様々な制
御を可能とするために、注視時間等に対応した属性デー
タ変更定義を細かに決めておく。例えば、物体を１０秒
以上注視したあと視点をゆっくり右に動かすと、提示画
像内の注視物体も右に動いたり、また、電気製品等が表
示されている場合、電源スイッチを注視し続けると電源
が入ったりするといったことが可能となる。３０秒以上
注視し続けると、破壊されてしまうといったことでもよ
い。

【００５９】このような注視物体の移動、変形、破壊等
の状態の変化は、画像データとしてＣＧ画像を用いる場
合には注視物体の属性データを所定のアルゴリズムによ
り変更させることにより容易に行うことができる。ま
た、画像データとしてあらかじめ撮影した実写データを
用いる場合には、注視物体の状態の変化に対応して想定
される種々の画像を事前に撮影して用意しておき、これ
を所定の方法で合成することにより実施可能である。

【００６０】なお、本実施の形態の利用法として、じっ
とみつめると、対象物が破壊するなど、視線光線による
破壊などの疑似体験を被提示者に体験させることが可能
であり、ストレス解消などに用いることができる。ま
た、自閉症などで視線を特定物体に向けて注視できない
症例などの場合に、特に被提示者の好みの対象物を提示
し、少しづつ位置を移動させながら追従させ、注意集中
させるなどの訓練に用いることができる。また、***病
の患者や視線恐怖などで対人場面で目があわせられない
症例などに、人の頭部をまず背面から提示し、注視する
ことにより、徐々に横顔から正面顔画像に回転し、さら
に閉眼から徐々に開眼させていくなどの提示方法によ
り、心理療法に利用することができる。

【００６１】以上のように、この実施の形態５によれ
ば、提示画像中の物体を被提示者が注視している場合に
その被注視物体の状態を変化させて提示することが可能
となり、疑似体験，ストレス解消，心理療法等に応用す
ることができる。

【００６２】実施の形態６．図８はこの発明の実施の形
態６による感覚情報提示装置を示すブロック図であり、
図において、６０は視覚情報を被提示者に提示する視覚
情報提示部、６１はアイカメラ（視覚機能計測手段）、
６２はオプトメータ（視覚機能計測手段）、６３はアイ
カメラ６１とオプトメータ６２のデータを貯蔵するデー
タ貯蔵部（視覚疲労推定手段）、６４は計測したデータ
とデータ貯蔵部のデータとを比較する比較照合部（視覚
疲労推定手段）、６５は比較照合部６４の照合結果によ
り視覚疲労を推定する視覚疲労推定部（視覚疲労推定手
段）、６６は提示ルール格納部（提示情報制御手段）、
６７は提示情報生成部（提示情報制御手段）である。

【００６３】ここで、上記のアイカメラ６１およびオプ
トメータ６２は視覚機能計測手段を構成し、データ貯蔵
部６３，比較照合部６４，および視覚疲労推定部６５は
視覚疲労推定手段を構成し、また、提示ルール格納部６
６および提示情報生成部６７は提示情報制御手段を構成
している。以上の構成により、被提示者の視覚疲労状態
を推定し、推定された被提示者の視覚疲労状態によっ
て、生成・提示する視覚情報や提示方法を変更する。

【００６４】次に動作について説明する。視覚情報提示
部６０により画像を提示しながら、アイカメラ６１とオ
プトメータ６２から構成される視覚機能計測手段によっ
て、被提示者の視線方向と注視点、瞳孔径、輻輳、焦点
距離など複数の視覚機能評価パラメータがリアルタイム
で計測され、計測されたこれらのパラメータに関するデ
ータは、視覚疲労推定手段のデータ貯蔵部６３に格納さ
れる。次に、視覚疲労推定手段は、データ貯蔵部６３に
あらかじめ格納されている過去のデータと、新たに計測
され格納されたデータとの比較照合を比較照合部６４で
行ない、比較照合結果を視覚疲労推定部６５に送る。視
覚疲労推定部６５では、あらかじめ設定された視覚疲労
のしきい値を越えたかどうか判定し、これを越えた場合
に視覚疲労が生じたと推定するなどの方法により視覚疲
労の推定を行う。次に、視覚疲労推定部６５において推
定された視覚疲労の大小に応じて、提示情報制御手段
は、あらかじめ提示ルール格納部６６に設定されたルー
ルに基づき、提示情報生成部６７を制御し、視覚情報提
示部６０において視覚情報を提示する。

【００６５】視覚疲労推定部６５における推定方法とし
ては、あらかじめ視覚機能低下しきい値を登録する他
に、視覚情報提示開始時より一定時間、例えば３分間な
どのデータを計測して個人の初期値とし、これを基準と
して例えば焦点距離がこれよりも±２ＳＤを逸脱する変
動を示した場合を視覚疲労とするなど、個人データを基
準にして推定を行ってもよい。また、視覚疲労の推定
は、あらかじめ視覚疲労に関する複数のルール、例えば
近点調節が連続したら調節系の疲労大、新規な刺激に対
しての瞳孔径変化が小さい場合に瞳孔径調節疲労大など
を登録しておき、各パラメータのどれかがしきい値を越
えたら疲労大とするか、複数の指標の組み合わせで疲労
大と判定する。また、あらかじめ重み付け係数を登録し
ておき、各パラメータに重み付け係数を掛けて合計して
総合的視覚疲労とするなどとしてもよい。

【００６６】提示情報制御手段における提示情報の変化
のさせかたとして、視覚疲労が設定値を越えたら、被提
示者に注意を促すメッセージを出す、焦点距離が近い視
覚情報の提示が続いたら、焦点距離が遠くになるような
情報提示に変える、焦点が１点に集中されたら、提示位
置を視野の中で変化させる、逆に提示位置の変動が大き
く視線変化が激しい場合、提示位置を一定時間固定にす
る、被提示者の眼の輻輳の内側調整が連続したら、強制
的に外側への調整を行わせるなどが挙げられる。

【００６７】なお、被提示者の眼の焦点距離や輻輳を変
化させながら視覚情報を被提示者に提示することが可能
な視覚情報提示部６０としては、例えば、被提示者の位
置からの距離を前後に移動可能で右眼用の画像Ａと左眼
用の画像Ｂとを周期的に交互に短時間ずつ提示するディ
スプレーと、被提示者の左右の眼の視界を周期的に交互
に短時間ずつ遮断するシャッターを有した眼鏡状の器具
とを用いることが可能である。ディスプレーにおいて右
眼用の画像Ａを提示している周期においては、眼鏡状の
器具において左眼の視界を遮断し、ディスプレーにおい
て左眼用の画像Ｂを提示している周期においては、眼鏡
状の器具において右眼の視界を遮断して、周期的に左右
の眼に視覚情報を提示する。被提示者の眼の焦点距離を
変化させる場合には、ディスプレーの被提示者からの距
離を変化させ、また、被提示者の眼の輻輳を通常以上に
強制的に変化させる場合にはディスプレー上に提示する
右眼用の画像Ａと左眼用の画像Ｂの表示位置のずらし幅
を変化させる。このような構成により被提示者の眼の焦
点距離や輻輳を変化させながらの視覚情報の提示が可能
となる。なお、前記の被提示者への提示位置を変化させ
たり固定にする調節は、ディスプレー上の基準表示位置
を変化させることや、ディスプレー自体の位置を変化さ
せることにより可能である。

【００６８】以上のように、この実施の形態６によれ
ば、被提示者の視覚機能の計測を基に視覚疲労を推定し
て、これに応じた適切な視覚情報の提示を行うことがで
き、近点調節の連続や固定した画像提示において生じる
視覚疲労を防止して、眼に優しい視覚情報を提示するこ
とが可能となる。

【００６９】なお、上記の被提示者の眼の焦点距離，視
点，輻輳を適切に変化させる制御を被提示者の視覚機能
に応じて積極的に用いることにより、被提示者の視覚機
能向上をめざすことが可能であり、視覚機能訓練に用い
ることも可能である。

【００７０】実施の形態７．図９はこの発明の実施の形
態７による感覚情報提示装置を示す模式図であり、図に
おいて、７０は被提示者が横たわるベッド、７１は視覚
情報を被提示者に提示する液晶モニタやテレビ等の視覚
情報提示部、７２は視覚情報提示部７１を支持し被提示
者の頭部を中心とした円上で移動させるための一対の視
覚情報提示部移動用レール（提示位置制御手段）、７３
は視覚情報提示部７１の位置を制御して移動させる視覚
情報提示部位置制御部（方向判定手段，提示位置制御手
段）、７４は視覚情報提示部７１，視覚情報提示部移動
用レール７２，および視覚情報提示部位置制御部７３の
全体を水平移動するための水平移動用レール、７５は被
提示者の頭部を撮影するカメラ（方向判定手段）であ
る。

【００７１】次に動作について説明する。被提示者はベ
ッド７０に横たわっている。カメラ７５が被提示者の頭
部（顔）を撮影し、視覚情報提示部位置制御部７３が画
像処理技術により被提示者の顔が向いている方向を判定
する。この方向の判定においては、輪郭の検出や背景と
のコントラストの差等を用いて被提示者の顔の肌部分と
頭髪部分の領域を特定し、顔の肌部分が頭部輪郭内で左
右方向のどちらに偏っているかを判定してこれにより被
提示者の顔が向いている方向を判定するなどの方法を用
いることが可能である。

【００７２】そして、視覚情報提示部位置制御部７３は
視覚情報提示部７１を視覚情報提示部移動用レール７２
上で、上記判定された方向まで移動させる。視覚情報提
示部の移動は、モーターとチェーン等を用いて行なう。

【００７３】このような構成により、被提示者が体の向
きを変え、視野が変わったとしても、視覚情報提示部７
１を常に被提示者の顔の正面に位置させることができ、
被提示者の身体的負担の軽減が実現できる。水平移動用
レール７４は、被提示者がベッド７０上に移動するとき
や、起きてベッドを離れる場合等に邪魔にならないよう
視覚情報提示部７１を含む装置全体を移動させるための
ものである。以上により、ベッドに横たわっている息者
が一定の体勢に疲れ、体制を変えた場合にも、顔だけを
視覚情報提示部７１に向ける必要がなく、楽な体勢で視
覚情報提示部７１を見ることが可能となる。

【００７４】また、上記実施の形態においてはカメラ７
５を用いて被提示者の頭部を撮影し、向いている方向を
検出するが、実施の形態１および実施の形態２に示した
磁気コイルセンサ等を装着して、頭部の動きを検出して
もよい。また、ベッド７０の被提示者の頭部付近に、プ
ロジェクタを取り付け、被提示者の頭の動きに合わせ
て、投影する角度を変化させるようにしてもよい。当然
ながら、このときは液晶モニタ等は不要であり、投影さ
れる像を映すための白い布のようなものを、半円状に配
置すればよい。

【００７５】また、上記においては、視覚情報提示部７
１の位置を被提示者の顔の向きに追従させたが、顔の向
きに常時追従させると被提示者が少し顔を動かしても視
覚情報提示部７１が移動して煩わしくなる場合もあるた
め、一定時間で区切るなどの所定のアルゴリズムを用い
て移動の判断を行うようにしてもよい。また、顔の向き
に追従させるのではなく、被提示者の体幹の向きを検出
して、これに追従させてもよく、この場合には常に被提
示者の体の正面に視覚情報提示部７１を位置させること
ができ、被提示者が首を回す必要なく視覚情報提示部７
１を見ることが可能となる。また、被提示者の目の動き
を検出してこれに視覚情報提示部７１を追従させるなど
のことも可能である。

【００７６】以上のように、この実施の形態７によれ
ば、ベッドに寝ている被提示者に楽な体勢で視覚情報を
提示することが可能となる。

【００７７】実施の形態８．図１０はこの発明の実施の
形態８による感覚情報提示装置を示すブロック図であ
り、図において、８０は音源蓄積部（音制御手段）、８
１は音データの編集と再生を行なう音編集再生部（音制
御手段）、８２は被提示者に音を提示するスピーカ等の
音提示部（音制御手段）、８３は音の音質と音量を制御
する音質音量制御部（音制御手段）である。４０は画像
蓄積部、４１は画像編集再生部、４２は画像提示部、４
３は視点検出手段、４４は注視判定手段、４５は注視点
座標変換手段、４６は物体検索手段であり、上記の画像
蓄積部４０〜物体検索手段４６は図６に示したものと同
様のものである。また、画像蓄積部４０の物体属性デー
タには、画像中の各物体の座標範囲や、各物体に対応す
る音が音源蓄積部８０のどこに存在するかを示すポイン
タが含まれている。

【００７８】次に動作について説明する。画像編集再生
部４１は画像蓄積部４０の画像データを再生して、画像
提示部４２において被提示者に提示する。前記実施の形
態４と同様に、視点検出手段４３、注視判定手段４４、
注視点座標変換手段４５、物体検索手段４６により、注
視点座標になんらかの物体があるかどうかの判定を実施
する。音源蓄積部８０には各物体に対応する音が蓄えら
れており、提示画面上の注視点座標に物体がある場合に
は対応する音を音編集再生部８１に送り、音提示部８２
により被提示者に提示する。

【００７９】また、音質音量制御部８３では、注視判定
手段４４より注視点の滞留時間を得て、音の音質、音量
を制御する。例えば、滞留時間が短い場合には音質はノ
イジーであり音量は小さいとし、滞留時間が長くなるに
従い音質はよりクリアになり音量もより大きくなる等で
ある。これにより、被提示者の見ている任意の物体の発
する音の音量、音質を制御することができ、提示画像に
臨場感を持たせることができる。

【００８０】また、音源蓄積部８０には各々の物体に対
応する音とともに、各々の画像部分に対応する音場の情
報が蓄えられており、提示画面上の注視点座標に物体が
ない場合でも注視点座標が属する画像部分に対応する音
を音編集再生部８１に送り、音提示部８２により被提示
者に提示する。このときも音質音量制御部８３では、注
視判定手段４４より注視点の滞留時間を得て、音の音
質、音量を制御する。これにより、被提示者の見ている
任意の視線方向から発する音の音量、音質を制御するこ
とができ、提示画像に臨場感を持たせて提示することが
できる。

【００８１】以上のように、この実施の形態８によれ
ば、提示画像中の物体を被提示者が注視している場合に
その被注視物体に対応した音の音量または音質を変化さ
せて提示することができ、臨場感を持たせて画像を提示
することが可能となる。

【００８２】実施の形態９．図１１はこの発明の実施の
形態９による感覚情報提示装置を示すブロック図であ
り、図において、９０はイヤホンボディ、９１はマイク
ロホン、９２はマイクロスピーカ（聴覚情報提示手段）
である。９３は提示音周波数スペクトル計測手段、９４
は放射音周波数スペクトル計測手段、９５は聴覚情報生
成手段であり、９６は情報処理手段である。

【００８３】次に動作について説明する。被提示者はイ
ヤホンボディ９０を耳に装着する。まず聴覚情報生成手
段９５でなんら加工を施さない聴覚情報を生成しマイク
ロスピーカ９２からある一定の短時間提示する。この時
同時に提示音周波数スペクトル計測手段９３において、
提示音の音量と周波数スペクトルを計測し、その結果を
情報処理手段９６に送る。また、その直後に耳から放射
される耳音響放射音をマイクロホン９１で計測し、放射
音周波数スペクトル計測手段９４において放射音の音量
とスペクトルを計測し、その結果を情報処理手段９６に
送る。

【００８４】ここで耳音響放射とは、１９７８年に発見
された内耳発振の音響現象である。聴覚の受容器である
内耳から逆向きに外耳へ音が放射される本現象は内耳の
状態を反映すると考えられている。情報処理手段９６は
提示音周波数スペクトルと耳音響放射音スペクトルの情
報を用いて被提示者の聴覚特性を推論する。この聴覚特
性の推論は、感覚情報提示装置の使用開始時に行う。

【００８５】聴覚情報生成手段９５は推論された結果を
もとに被提示者の聴覚特性に合わせて聴覚情報をマイク
ロスピーカ９２から出力する。例えば、難聴者のための
補聴器に使用する場合には、難聴のタイプ（低音障害
型、高音漸傾型、高音急墜型、高音域障害型、ディップ
型など）に合わせて周波数軸上で聴覚レベルの落ちた帯
域の出力を大きくすることができ、障害により聴覚能力
の衰えた部分の周波数帯域を補って被提示者に聴覚情報
を提示することができる。

【００８６】以上のように、この実施の形態９によれ
ば、耳音響放射を利用して被提示者の聴覚特性を推論し
て、被提示者の聴覚特性に応じた最適な周波数特性の聴
覚情報を提示することができる。

【００８７】実施の形態１０．図１２はこの発明の実施
の形態１０による感覚情報提示装置を示すブロック図で
あり、図において、１００は被提示者に提示される聴覚
情報の音源（聴覚情報提示手段）、１０１は空間におけ
る音源の位置を制御し音像の定位を可能とする音源位置
制御部（聴覚情報提示手段，効果制御手段）、１０２は
空間内での反射物や障害物などによる反射音などの間接
音を実現する反射畳み込み演算部（聴覚情報提示手段，
効果制御手段）、１０３はヘッドホン１０４により被提
示者に立体感を持たせて聴覚情報を提示できるように音
響信号を調整する頭部伝達関数演算部（聴覚情報提示手
段，効果制御手段）、１０４は聴覚情報を被提示者に提
示するヘッドホン（聴覚情報提示手段）である。１０５
は音源位置制御，反射畳み込み演算，頭部伝達関数演算
における効果のＯＮ／ＯＦＦ，効果の大小，効果に関す
るその他のパラメータを調整する効果制御部，（音場シ
ミュレート手段，効果制御手段）１０６は被提示者が存
在すると想定される環境の空間内に存在する物体の形
状、大きさ、位置、反射率や吸音率などの音響的特性な
どに関するデータを蓄えた空間構成データベース（音場
シミュレート手段）である。

【００８８】次に動作について説明する。効果制御部１
０５は空聞構成データベース１０６より必要なデータを
読み出し、それを基に、音源位置の設定、空間内での反
射物や障害物などによる反射音などの間接音の設定、各
被提示者の頭部伝達関数の設定を、それぞれ、音源位置
制御部１０１，反射畳込演算部１０２，頭部伝達関数演
算部１０３に指令する。

【００８９】この際に効果制御部１０５は、必要に応じ
て、音源位置制御部１０１，反射畳込演算部１０２，頭
部伝達関数演算部１０３における音源位置制御，反射畳
み込み演算，頭部伝達関数演算における音場特徴表現の
効果が実際に想定されるよりも大きく、または小さくな
るように上記各部への指令を行う。

【００９０】音源１００から入力された音情報には、上
記各設定に従って音源位置，間接音，頭部伝達関数によ
る定位情報が加工・付加され、この聴覚情報がヘッドホ
ン１０４により被提示者に提示される。

【００９１】例えば、音源位置制御部１０１の設定の変
更により、部屋の中の壁際と部屋の真ん中における音の
聞こえ方の違いなどを表現することが可能であり、反射
畳込演算部１０２における設定の変更により、被提示者
が狭い部屋にいると想定されるときと広々とした草原に
いると想定されるときの音場の違いなどを表現すること
が可能であり、また、頭部伝達関数演算部１０３の設定
の変更により、音を発する物体の印象の強弱の違い等を
表現することが可能である。効果制御部１０５の指令に
より設定される音源位置制御部１０１，反射畳込演算部
１０２，頭部伝達関数演算部１０３における音情報の加
工により、被提示者が存在すると想定される環境におけ
る音場を適切にシミュレートした聴覚情報が被提示者に
提示される。

【００９２】また、効果制御部１０５は、必要に応じ
て、音源位置制御部１０１，反射畳込演算部１０２，頭
部伝達関数演算部１０３における音場特徴表現の効果を
誇張したり減衰させたりすることができるため、例え
ば、被提示者が仮想的に狭い車内から広い海岸に出るよ
うな場合に、広い海岸に出た際の音場の特徴のみを誇張
して提示し、広い海岸に出た際の開放感を被提示者に聴
覚情報のみにより強い印象で体験させるなどのことが可
能となる。また、上記の感覚情報提示装置を視覚情報を
提示する視覚情報提示手段と併用する場合には、例え
ば、閉所恐怖症の回復トレーニングにおいて被提示者に
狭い部屋に入る際の映像を提示して、この際の狭い部屋
における音場の特徴を大きくしたり小さくしたりするこ
とにより、被提示者の狭い部屋への抵抗感を徐々に減少
させるなどのことが可能である。

【００９３】以上のように、この実施の形態１０によれ
ば、被提示者が存在すると想定される環境における音場
をシミュレートしてこれを聴覚情報に反映させて被提示
者に提示する際に、シミュレートされた音場の特徴を、
必要に応じて誇張したり減衰させたりして反映させるこ
とが可能であり、被提示者の仮想的な移動等の変化を聴
覚情報により強い印象で体験させたり、印象を軽減して
体験させたりするなどのことが可能となる。

【００９４】実施の形態１１．図１３はこの発明の実施
の形態１１による感覚情報提示装置を示すブロック図で
あり、図において、１１０は被提示者に提示される仮想
空間画像の画像データであり、仮想空間内の物体の硬度
情報も有している。１１１は被提示者に仮想空間画像を
提示する仮想空間画像提示手段、１１２は仮想空間内で
被提示者が掴もうとしている物体を特定する掌握物体特
定部（掌握動作検出手段）、１１３は被提示者が仮想空
間内で物体を掴もうとする動作を検出する掌握動作検出
部（掌握動作検出手段）、１１４は掌握物体特定部１１
２で特定された物体の形状を再現物体１１５を膨張させ
ることにより再現する物体再現手段、１１５は物体を再
現する風船状の再現物体であり、仮想空間内の各物体に
対応して、球状、立方体状、三角錐状、棒状等の所定形
状および所定の大きさのものが複数個用意されている。
風船状の再現物体としては、空気圧が印加されて所定の
大きさになった後はそれ以上膨張せず硬度が増していく
ような性質のものを用いる。また、柔軟で非伸縮性の外
皮中に通常の風船を入れた構造のものでもよい。１１６
は掌握物体特定部１１２で特定された物体の硬度を再現
物体１１５により再現するために再現物体１１５の空気
圧に関する指令を出す硬度再現手段である。

【００９５】次に動作について説明する。仮想空間画像
提示手段１１１で提示されている画像において、データ
グローブ等によって仮想空間内に再現された被提示者の
手の動きから、掌握動作検出部１１３において掌握動作
を判定する。掌握動作と判定した場合、仮想空間内の手
の位置と表示されている様々な物体の表示位置との関係
をチェックし、どの物体を掴もうとしているかを掌握物
体特定部１１２で特定する。さらに、掌握物体特定部１
１２では特定した物体の硬度情報を画像データ１１０か
ら読み取る。

【００９６】物体再現手段１１４は掌握物体特定部１１
２で特定された物体に相当した形状および大きさの再現
物体１１５に対して空気を送り、その再現物体１１５を
膨らませる。この際に硬度再現手段１１６は、特定され
た掌握物体の硬度情報を基に再現物体１１５をどの程度
の空気圧に保つかを判断して空気圧に関する指令を物体
再現手段１１４に送る。物体再現手段１１４は再現物体
１１５の空気圧を前記指令に応じた空気圧に維持し、こ
れにより再現物体１１５が前記掌握物体に対応した硬度
に維持される。

【００９７】図１４は具体的にどのように物体を再現す
るかを示した模式図であり、図において、１１７は各再
現物体１１５に接続されるチューブ、１１８は再現物体
１１５を被提示者の手首付近に固定するベルトである。

【００９８】各再現物体１１５のチューブ１１７は物体
再現手段１１４のコンプレッサーに接続されており、物
体再現手段１１４がコンプレッサーからの空気を所定の
チューブ１１７に所定の圧力で送ることにより、所定の
再現物体１１５が所定の硬度に膨らみ掌握物体を再現す
る。

【００９９】以上のように、この実施の形態１１によれ
ば、仮想空間画像を提示される被提示者に、仮想空間内
で物を掴む感覚をその物の形状と硬度を再現して提示す
ることができ、より現実的な仮想空間体験を行わせるこ
とが可能となる。

【０１００】なお、上記には示していないが、再現物体
１１５に送り込む空気の温度も併せて制御することも可
能であり、例えば、金属球のような冷たいものを掴んだ
ときに、その冷たさも併せて体験させるなどのことも可
能である。

【０１０１】実施の形態１２．図１５はこの発明の実施
の形態１２による感覚情報提示装置を示すブロック図で
あり、図において、１２０は被提示者に仮想空間画像を
提示する仮想空間画像提示手段、１２１は仮想空間内で
被提示者が持ち上げようとしている持上物体を特定する
持上物体特定手段、１２２は被提示者が仮想空間内で物
体を持ち上げようとする動作を検出する持上動作検出手
段である。１２３は持上物体特定手段１２１で特定され
た持上物体の重量感を再現する重量感再現手段である。

【０１０２】図１６は重量感再現手段１２３による重量
感再現の具体的方法を示す模式図であり、図において、
１２４は被提示者の手首に装着される磁性体、１２５は
電磁石である。

【０１０３】次に動作について説明する。仮想空間画像
提示手段１２０で提示されている仮想空間画像の中の物
体を、データグローブ等を用いて被提示者が掴んで持ち
上げようとする。このとき、被提示者が仮想空間内で掴
んでいる物体の位置と同空間に表示されている被提示者
の手の位置とを用いて持上物体特定手段１２１が持ち上
げようとしている持上物体を特定する。持上動作検出手
段１２２は、仮想空間内に表示された被提示者の手の動
きによって持上動作であるか否かを判定する。持上動作
と判定されたとき、重量感再現手段１２３に信号が送ら
れ、重量感再現手段１２３は持上物体の重量に比例する
重量感を被提示者に与える。

【０１０４】具体的には、被提示者の手首に鉄などの磁
性体１２４を取り付け、床下または天井などに電磁石１
２５を配置する。重量感は、電磁石１２５によって発生
される磁力により被提示者の手首に付けた磁性体１２４
が引っ張られることにより生じる。例えば電磁石１２５
が床下にある場合には磁性体１２４が重力方向に引っ張
られ、電磁石１２５が天井にある場合には磁性体１２４
が重力方向とは反対に引っ張られるため、前者のみ、ま
たは前者と後者を適宜バランスさせて用いるなどのこと
が可能である。また、磁性体１２４に磁石を用いた場合
には、言うまでもなく、電磁石１２５を例えば床下のみ
に置き、電磁石１２５の発生磁界の極性および強さを調
節することにより重量感を達成することができる。

【０１０５】以上のように、この実施の形態１２によれ
ば、仮想空間内で被提示者が物体を持ち上げようとした
ときに、被提示者にその物体の重量感を与えることがで
き、より現実的な仮想空間体験を行わせることが可能と
なる。また、上記のように鉛直方向ではなく、水平方向
に引力または反発力が生じるように電磁石を配置するこ
とにより、例えば、空中を被提示者に向かって飛んで来
たボールを掴んだときの衝撃の感覚を被提示者に与える
などのことが可能である。さらに、電磁石の発する引力
または反発力の方向をさらに増やすことにより、重量感
を与える以外に、被提示者の動きを制限するなどの種々
の用途にも応用可能である。

【０１０６】実施の形態１３．図１７はこの発明の実施
の形態１３による感覚情報提示装置を示すブロック図で
あり、図において、１３０は被提示者に提示される画像
データ、１３１は被提示者に画像を提示する画像提示手
段、１３２は被提示者に提示されている画像における気
圧，水圧等の圧力値を出力する圧力値出力手段、１３３
は前記圧力値出力手段１３２が出力した圧力値に応じた
圧力となるように加圧状態を制御する圧力制御部（圧力
再現手段）、１３４は圧力制御部１３３により加圧さ
れ、被提示者に実際に圧力を感じさせる圧力再現部（圧
力再現手段）である。

【０１０７】図１８は圧力再現部１３４による具体的な
圧力再現方法を示す模式図であり、図において、１３５
は圧力再現部１３４に用いる圧力再現服、１３６は圧力
再現服１３５の関節部、１３７は関節部分における領域
間通気孔である。

【０１０８】次に動作について説明する。画像データ１
３０による画像が画像提示手段１３１により被提示者に
提示される。画像データ１３０中には、その画像の各時
刻に対応した圧力値データが例えば実測値等を基にして
あらかじめ入力してあり、圧力値出力手段１３２はその
圧力値データを読み込んで圧力制御部１３３に出力す
る。圧力制御部１３３は、コンプレッサー等の加圧装置
の印加圧力を前記圧力値データに応じた圧力に制御して
その印加圧力を圧力再現部１３４に印加する。これによ
り圧力再現部１３４において画像に応じた圧力感が被提
示者に与えられる。例えば、画像提示手段１３１におい
てスキューバダイビング時の画像が提示される場合に
は、徐々に深くなる深度に応じた圧力が圧力再現服１３
５等の圧力再現部１３４により被提示者に提示され、被
提示者は実際に海に潜っていく場合の圧力の変化を体験
することができる。

【０１０９】圧力再現部１３４は圧力再現服１３５に示
すように、ウェットスーツ状の構成とし、２重構造とす
ることで内部に空気や水などを注入できるようにする。
ただし、全体を単純な２重構造とするだけでは関節部
分、即ち、肘，肩，膝，腰等の屈曲に支障をきたすた
め、関節部１３６においては表裏をつなげて１重として
各関節部１３６を境に注入領域が分かれるようにし、そ
の１重部分に領域間通気孔１３７を設けて注入領域同士
を接続するようにする。これにより圧力再現と動作のし
やすさとが両立した構造となる。なお、被提示者が動作
を行なわないような状況であれば、ウェットスーツ状の
物でなく、寝袋のような単純構造のものでもよい。

【０１１０】以上のように、この実施の形態１３によれ
ば、画像の提示に併せて被提示者に提示画像に応じた圧
力を体感させることが可能となり、より臨場感を増した
感覚情報を提示することが可能となる。

【０１１１】実施の形態１４．図１９はこの発明の実施
の形態１４による感覚情報提示装置を示すブロック図で
あり、図において、４０は画像データおよび物体属性デ
ータを保持する画像蓄積部、４１は画像データの編集お
よび再生を行なう画像編集再生部、４２はスクリーン，
モニタ等の画像提示部、４３は被提示者が見ている所を
検出する視点検出手段、４４は被提示者が何かを注視し
ているか否かを判定する注視判定手段、４５は視点検出
手段４３上の注視点座標を画像提示部４２上の座標に変
換する注視点座標変換手段、４６は変換された提示画面
上の注視点座標に何らかの物体が存在するかどうかを判
定する物体検索手段であり、以上は図６に示した前記実
施の形態４におけるものとほぼ同様のものである。１４
０は画像中の様々な物体の視覚情報と触覚情報の対応に
関するデータベースを蓄積する物体視覚・触覚情報蓄積
部（触覚情報提示手段）、１４１は物体の視覚特性から
触覚特性を特定する触覚特性特定手段（触覚情報提示手
段）、１４２は被提示者に触覚情報を提示する触覚情報
提示部１４３を制御する触覚情報制御部（触覚情報提示
手段）、１４３は被提示者に触覚情報を提示する触覚情
報提示部（触覚情報提示手段）である。

【０１１２】次に動作について説明する。画像編集再生
部４１は画像蓄積部４０の画像データを受け取り画像を
再生して画像提示部４２に送り、画像提示部４２により
被提示者に画像が提示される。視点検出手段４３では、
視線方向撮影カメラにより視線方向を検出すると同時に
視線方向の映像を撮影し、撮影された画像と検出された
視線方向から視点を検出する。注視判定手段４４では視
点検出手段４３によって検出された視点の停留時間か
ら、例えば停留時間が一定時間を超えたかどうかを基準
に、被提示者が提示された画像中の何らかの物体を注視
しているか否かを判定する。注視点座標変換手段４５で
は、注視判定手段４４で被提示者が何らかの物体に注視
していると判断された場合に、視線方向検出手段４３の
視線方向撮影カメラ中の注視点座標を画像提示部４２に
より提示される画像中の座標に変換し、物体検索手段４
６では画像蓄積部４０の物体属性データを基にして、注
視点座標変換手段４５によって変換された画像提示部４
２の提示画像中の注視点に物体が存在するかどうかを検
索する。

【０１１３】触覚特性特定手段１４１は、物体検索手段
４６において物体が検索された場合に、特定された物体
の画像情報と、物体視覚・触覚データ蓄積部１４０にお
ける画像中の様々な物体の視覚情報と触覚情報の対応に
関するデータベースをもとに、注視点に存在することが
特定された物体の触覚特性を特定する。この際に触覚特
性特定手段１４１は、特定された物体の画像情報から、
明るさ、色、きめなどの定量化可能ないくつかの視覚情
報を抽出し、前記データベースからこれに対応した最も
特性の近い触覚特性を選択するなどの方法を用いる。

【０１１４】特定された物体の触覚特性データは触覚提
示制御部１４２に送られ、触覚提示手段１４３により触
覚情報が被提示者に提示される。触覚提示手段１４３と
しては、種々の触覚特性データに対応してあらかじめ作
成された複数の提示面を選択的に被提示者に提示するよ
うなものを用いることが可能である。

【０１１５】以上のように、この実施の形態１５によれ
ば、画像を提示されている被提示者に、被提示者が画像
中で注視している対象物の触覚を併せて体験させること
が可能となり、より臨場感を増した感覚情報を提示する
ことが可能となる。

【０１１６】実施の形態１５．図２０はこの発明の実施
の形態１５による感覚情報提示装置を示すブロック図で
あり、図において、１５０は空気が流れるパイプ、１５
１はパイプ１５０を流れる空気の加湿・除湿を制御する
湿度制御手段、１５２はパイプ１５０を流れる空気の加
温・冷却を制御する温度制御手段、１５３はパイプ１５
０を流れる空気の流速を制御する風速制御手段、１５４
は複数に分岐したパイプ１５０の出口において風向きを
調整して乱流を発生させることにより被提示者に提示す
る空気の流れの状態を制御する乱流制御手段、１５５は
湿度制御手段１５１，温度制御手段１５２，風速制御手
段１５３，および乱流制御手段１５４の持つ各制御機能
を連続的に変化させて目的の風質となるように制御する
風質制御手段である。

【０１１７】次に動作について説明する。パイプ１５０
に入った空気は湿度制御手段１５１の湿度制御部におい
て設定される湿度になるよう加湿または除湿される。そ
の後、温度制御手段１５２の温度制御部において設定さ
れた温度となるように加温または冷却される。風速制御
手段１５３はパイプ１５０に空気を取り込むためのファ
ンを有しており、風速制御部によってファンの回転数を
制御することで風速を制御する。乱流制御手段１５４で
は、複数に分かれたパイプ１５０の排出口に取付けた制
御板を乱流制御部の制御により向きを変え、排出口を出
る空気が所定の状態でぶつかり合いながら出て行くよう
にする。

【０１１８】風質制御手段１５５は、湿度制御手段１５
１の湿度制御部，温度制御手段１５２の温度制御部，風
速制御手段１５３の風速制御部，および乱流制御手段１
５４の乱流制御部に対して送信する制御信号におけるパ
ラメータの組合せを複数の風質に対応して出力可能であ
り、これらの風質の間でパラメータを連続的に変化させ
ることも可能に設けられている。風質制御手段１５５が
上記各部に設定希望の風質に対応した制御信号を送るこ
とにより、湿度制御手段１５１，温度制御手段１５２，
風速制御手段１５３，および乱流制御手段１５４が上記
風質に対応した制御状態となり、空気の排出口付近に生
成される風が、例えば、被提示者に草原を吹き抜ける爽
やかな風や真夏の熱風を想起させ得るような風質に制御
される。また、上記のような各風質間で風質を連続的に
変化させることも可能であり、例えば環境の変化を風質
の変化として被提示者に体験させることも可能である。

【０１１９】以上のように、この実施の形態１５によれ
ば、被提示者に、さまざまな風質によりさまざまな環境
を疑似体験せさたり、環境の変化を風質の変化として体
験させることなどが可能となる。

【０１２０】なお、上記においては、湿度制御手段１５
１，温度制御手段１５２，風速制御手段１５３は別々の
場所に設置するように示されているが、これらを１箇所
にまとめて設置してもよい。また、上記においては、乱
流を発生するために排出口において板を用いているが、
板に限らず、風向きを変えられるものであればどのよう
な構成を用いてもよいことはいうまでもない。

【０１２１】実施の形態１６．図２１はこの発明の実施
の形態１６による感覚情報提示装置を示すブロック図で
あり、図において、１６０は被提示者に風を送る送風機
（風提示手段）、１６１は送風機１６０からの風を受け
ている被提示者の露出部分の状態を検知する被提示者状
態検知部（被提示者状態検知手段）であり、前記露出部
分に取り付けられる風速センサ，温度センサ，湿度セン
サ等の計測用センサを有している。１６２は被提示者状
態検知部１６１で得られたデータから被提示者の露出部
分の状態を判定する被提示者状態判定部（提示状態制御
手段）、１６３は被提示者状態検知部１６１の検知情報
を基に送風機１６０の運転状態を適切に制御し、被提示
者に送られる風の知覚強度を制御する知覚強度制御部
（提示状態制御手段）、１６４は被提示者状態検知部１
６１の検知情報を基に送風機１６０の運転状態を適切に
制御し、被提示者に送られる風の知覚頻度を制御する知
覚頻度制御部（提示状態制御手段）、１６５は被提示者
状態検知部１６１の検知情報を基に送風機１６０の運転
状態を適切に制御し、被提示者に送られる風の知覚波形
を制御する知覚波形制御部である。

【０１２２】次に動作について説明する。まず送風機１
６０によって被提示者に風が与えられる。被提示者状態
検知部１６１の風速センサ，温度センサ，湿度センサ等
の計測センサは、被提示者の露出部分に装着されてお
り、被提示者が露出部分で感じている風速を計測すると
ともに、露出部分の温度および湿度を計測する。

【０１２３】被提示者状態検知部１６１で計測された風
速，温度，湿度の各データは、被提示者状態判定部１６
２に送られ、ここで、被提示者の露出部分の温度と湿度
から、露出部分の状態が判定される。この判定は、例え
ば、温度はあまり高くないが湿度が高い状態であれば、
「熱くて汗をかいている」などのように、事前に、いく
つかのパターンを調べて登録しておき、これを用いれば
よい。被提示者状態判定部１６２においては、また、風
速データに対して、１回の周期的な波形を風速の知覚波
形とし、この知覚波形の最大値を知覚強度とし、知覚波
形の時間的繰り返し頻度を知覚頻度とするような算出作
業が行われ、これらの結果が知覚強度制御部１６３，知
覚頻度制御部１６４，および知覚波形制御部１６５に送
られる。

【０１２４】知覚強度制御部１６３，知覚頻度制御部１
６４，および知覚波形制御部１６５は、算出された知覚
波形・知覚強度・知覚頻度と前記判定された被提示者の
露出部分の状態とから、知覚波形・知覚強度・知覚頻度
を以降どのように制御するか決定する。例えば、前述の
「熱くて汗をかいている」との判定結果においては、知
覚強度制御部１６３において知覚強度を増大するため最
高回転数を高くする、知覚頻度制御部１６４において知
覚頻度を上昇させるため風向きを変える周期を短くす
る、知覚波形制御部１６５において知覚波形の伸長を行
なうため最高回転数での運転時間を長くする、というよ
うな決定がなされ、これに従って送風機１６０のモータ
ーの回転数と風向き等の制御が行われる。

【０１２５】以上のように、この実施の形態１６によれ
ば、被提示者の露出した皮膚の状態に応じて、適切な状
態で被提示者に風の提示を行うことが可能となる。な
お、送風機１６０の制御のみにとどまらず風の温度を合
わせて制御することも可能であり、より適切な状態で風
の提示を行うことが可能となる。

【０１２６】実施の形態１７．図２２はこの発明の実施
の形態１７による感覚情報提示装置を示すブロック図で
あり、図において、１５０は空気が流れるパイプ、１５
１はパイプ１５０を流れる空気の加湿・除湿を制御する
湿度制御手段、１５２はパイプ１５０を流れる空気の加
温・冷却を制御する温度制御手段、１５３はパイプ１５
０を流れる空気の流速を制御する風速制御手段、１５４
は複数に分岐したパイプ１５０の出口において風向きを
調整して乱流を発生させることにより被提示者に提示す
る空気の流れの状態を制御する乱流制御手段であり、以
上は図２０に示した前記実施の形態１５におけるものと
同様のものである。１６１は前記実施の形態１６に記し
たようにして被提示者の状態を検知する被提示者状態検
知部、１７０はパイプ１５０を流れる空気に香りを付加
する香り制御手段、１７２は湿度制御手段１５１，温度
制御手段１５２，風速制御手段１５３，乱流制御手段１
５４，および香り制御手段１７０の持つ各制御機能を連
続的に変化させて目的の風質となるように制御する風質
制御手段である。

【０１２７】次に動作について説明する。香り制御手段
１７０の香り制御部において、被提示者に疑似体験させ
る環境に対応した香りが生成され、香り制御手段１７０
の香り付加部においてパイプ１５０内の空気への前記香
りの混合が行われる。この香りの生成・付加方法として
は、香りを放つ液体等をあらかじめ開閉可能な密封容器
に複数種類用意しておき該当する密封容器が開くように
する方法、スプレーとして複数用意しておき該当するも
のが噴射されるようにする方法、香りを放つ物質をコー
ティングされた顆粒として複数種類用意しておき該当す
る種類の顆粒をつぶす方法などが可能である。

【０１２８】この後パイプ１５０内の空気は、前記実施
の形態１５と同様に、風質制御手段１７２により制御さ
れる湿度制手段１５１，温度制御手段１５２，風速制御
手段１５３，乱流制御手段１５４を経て、香りのついた
風として被提示者に提示される。この際に風質制御手段
１７２は被提示者に疑似体験させる環境に対応して設定
されたデータを基に制御を行う。これにより、被提示者
にさまざまな風質に香りを加えた提示によりさまざまな
環境を疑似体験せさたり、環境の変化を風質および香り
の変化として体験させることなどが可能となる。

【０１２９】また、被提示者状態検出部１６１において
は、前記実施の形態１６と同様にして被提示者の状態が
検出され、風質制御手段１７２に検出情報を含んだ信号
が送られる。風質制御手段１７２は、上記のような環境
を疑似体験させる制御を行う代わりに、上記検出情報を
基にして、風の湿度や温度の制御に関する信号を湿度制
御手段１５１および温度制御手段１５２に送り、実施の
形態１６に示した知覚強度・知覚頻度・知覚波形の制御
に関する信号を風速制御手段１５３と乱流制御手段１５
４に送るとともに、上記検出情報を基にして、香り制御
手段１７０を制御する信号を送ることもでき、例えば、
被提示者の皮膚が「熱くて汗をかいている」場合には、
被提示者に送られる風の知覚強度を増大させ、知覚頻度
を上昇させ知覚波形を伸長させ、温度を低下させ、湿度
を低下させるとともに、風の香りを付加して効果を強調
して被提示者に供給するなどのことが可能となる。以上
のように、この実施の形態１７によれば、被提示者に供
給する風に、被提示者に想起させる環境に適合した香り
を付加したり、被提示者の露出部の状態に応じた香りを
付加したりすることができ、風に付加される香りによ
り、被提示者により現実的な環境想起を促したり、被提
示者の状態改善をより顕著なものとするなどのことが可
能となる。

【０１３０】実施の形態１８．図２３はこの発明の実施
の形態１８による感覚情報提示装置を示すブロック図で
あり、図において、１８０は仮想空間内における被提示
者の進行方向と移動速度の入力を被提示者から受ける進
行入力部と希望到達目的地の入力を受ける目的地入力部
とからなる入力手段、１８１は被提示者が移動する可能
性のある仮想空間の画像データと地図データ、および入
力手段１８０より入力された目的地データが貯蔵される
データ貯蔵手段、１８２は進行入力部における被提示者
の入力に基づく被提示者の進行履歴を記憶する進行履歴
記憶部、１８３は被提示者を目的地に誘導する刺激情報
を決定する誘導情報決定手段、１８４は進行履歴により
再生する画像と被提示者を目的地に誘導するための画像
情報を提示する画像提示手段、１８５は被提示者を目的
地に誘導するための音像情報を提示する音像提示手段で
ある。

【０１３１】次に動作について説明する。入力手段１８
０における目的地入力部ではデータ貯蔵手段１８１の地
図データと画像データの内容により、被提示者が目的地
を設定することができる。被提示者が設定した目的地デ
ータは画像データ、地図データとともに、データ貯蔵手
段１８１に貯蔵される。データ貯蔵手段１８１の画像デ
ータおよび地図データとしては、例えば巨大ビルのそび
える市街地や、仏閣などの立ち並ぶ観光都市などのもの
が考えられる。

【０１３２】進行履歴記憶部１８２では入力手段１８０
の進行入力部から送られる被提示者の進行状況データと
データ貯蔵手段１８１の地図データを受け取り被提示者
の進行履歴を記憶する。誘導情報決定手段１８３におい
ては、誘導経路決定部が進行履歴記憶部１８２の進行履
歴データと、データ貯蔵手段１８１の地図データと画像
データから、例えば最短距離で被提示者を目的地に誘導
する経路を決定し、誘導刺激決定部が上記経路に従って
被提示者を目的地に誘導する画像刺激と音像刺激の決定
を行う。

【０１３３】画像提示手段１８４においては、進行履歴
記憶部１８２から送られた進行履歴データに従って、デ
ータ貯蔵手段１８１の画像データを提示するとともに、
誘導情報決定手段１８３から送られたデータに基づいて
画像を制御し被提示者に誘導情報を提示する。

【０１３４】音像提示手段１８５は、誘導情報決定手段
１８３の誘導刺激決定部から送られたデータをもとに、
被提示者を目的地に導くための音響による誘導刺激を作
成し、被提示者に提示する。音響刺激は、単純なビープ
音を用いてもよいし、意味のある言葉の音像を用いても
よい。

【０１３５】例えば、目的地に向かう被提示者を先導し
て誘導するために先行して移動する物体の画像情報と、
その物体から発生する３次元の音響情報を提示すること
ができる。この場合は誘導する物体までの距離を被提示
者は視認により把握することができ、また、細い街路な
どで先行する誘導物体が先に角を曲がり視野から消えた
場合でも３次元の音像による位置の把握と音像の大きさ
による距離の把握により位置関係が常に把握され、効果
的に目的地への誘導を行うことが可能である。

【０１３６】また、誘導物体が街路中で被提示者との距
離を変えたり、先に角を曲がって視野から消えても音響
を手掛かりとして常に被提示者が誘導情報を得られるた
め、誘導物体は被提示者の移動速度に必ずしも左右され
ずに誘導することができ、目的地を指し示すとともに目
的地までの所用時間に見合った誘導を行うことで、一定
時間までに確実に目的地に到着するように被提示者を導
くことができる。

【０１３７】また、視覚情報による誘導刺激では被提示
者が街路の風景に気を配るのを妨げる可能性があるが、
音像による誘導刺激手段を中心とした誘導を行えば、分
岐点に差し掛かった際に３次元音像を目的地への誘導方
向に振り向けることで、被提示者の視覚を制限しないで
誘導することが可能になる。また、被提示者が誘導情報
を見逃すなどして後方への誘導を行う必要がある場合、
自動車における車庫入れのような微妙な距離の補正など
を誘導する場合、被提示者の視野外に誘導したい場合な
どにも、画像のみではなく音響による誘導情報を併用す
ることは有効である。

【０１３８】以上のように、この実施の形態１８によれ
ば、画像を提示して仮想空間内で被提示者に任意の方向
と速度で移動する疑似体験をさせる際に、画像による誘
導情報を提示するのに加えて立体的音像により誘導情報
を提示することができ、仮想空間内で被提示者が誘導情
報を見失わないようにしたり、被提示者の視覚を制限せ
ずに誘導することなどが可能となる。

【０１３９】実施の形態１９．図２４はこの発明の実施
の形態１９による感覚情報提示装置を示すブロック図で
あり、図において、１９０は被提示者に提示される実写
画像の実写画像データ（実写画像提示手段）、１９１は
実写画像データ１９０を再生する画像再生部（実写画像
提示手段）、１９２は実写画像を被提示者に提示する画
像提示部（実写画像提示手段）、１９３は被提示者が場
面切替の要求を入力する場面切替入力部（場面切替手
段）、１９４は場面切替入力部１９３における入力に対
応した再生画像データのポイントを算出する再生画像ポ
イント算出（場面切替手段）部、１９５は実写画像デー
タ１９０中の再生画像データのポイントの指定を画像再
生部１９１に対して行う再生画像ポイント指定部（場面
切替手段）、１９６は被提示者の移動する速度を検出す
る移動速度検出部（再生速度制御手段）、１９７は画像
の再生速度を前記移動速度に合わせる再生速度制御部
（再生速度制御手段）である。

【０１４０】次に動作について説明する。実写画像デー
タ１９０は画像再生部１９１に読み込まれて再生され、
画像提示部１９２において被提示者に提示される。実写
画像データ１９０としては、例えば道，鉄道等に沿って
移動したり飛行する場合などの、所定の軌跡に従って移
動する際の実写画像データが用意されている。画像提示
部１９２の提示画面には、例えば道を自転車に乗って移
動して行く際の実写画像が提示される。この際に、移動
速度検出部１９６が、自転車のペダルなどの入力部を被
提示者に操作させることにより移動速度を検出して再生
速度制御部１９７に送り、再生速度制御部１９７は前記
移動速度に応じた再生速度となるように画像再生部１９
１を制御する。これにより、被提示者が自転車のペダル
を漕ぐことにより指定する速度で実写画像データ１９０
が再生され、実写画像が変化する。

【０１４１】そして、実写画像上で例えば道の分岐点に
来た場合には、実写画像上に場面切替入力部１９３とし
てのディスプレースイッチが表示されるなどして、被提
示者が進みたい方向を選択して入力する。この際には、
例えば実写画像上に地図を表示してもよく、どこか他の
場所に瞬間的に飛びたい場合には地図上の所定の点を選
択して押すようにしてもよい。これにより被提示者は現
在進行中の道においてどの方向に進むか選択すること
も、他の場所に飛ぶことも可能となる。

【０１４２】再生画像ポイント算出部１９４は、実写画
像データ１９０中の、選択に対応した画像データが存在
するポイントを算出し、再生画像ポイント指定部１９５
が画像再生部１９１にポイントを指定する。画像再生部
１９１は、この指定されたポイントからの画像データを
再生して画像を被提示者に提示する。

【０１４３】以上のように、この実施の形態１９によれ
ば、被提示者が移動速度検出部１９６において指定する
速度で実写画像による仮想空間内を移動する際に、進み
たい方向または飛びたい場所を選択し入力して実写画像
を切り換えることも可能となり、実写画像による仮想空
間内を任意に移動していく感覚を被提示者に体験させる
ことが可能となる。また例えば、被提示者が画像中に提
示されている遠くの山や野原などを見て、山の頂上はど
うなっているか気になったときに、山の頂上を指定する
だけで瞬時に画像を切り替えるようにすることも可能で
あり、疑似的な瞬間移動感覚を体験させるようなことも
可能である。なお、上記においては、実写画像データ１
９０を用いたが、代わりにＣＧ画像を用いることも可能
であることはいうまでもない。

【０１４４】実施の形態２０．図２５はこの発明の実施
の形態２０による感覚情報提示装置を示すブロック図で
あり、図において、１５０はパイプ（風提示手段）、１
５１は湿度制御手段（風提示手段）、１５２は温度制御
手段（風提示手段）、１５３は風速制御手段（風提示手
段）、１５４は乱流制御手段（風提示手段）、１５５は
風質制御手段（風提示手段）であり、以上は図２０に示
した前記実施の形態１５におけるものと同様のものであ
る。１７０は図２２に示した前記実施の形態１７におけ
るものと同様の香り制御手段である。２００は実写画像
データ（画像提示手段）、２０１は実写画像の風景の違
い等をあらかじめコード化した実写画像コード（画像提
示手段，香り制御手段）、２０２は画像提示装置で実写
画像データを被提示者に提示する画像提示部（画像提示
手段）である。

【０１４５】次に動作について説明する。パイプ１５
０，湿度制御手段１５１，温度制御手段１５２，風速制
御手段１５３，乱流制御手段１５４，風質制御手段１７
２，香り制御手段１７０の各手段を用いて、実施の形態
１５および実施の形態１７に示したような風を生成し、
被提示者に風を与える。この実施の形態においては、こ
れに加えて実写画像を被提示者に提示し、この実写画像
に適合するように風を生成する。

【０１４６】まず、実写画像データ２００が再生されて
モニタ等の画像提示部２０２に映示される。この際に
は、実写画像データ２００の１フレームごとに、風景や
背景といった画像全体の内容をコード化した実写画像コ
ード２０１も、実写画像２００に同期して再生される。

【０１４７】再生された実写画像コードは、風質制御手
段１５５および香り制御手段１７０の香り制御部に送ら
れる。風質制御手段１５５では、再生された実写画像コ
ード２０１に基づいて、湿度制御信号、温度制御信号、
風速制御信号、乱流制御信号を生成し、各々湿度制御手
段１５１、温度制御手段１５２、風速制御手段１５３、
乱流制御手段１５４の各制御部に送り、実写画像に適合
する風を生成する。また、香り制御手段１７０の香り制
御部では、実写画像に適合する香りを生成する。湿度と
温度に関しては、実際に画像を撮影するときに、カメラ
に湿度センサと温度センサを取付けて、データ計測を行
ない、この計測データを再現する方法でもよい。風速に
関しても、同様に計測データに基づいて再現してもよ
い。乱流制御は、撮影カメラのまわりの障害物等を考慮
した風向きの変化等をコンピュータシミュレーション
し、このシミュレーション結果を基に、乱流を発生させ
る等の方法を用いることができる。また、送風口を被提
示者の周囲に多数設け、画像に合わせた方向から、画像
に適した香り付きの風を送るようにしてもよい。例え
ば、画像の右側に花畑、左側が海という場合、被提示者
の右側から花の香り、左側から海の香りを出すようにす
るなどのことが可能である。

【０１４８】以上のように、この実施の形態２０によれ
ば、被提示者に画像を提示することに加え、画像に適合
した香りと風を同時に提示することができ、画像，風，
香りの複合作用により、より現実に近い臨場感を被提示
者に与えることが可能となる。なお、上記においては、
実写画像データ２００による画像を提示したが、代わり
にＣＧ画像を用いることも可能であることはいうまでも
ない。

【０１４９】実施の形態２１．図２６はこの発明の実施
の形態２１による感覚情報提示装置を示すブロック図で
あり、図において、２１０は被提示者に物体の画像の提
示を行う画像提示手段（感覚提示手段）、２１１は画像
による仮想空間における物体の位置，形状，色などの提
示情報を生成する画像情報生成手段（感覚提示手段）、
２１２は温度を上昇させる機能と温度を下降させる機能
を有し、被提示者の手に温度感覚の提示を行う温度感覚
提示手段（感覚提示手段）であり、力覚提示手段２１４
の先端に設けられている。２１３は力覚提示手段２１４
の先端に設けられた温度感覚情報生成手段（感覚提示手
段）であり、仮想空間において被提示者の手に提示され
る温度感覚情報を生成する。２１４は被提示者の手に力
覚の提示を行う力覚提示手段（感覚提示手段）である。
２１５は仮想空間において被提示者の手に作用する力覚
情報を生成する力覚情報生成手段（感覚提示手段）であ
る。２１６は温度感覚提示手段２１２に取り付けられた
センサ２１７（計測手段）により温度感覚提示手段２１
２の３次元位置を計測する三次元計測手段（計測手段）
である。２１８は３次元計測手段によって得られた温度
感覚提示手段２１２の位置と現在の画像の内容を用いて
画像，温度感覚，および力覚の提示を総合的に制御する
制御手段（提示感覚制御手段）である。

【０１５０】次に動作について説明する。被提示者は力
覚提示手段２１４の先端に取り付けられた温度感覚提示
手段２１２に触れる。三次元計測手段２１６は温度感覚
提示手段２１２に装着したセンサ２１７により温度感覚
提示手段２１２の三次元位置を計測する。この場合、温
度感覚提示手段２１２は仮想空間内で被提示者が触れる
物体に対応している。

【０１５１】制御手段２１８は、計測された温度感覚提
示手段２１２により計測された三次元位置、および現在
の画像情報生成手段２１１による提示情報を基に、仮想
空間内における物体と被提示者の手との関係を判断し、
画像情報生成手段２１１，温度感覚情報生成手段２１
３，および力覚情報生成手段２１５に指令を出す。指令
を受けた画像情報生成手段２１１，温度感覚情報生成手
段２１３，および力覚情報生成手段２１５は被提示者に
提示すべき画像情報と温度感覚情報と力覚情報を決定
し、これらの提示情報をそれぞれ画像提示手段２１０，
温度感覚提示手段２１２，および力覚提示手段２１４に
送る。送られた提示情報を、画像提示手段２１０，温度
感覚提示手段２１２，および力覚提示手段２１４が被提
示者の視覚および指先に提示する。例えば、仮想空間に
置かれた冷えた鉄球を被提示者が指先で押すと、鉄球の
冷たい温度感覚と鉄球の慣性による反力と転がる鉄球の
画像が提示されるようなシミュレーションが可能であ
る。

【０１５２】以上のように、この実施の形態２１によれ
ば、仮想空間内の物を被提示者が手で触ったり動かした
りする際の感覚を、画像，温度感覚，および力覚の提示
を併用して高い臨場感で体験させることが可能となる。

【０１５３】実施の形態２２．図２７はこの発明の実施
の形態２２による感覚情報提示装置を示すブロック図で
あり、図において、２２０は蓄積再生手段により再生さ
れた画像を被提示者に提示する画像提示手段、２２１は
画像情報とそれに対応した運動負荷情報とを対にして蓄
積し、制御手段２２３の指示により再生する蓄積再生手
段（運動負荷制御手段）、２２２は被提示者に対して様
々な運動負荷を加えながら足踏み運動を行わせる運動負
荷装置（運動負荷提示手段）であり、２２３は蓄積再生
手段２２１および運動負荷装置２２２を制御する制御手
段（運動負荷制御手段）である。

【０１５４】次に動作について説明する。蓄積再生手段
２２１は制御手段２２３の指示により画像を再生して画
像提示手段２２０に送り、同時に運動負荷情報を制御手
段２２３に送る。画像提示手段２２０は送られてきた画
像を被提示者に提示する。制御手段２２３は送られてき
た運動負荷情報を用いて運動負荷装置２２２を制御す
る。運動負荷装置２２２は制御手段２２３の制御を受け
て被提示者に対し運動負荷あるいは抵抗トルクあるいは
抵抗力を提示する。

【０１５５】例えば、積み重なった落ち葉などの画像コ
ンテンツの場合は画像提示手段２２０からその風景の画
像、運動負荷装置２２２からは落ち葉や枯れ枝を踏んだ
ときのような負荷や反力が提示される。例えば図２８
（ａ）はバネのようなものを踏んだ場合の制御ルール
（運動負荷情報）を示している。この場合は、踏み込み
の幅（深さ）に比例して提示する力（反力）を増加させ
る。また積み重なった枯れ枝を踏んだ場合には図２８
（ｂ）のように制御するとよい。枝が折れるまではバネ
のような反力を提示し、枝が折れると急に反力が小さく
なって「ボキボキッ」と踏み込まれる感じが提示され
る。またたんぼのぬかるみのような場合には図２８
（ｃ）のように制御し、硬い地面を踏み込む場合には図
２８（ｄ）のように制御するとよい。

【０１５６】以上のように、この実施の形態２２によれ
ば、被提示者に足運動を行わせる際に、画像とその内容
に適合した足運動の感覚を提示することができ、臨場感
を向上させた足運動を行わせることが可能となる。従っ
て、例えばリハビリ運動における動機付け向上などにも
役立てることが可能である。なお、上記においては運動
負荷装置２２２を被提示者の足に使用して足運動を行わ
せたが、手に使用して手運動を行わせるような場合にも
適用可能であることはいうまでもない。また、被提示者
に提示する画像は実写画像でもＣＧ画像でもよいことは
いうまでもない。

【０１５７】実施の形態２３．図２９はこの発明の実施
の形態２３による感覚情報提示装置を示すブロック図で
あり、図において、２３０は被提示者に対する画像の提
示を制御する提示画像制御部（画像提示手段）、２３１
は画像の内容を判定する画像判定部（足踏み音選択手
段）、２３２は画像判定部２３１において判定された画
像の内容に基づいて歩行における足踏み音を選択する足
踏み音選択部（足踏み音選択手段）、２３３は被提示者
が足踏み運動を行う足踏み運動装置、２３４は被提示者
の足の位置を検出する足位置検出部（足踏み運動検出手
段）、２３５は被提示者の足の運動を検出する足運動検
出部（足踏み運動検出手段）、２３６は足位置検出部２
３４によって検出された足の位置情報と足運動検出部２
３５によって検出された足運動情報から歩行動作を判定
する歩行動作判定部（足踏み運動検出手段）、２３７は
足踏み音を発生する足踏み音発生部（足踏み音提示手
段）、２３８は足踏み音発生部２３７で発生させた足踏
み音を被提示者に提示する足踏み音提示部（足踏み音提
示手段）、２３９は提示画像制御部２３０から送られた
画像を提示する画像提示部（画像提示手段）である。

【０１５８】次に動作について説明する。足踏み運動装
置２３３において被提示者が足踏み運動を行い、足位置
検出部２３４で被提示者の足の位置を検出し、足運動検
出部２３５によって足の運動を検出し、歩行動作判定部
２３６では足位置検出部２３４および足運動検出部２３
５で検出した足の位置情報および運動情報から歩行動作
をしているかいないかを判定する。歩行動作判定部２３
６で歩行動作が判定されれば、提示画像制御部２３０に
おいて提示画像を歩行運動量にあわせて進行させ、画像
提示部２３９により被提示者に提示する。

【０１５９】画像判定部２３１においては提示画像制御
部２３０から送られた提示画像の内容が判定される。こ
の判定においては、前記実施の形態１４と同様に、画像
情報に対して画像処理を用いて明るさ，色，きめ等の定
量化可能ないくつかの画像特性情報を抽出して、画像中
に提示されている道路が砂利道であるかアスファルトで
あるかを判定するなどの方法を用いることが可能であ
る。

【０１６０】足踏み音選択部２３２においては、前記画
像特性情報と足踏み音の対応に関するあらかじめ用意さ
れたデータベースを参照することにより、画像情報に最
も適合した足踏み音が選択される。例えば、提示画像の
内容が砂利道だと判定されれば砂利道に対応した足踏み
音を、アスファルトだと判定されればアスファルトに対
応した足踏み音が選択される。石畳を歩行している画像
中で落ちていた小枝を踏み付けた場合には、小枝の折れ
る音を選択することなども考えられる。

【０１６１】足踏み音発生部２３７は、歩行動作判定部
２３６で歩行運動が判定されれば、足踏み音選択部２３
２において選択された足踏み音を、足運動検出部２３４
により検出された足の位置が歩行運動において地面につ
いたタイミングにあわせて発生させ、足踏み音提示部２
３８により足踏み音が被提示者に提示される。

【０１６２】以上のように、この実施の形態２３によれ
ば、被提示者が足踏み運動装置２３３において足踏み運
動を行う際に、被提示者に画像を提示するとともに、提
示画像の内容に適合した足踏み音を提示することがで
き、実際に歩いているような感覚で臨場感の高い足踏み
運動を行わせることが可能となる。例えば、リハビリテ
ーションのための足踏み運動においては、被提示者は画
像と足踏み音による臨場感の高いフィードバックを受け
ながら実際に歩いているような感覚で歩行訓練を行うこ
とができ、被提示者の意欲を刺激してリハビリテーショ
ン効果を促進することが可能となる。また、前記実施の
形態２２と組み合わせて画像に適合した種々の足踏み感
覚を併せて被提示者に提示したり、現実には不可能な水
の上の歩行や雲の上の歩行を擬似的に体験させたりする
などのことも可能である。なお、上記においては、画像
判定部２３１において画像処理を用いて画像特性情報を
抽出し、これを基に足踏み音を選択したが、あらかじめ
画像に対応させて音選択に関するデータを登録しておく
などの方法をとることも可能であることはいうまでもな
い。

【０１６３】実施の形態２４．図３０はこの発明の実施
の形態２４による感覚情報提示装置を示すブロック図で
あり、図において、２４０は実施の形態６において示し
たものと同様の視覚機能計測手段、２４１は計測された
視覚機能データから視覚疲労を推定する実施の形態６に
おいて示したものと同様の視覚疲労推定手段、２４２は
被提示者の脳波や心電図などの生理反応を計測する生理
反応計測手段、２４３は計測された生理反応から精神・
身体疲労を推定する精神・身体疲労推定手段、２４４は
推定された視覚疲労と精神・身体疲労を基にあらかじめ
作成された複数の提示ルールから提示ルールを決定する
提示ルール決定部（提示情報制御手段）、２４５はあら
かじめ作成された複数の提示ルールを格納する提示ルー
ル格納部（提示情報制御手段）、２４６は画像の再生・
生成および制御を行なう画像生成制御部（提示情報制御
手段）、２４７は被提示者に画像を提示する視覚情報提
示部である。

【０１６４】次に動作について説明する。まず、視覚機
能計測手段２４０により視覚機能データが計測され、計
測データを基に、視覚疲労推定手段２４１において被提
示者の視覚疲労が推定される。この視覚機能計測と視覚
疲労推定は、前記実施の形態６に示した方法を用いて行
うことができる。一方、生理反応計測手段２４２におい
て、被提示者の脳波や心電図などの生理反応が計測さ
れ、精神疲労推定手段２４３において計測データから精
神・身体疲労が推定される。生理反応の計測は、電極や
センサを被提示者に装着し、計測指標に適合する特性の
増幅器を用いて行なう。精神・身体疲労の推定には、計
測された脳波，心電図，血圧，呼吸，筋電図などの生理
反応から得られた脳波中のα波のパワー，心拍率，心拍
変動成分，血圧値，血圧変動成分，呼吸周波数，呼吸振
幅，筋電図パワー，筋電図周波数帯域成分などの複数の
生理指標値を用いる。

【０１６５】精神・身体疲労推定手段２４３における推
定方法としては、あらかじめ多数の人の平均的、一般的
な精神・身体疲労の閾値を登録して用いる他、視覚情報
提示開始時より一定時間、例えば３分間などの生理デー
タを計測して個人の初期値とし、これを基準として例え
ば平均値がこれよりも±２ＳＤを逸脱する変動を示した
場合を疲労とするなど、個人データを基準にしてもよ
い。例えば、脳波中のα波パワーが１０％低減し、心拍
変動呼吸性成分が低下し、頸部筋電図パワーが増加して
周波数が低減した場合を疲労とするなどの個人に対応し
た総合的判断を行うことも可能である。また、精神・身
体疲労の推定は、あらかじめ精神・身体疲労に関する複
数のルールを登録しておく、あらかじめ重み付け係数を
登録しておき各パラメータに重み付け係数を掛けて総合
的疲労得点とする、などとしてもよい。

【０１６６】次に、提示ルール決定部２４４は、推定さ
れた視覚疲労と精神・身体疲労を用いて疲労判定を行
う。この疲労判定は、各々閾値を定めてこの閾値を越え
たか否かなどにより行う。この疲労判定結果を基に提示
ルール格納部２４５に複数格納された提示ルールから、
実際に使用する提示ルールを決定する。提示ルール決定
部２４４で決定された提示ルールの詳細は画像生成制御
部２４６に送られ、画像生成制御部２４６は送られた提
示ルールに従い、画像を生成・制御し、このが画像視覚
情報提示部２４７において提示される。

【０１６７】提示ルールにおける提示情報の変化のさせ
かたとして、実施の形態６に示した視覚疲労の程度に応
じた提示情報の変化の他に、精神・身体疲労のみが生じ
た場合に画面や対象物の表示色を和らげる、対象物体の
サイズや対象物体そのものを変化させ、疲労の少ない情
報を提示する、もしくは疲労緩和を促す視覚情報を提示
する。さらに、視覚疲労と精神・身体疲労ともに生じた
場合は、速やかに、システムの使用を中止するよう被提
示者に注意を促したり、視覚情報提示を強制的に中止す
るようにしてもよい。

【０１６８】以上のように、この実施の形態２４によれ
ば、視覚情報が提示される被提示者について、視覚機能
データの計測に基づいた視覚疲労の推定に加え、生理反
応の計測に基づいた精神・身体疲労の推定を行い、両推
定結果に基づいて総合的に被提示者の疲労状態を判定
し、疲労が見られた場合に疲労を低減する視覚情報の提
示を行ったり、装置の使用制限あるいは休憩の喚起を促
したりすることが可能となる。

【０１６９】実施の形態２５．図３１はこの発明の実施
の形態２５による感覚情報提示装置を示すブロック図で
あり、図において、２５１は被提示者の生理反応，注視
点，身体の動き（動態）と，被提示者が置かれている環
境の環境温度を計測する計測手段、２５２は被提示者に
対して快適な環境を提示するための視覚情報，聴覚情
報，力覚情報等の環境情報を保持する情報保持手段、２
５３は実施の形態１〜７のいずれかに示したような方法
で被提示者に視覚情報を提示する視覚提示手段、２５４
は実施の形態８〜１０のいずれかに示したような方法で
被提示者に聴覚情報を提示する聴覚提示手段、２５５は
実施の形態１１〜１３のいずれかに示したような方法で
被提示者に力覚情報を提示する力覚提示手段、２５６は
実施の形態１４に示したような方法で被提示者に触覚情
報を提示する触覚提示手段、２５７は実施の形態１５，
１６のいずれかに示したような方法で被提示者に風によ
る触覚情報を提示する風提示手段である。

【０１７０】次に動作について説明する。視覚情報提示
手段２５３は、被提示者の生理反応・注視点・動態およ
び環境温度を計測する計測手段２５１から受け取った計
測結果に基づいて、快適な環境を創出するための環境情
報を保持する情報保持手段２５２から視覚情報を受け取
り、視覚情報を適切な方法で提示する。例えば、実施の
形態１〜２におけるように頭部の動きにあわせて提示画
像を変化させたり、実施の形態３におけるように環境温
度に合わせて画像の色を変化させたり、実施の形態４〜
５におけるように注視している対象をズームアップ，ズ
ームアウトしたり、対象物体そのものを変化させるなど
が可能である。

【０１７１】聴覚提示手段２５４は、情報保持手段２５
２から受け取った聴覚情報を実施の形態９および１０に
おけるように、個人の聴覚特性に適した音をとして生成
して被提示者に提示したり、視覚情報に同期した音場シ
ミュレートを行ったり、また、計測手段２５１から受け
取った注視点情報に基づいて、実施の形態１０における
ように注視対象からの音像を誇張することも可能であ
る。

【０１７２】力覚提示手段２５５は、視覚提示手段２５
３により提示される画像情報と情報保持手段２５２に保
持されている画像に対応した力覚情報に応じて、実施の
形態１１〜１３におけるような方法で被提示者に力覚情
報を提示する。また、触覚提示手段２５６は、視覚提示
手段２５３上に提示される画像情報と計測手段２５１に
よる動態計測結果に応じて、実施の形態１４におけるよ
うに触覚情報を提示する。例えば、被提示者は、提示さ
れた大木の画像に手を延ばし、大木を押す際の力覚と、
大木表面の触感を経験することができる。

【０１７３】風提示手段２５７は、視覚提示手段２５３
により提示される画像情報と、計測手段２５１によって
計測される生理反応に応じて、風の質を変化させて提示
する。例えば、被提示者の心拍率が高くなるにしたがっ
て、風の温度を低くし、強さを増すことなども可能であ
る。

【０１７４】これらの構成によりなる感覚情報提示装置
は、計測手段２５１によって計測される被提示者の生理
反応・注視点・動態・環境温度という複合的な情報か
ら、視覚提示手段２５３・聴覚提示手段２５４・力覚提
示手段２５５・触覚提示手段２５６・風提示手段２５７
によって、被提示者の状態に応じて快適性を保持するよ
うにフィードバックするシステムであるが、フィードバ
ックした環境の変化に応じて、被提示者の状態が変化
し、また、被提示者の状態に応じて環境を快適にするよ
うに常に繰り返しフィードバックを重ね続けることで、
被提示者に対し非常に多様できめこまやかなフィードバ
ック機能を持つ快適なＶＲ（バーチャルリアリティー）
空間を提示し続けることができる。

【０１７５】例えば、被提示者に、室内にいながら快適
な森の中の画像・音像・触感を提示し、被提示者が寝返
りを打つなど、体動によって、提示される映像がより明
るくなったり、生理反応から推定される覚醒水準の低下
とともに注視点付近の画像がズームアウトされたり、森
の中のものに自由に触れて触感を楽しむと同時に触れる
動作やその際の生理反応からまた新たに刺激の状態がフ
ィードバックされるなど、動態・生理反応・注視点など
総合的な被提示者の状態に応じて、視覚・聴覚・力覚・
触覚の複合的な感覚様相に環境刺激をフィードバック
し、フィードバックされた刺激によって誘発される被提
示者の反応から、またより快適になるような刺激をフィ
ードバックすることを繰り返し、被提示者に対して非常
に多様できめこまやかなフィードバック機能を持つ快適
ＶＲ空間を提示し続けることができる。

【０１７６】また、同様に被提示者の状態に応じて、快
適な入眠を誘う環境刺激を複合的な感覚様相へ繰り返し
フィードバックさせることによって、様々な被提示者の
状態が変動してもそれに対応して常に快適な就寝環境を
提示し続けることが可能になる。

【０１７７】その他、例えば、トレッドミルを用いた歩
行訓練によって被提示者がリハビリテーションを行う際
に、快適な海辺の画像・音像・触感を提示し、リハビリ
運動に対応して、提示される画像が移動したり、生理反
応から推定される疲労の水準の上昇とともに、提示する
音を小さくすることによって被提示者を休憩に導いた
り、海辺の砂や貝殻などに自由に触れて触感を楽しむと
同時に触れる動作やその際の生理反応から快適な刺激が
フィードバックされるなど、訓練環境を安全かつ快適に
保ち続けることに使用することも可能である。

【０１７８】また、視覚提示と聴覚提示の２種類を使
い、例えば、ウェイトリフティング、ゴルフ、アーチェ
リーといった個人競技のスポーツにおいて、実際の試合
のときの状況を録画および録音しておき、常に試合を再
現した状況の中で訓練することにより試合の雰囲気に慣
れ、実際の試合でのミスを減らすという用途にも使用す
ることも可能である。

【０１７９】以上のように、この実施の形態２５によれ
ば、被提示者の生理反応，注視点，動態，環境温度の計
測に基づいた多様な感覚情報提示装置によるフィードバ
ックの繰り返しによりきめ細かな環境制御を行ない、被
提示者に快適な環境を継続的に提示することが可能とな
る。

【０１８０】実施の形態２６．図３２はこの発明の実施
の形態２６による感覚情報提示装置を示すブロック図で
あり、図において、２６１は被提示者に画像および音を
提示する感覚情報提示手段、２６２は被提示者に提示さ
れる画像および音の元となる情報を出力する感覚情報発
生手段、２６３は注視物体特定手段２６５と注意対象検
出手段２６７の出力を判定して注意対象を決定する注意
対象決定手段、２６４は感覚情報発生手段２６２からの
情報を修飾する感覚情報修飾手段、２６５は被提示者が
注視している物体を特定する注視物体特定手段、２６６
は感覚情報発生手段２６２が出力する情報から感覚属性
を抽出する感覚属性抽出手段、２６７は感覚属性抽出手
段２６６において抽出された感覚属性を注意対象データ
ベースと照合して注意対象を検出するとともに、注視物
体特定手段２６５において特定された注視物体の感覚属
性を注意対象データベースに随時登録する注意対象検出
手段である。

【０１８１】次に動作について説明する。感覚情報発生
手段２６２は、実写またはＣＧによる視覚情報とこれに
対応する聴覚情報を蓄積再生する機能、あるいは、リア
ルタイムで現実世界の映像と音場の情報を収録して提供
する機能を有しており、感覚情報発生手段２６２から出
力された視覚情報ソースおよび聴覚情報ソースは感覚属
性抽出手段２６６に送られる。

【０１８２】感覚属性抽出手段２６６は、画像認識を行
ったり、あるいはあらかじめ画像に対応して用意された
属性データを参照することによって、感覚情報発生手段
２６２が出力する視覚情報ソースから視覚属性を抽出す
るとともに、音声認識や周波数解析、あるいはあらかじ
め画像に対応して用意された属性データを参照すること
によって、感覚情報発生手段２６２の発生する聴覚情報
ソースから聴覚属性を抽出する。

【０１８３】視覚属性は例えば、具体的な物体に対応し
た「自動車」、「山」などの名称であってもよく、「丸
い」などの形状や「赤い」などの色のような属性であっ
てもよい。聴覚属性は、「シンバル」などの具体的な物
体の呼称や「Ｆ４０」などの固有名詞であってもいい
し、周波数特性や音量変化パターンなどの特徴量によっ
て判定される音源、あるいは、それらの特徴量の組みあ
わせで示されるものであってもよい。

【０１８４】注視物体特定手段２６５は、アイカメラ等
により被提示者が見ている視線方向を検出し、一定の範
囲に一定時間以上視点が留まっているときに注視してい
ると判定し、注視点の位置を検出する。そして、感覚属
性抽出手段２６６より出力される視覚属性データを用い
て、注視点位置にある提示物体の特定を行なう。

【０１８５】一方、注意対象検出手段２６７において
は、感覚属性抽出手段２６６から送られた視覚属性およ
び聴覚属性を注意対象データベース内の注意対象視覚属
性データおよび注意対象聴覚属性データと照合して、合
致により、感覚情報発生手段から出力中の注意対象を検
出する。この際に、注意対象データベース内のデータは
各データ毎の重要度を有しており、合致により検出され
た注意対象のうち最も注意度の高い注意対象が検出され
る。

【０１８６】注意対象決定手段２６３は、注視物体特定
手段２６５からの出力と注意対象検出手段２６７からの
出力を受け、注意対象を決定する。ここで、注視物体特
定手段２６５の出力がない場合には、自動的に注意対象
検出手段２６７の出力が注意対象として決定される。両
方からの出力がある場合には、注意対象検出手段２６７
の出力の注意度に閾値を設け、これを越えた場合にの
み、注意対象検出手段２６７の出力を注意対象として選
択するように設定しておけばよい。この閾値は、被提示
者の主体的な（注視することによって判定される）注意
を優先する場合は高く、提示情報の中に埋もれている注
意すべき情報に注意を引くことを主にするときには低く
設定すればよい。また、注視物体特定手段２６５からの
出力の持続時間や過去の履歴における頻度を計測して注
視物体に対しても注意度を求め、これを注意対象検出手
段２６７で検出された注意対象の注意度と比較すること
により注意対象を決定するようにしてもよい。

【０１８７】感覚情報修飾手段２６４は感覚情報発生手
段２６２の出力情報のうち、注意対象決定手段２６３か
ら送られる注意対象を、視覚的にはズームアップし、聴
覚的には音量を大きく音質をクリアにするという修飾を
加える。この修飾の際に強調の度合を注意度に応じて変
えるようにしてもよい。修飾された情報は、感覚提示手
段２６１により被提示者に提示される。なお、注意対象
によっては、視覚情報の伴わない聴覚情報や（見えない
ところから発せられる音），逆に聴覚情報の伴わない視
覚情報（音を発していない物体）があってもよく、その
場合には、感覚情報修飾手段２６４で行う強調は、いず
れかの感覚のみとなる。

【０１８８】注意対象データベースは、システムの使用
開始時には、空であってもいいし、システムの使用目的
に合わせて、あらかじめセットしておいてもよい。たと
えば、監視システムとして用いる場合には、監視時に注
意を払うべき情報を登録しておけばよい。また、社交シ
ステムとして用いる場合には、被提示者に関連のある固
有名詞や関心のあるキーワードを登録しておけばよい。

【０１８９】一方、使用中には、注視対象検出手段２６
７において、注視物体を特定した際に、その視覚属性と
聴覚属性を感覚属性抽出手段２６６から受けとり、注意
対象データベースへの追加登録，注意度の変更などの更
新を行なう。注意度の変更は、すでに登録されている属
性の場合に、一定の比率で注意度を上げるようにする。
この比率が大きいと、被提示者のそのときの注意の向け
方にすみやかに適応して強調する対象を決定するシステ
ムとなり、逆の場合は、安定した決定をする代わりに適
応の悪いシステムとなるため、応用によって適切な値を
設定する必要がある。

【０１９０】カクテルパーティー効果とは、カクテルパ
ーティーのような、雑然とした音環境の中で、物理的特
性（たとえば、音量など）が同じであっても、興味のあ
る音（たとえば、自分の名前や興味のある話題に関する
会話）が、耳に飛び込んでくる現象を言う。これは、脳
において無意識のうちに興味対象への注意配分を制御す
るメカニズムが働いていることによって起こる。この実
施の形態２６は、この現象を、外部システムに取り出し
て強調し、視覚にも拡張したものである。聴覚障害者用
の聴覚機能補填装置（たとえば補聴器）ですべての情報
を同じように増幅すると、聴きたいものだけでなく、背
景音も増幅されて耳障りだということが起こるが、この
実施の形態２６のカクテルパーティー効果を応用した感
覚情報提示装置を用いれば、使用を重ねるに従って、本
人の興味に適合した注意対象データベースが構築され、
興味をひく可能性の高いものだけが選択的に増幅される
という利点がある。視覚障害者用の視覚機能補填装置で
も同様の効果があり、見たいものが、自然にズームアッ
プされて見えるようになる。テレビ会議などの通信回線
を介したシステムでも、同様に、参加者に興味のある情
報が増幅されて通信され提示されるという効果を持たせ
ることができる。また、監視システムなど目的が明確な
システムにおいては、その目的に沿った情報への注意配
分を高くするなど、システム設計者の意図と使用者の注
意配分の意図を適度に統合したシステムをつくることが
できる。以上は、リアルタイムの実画像と実録音の例で
あるが、実写，ＣＧあるいは実録，合成音を問わず、目
的をもって構築されるインタラクティブなシステム、た
とえば、情報システムや教育用システム，訓練シミュレ
ータなどにおいても、膨大な情報の中から使用者の興味
のある情報を効率良く引きだしたり、教育・訓練の指導
者の意図に合った情報に注意を向けさせることにより、
効率のよい教育・訓練を実施することが可能となる。

【０１９１】なお、感覚情報提示手段２６１と注視物体
特定手段２６５と注意対象決定手段２６３と感覚情報修
飾手段２６４における、注意対象物体ズームアップ機能
は、実施の形態４における方法で実現してもよいし、音
量・音質制御は、実施の形態８における方法を用いて実
現することも可能である。

【０１９２】以上のように、この実施の形態２６によれ
ば、視覚情報および聴覚情報を提示されている被提示者
が気付くべき対象物がある場合にこれに向かってズーム
アップしたり聴覚情報の音量・音質を変化させるなどに
より被提示者の注意を喚起することができるカクテルパ
ーティー効果を持たせた感覚情報提示装置とすることが
でき、教育システム，訓練システム，情報システム等へ
の幅広い応用が可能である。

【０１９３】

【発明の効果】以上のように、請求項１記載の発明によ
れば、被提示者の体幹に対する頭部の方向移動量を検出
する頭部移動量検出手段と、撮影方向を可変に設けられ
て実写画像を撮影する実写画像撮影手段と、前記頭部移
動量検出手段において検出された頭部移動量に対応した
方向に前記実写画像撮影手段の向きを制御し、所定の条
件下では前記実写画像撮影手段を被提示者の体幹に対し
て前記頭部移動量より大きくまたは小さくした移動量を
移動させる移動量制御手段と、被提示者の頭部眼前に設
置され、前記実写画像撮影手段により撮影された実写画
像を被提示者に提示する実写画像提示手段とを備えるよ
うに構成したので、方向移動量と実写画像の撮影方向と
の関係を所定の条件で変更することができ、例えば体幹
の前方では頭部の向いた方向の実写画像を提示し、左右
両側においてはより外側の方向の実写画像を提示するよ
うにして、被提示者が少ない頭部の運動で広範囲の視覚
情報を獲得できるようにするなどのことが可能となる効
果がある。

【０１９４】請求項２記載の発明によれば、被提示者の
頭部が向いている方向を検出する頭部方向検出手段と、
撮影方向を可変に設けられて実写画像を撮影する実写画
像撮影手段と、前記頭部方向検出手段において検出され
た方向に前記実写画像撮影手段の向きを制御する撮影方
向制御手段と、前記実写画像撮影手段により撮影された
実写画像において被提示者の実際の視野領域を越える領
域の実写画像を圧縮して取り入れた提示画像を形成する
画像加工手段と、被提示者の頭部眼前に設置され、前記
画像加工手段により形成された提示画像を被提示者に提
示する実写画像提示手段とを備えるように構成したの
で、視力の優れた中心視野の解像度を保ったまま、周辺
部の視野に広範囲な視覚情報を取り入れた視覚情報を被
提示者に提示することが可能となる効果がある。

【０１９５】請求項３記載の発明によれば、被提示者が
置かれた環境の環境温度を計測する環境温度計測手段
と、前記環境温度計測手段で計測された温度を温冷感を
想起させる色に対応させる環境温度−色調変換手段と、
前記環境温度−色調変換手段が決定した色を被提示者へ
の提示画像に組み込む視覚情報生成手段と、前記提示画
像を被提示者に提示する視覚情報提示手段とを備えるよ
うに構成したので、被提示者に視覚的に温冷感を体験さ
せることができ、例えば、温度感覚に障害を持つ人が温
冷感を体験することを補助したり、気温が高いときに逆
に画像を寒色系の色調に補正して提示することにより被
提示者に清涼感を与えるなどのことが可能となる効果が
ある。

【０１９６】請求項４記載の発明によれば、画像を蓄積
する画像蓄積部と、画像を被提示者に提示する画像提示
部と、被提示者が見ている所を検出する視点検出手段
と、被提示者が何かを注視しているか否かを判定する注
視判定手段と、注視している場合の視点検出手段上の注
視点座標を画像提示部上の座標に変換する注視点座標変
換手段と、画像提示部上の注視点座標に何らかの物体が
提示されているか否かを検索する物体検索手段と、画像
提示部上の注視点座標に何らかの物体が提示されている
場合に、その提示されている被注視物体のズームアップ
またはズームアウトを所定の法則に従って行なうズーム
制御手段とを備えるように構成したので、提示画像中の
物体を被提示者が注視している場合にその被注視物体を
ズームアップまたはズームアウトして提示することが可
能となる効果がある。

【０１９７】請求項５記載の発明によれば、画像を蓄積
する画像蓄積部と、画像を被提示者に提示する画像提示
部と、被提示者が見ている所を検出する視点検出手段
と、被提示者が何かを注視しているか否かを判定する注
視判定手段と、注視している場合の視点検出手段上の注
視点座標を画像提示部上の座標に変換する注視点座標変
換手段と、画像提示部上の注視点座標に何らかの物体が
提示されているか否かを検索する物体検索手段と、画像
提示部上の注視点座標に何らかの物体が提示されている
場合に、その提示されている被注視物体の状態を変化さ
せる提示物体状態変更手段とを備えるように構成したの
で、提示画像中の物体を被提示者が注視している場合に
その被注視物体の状態を変化させて提示することが可能
となり、疑似体験，ストレス解消，心理療法等に応用す
ることができる効果がある。

【０１９８】請求項６記載の発明によれば、視覚情報を
被提示者に提示する視覚情報提示部と、被提示者の視覚
機能を計測する視覚機能計測手段と、計測された視覚機
能から被提示者の視覚疲労を推定する視覚疲労推定手
段、推定された視覚疲労状態に応じて前記視覚情報提示
部において提示する提示情報を制御する提示情報制御手
段とを備えるように構成したので、被提示者の視覚機能
の計測を基に視覚疲労を推定して、これに応じた適切な
視覚情報の提示を行うことができ、近点調節の連続や固
定した画像提示において生じる視覚疲労を防止して、眼
に優しい視覚情報を提示することが可能となり、また、
視覚機能訓練に用いることができる効果がある。

【０１９９】請求項７記載の発明によれば、視覚情報を
被提示者に提示する視覚情報提示部と、被提示者の顔ま
たは体が向いている方向を判定する方向判定手段と、前
記視覚情報提示部による提示位置を前記方向判定手段に
より判定された方向に対応させて移動させる提示位置制
御手段とを備えるように構成したので、被提示者に楽な
体勢で視覚情報を提示することが可能となる効果があ
る。

【０２００】請求項８記載の発明によれば、画像を被提
示者に提示する画像提示部と、被提示者が見ている所を
検出する視点検出手段と、被提示者が何かを注視してい
るか否かを判定する注視判定手段と、注視している場合
の視点検出手段上の注視点座標を画像提示部上の座標に
変換する注視点座標変換手段と、画像提示部上の注視点
座標に何らかの物体が提示されているか否かを検索する
物体検索手段と、画像提示部上の注視点座標に何らかの
物体が提示されている場合に、その提示されている被注
視物体に対応した音の音量または音質を変化させて提示
する音制御手段とを備えるように構成したので、提示画
像中の物体を被提示者が注視している場合にその被注視
物体に対応した音の音量または音質を変化させて提示す
ることができ、臨場感を持たせて画像を提示することが
可能となる。

【０２０１】請求項９記載の発明によれば、被提示者の
耳に提示される音の音量と周波数スペクトルを計測する
提示音周波数スペクトル計測手段と、提示音が耳から放
射される耳音響放射音の音量と周波数スペクトルを計測
する放射音周波数スペクトル計測手段と、前記提示音周
波数スペクトル計測手段および前記放射音周波数スペク
トル計測手段による計測結果に基づいて被提示者の聴覚
特性を推論する情報処理手段と、前記情報処理手段によ
り推論された被提示者の聴覚特性に適合した特性の聴覚
情報を生成する聴覚情報生成手段と、前記聴覚情報を被
提示者に提示する聴覚情報提示手段とを備えるように構
成したので、耳音響放射を利用して被提示者の聴覚特性
を推論し、被提示者の聴覚特性に応じた最適な周波数特
性の聴覚情報を提示することができる効果がある。

【０２０２】請求項１０記載の発明によれば、聴覚情報
を被提示者に提示する聴覚情報提示手段と、被提示者が
存在すると想定される環境における物体や周辺環境等に
よる音場をシミュレートする音場シミュレート手段と、
前記音場シミュレート手段がシミュレートした音場の特
徴を、必要に応じて誇張したり減衰させたりして前記聴
覚情報提示手段における聴覚情報の提示に反映させる効
果制御手段とを備えるように構成したので、被提示者が
存在すると想定される環境における音場をシミュレート
してこれを聴覚情報に反映させて被提示者に提示する際
に、シミュレートされた音場の特徴を、必要に応じて誇
張したり減衰させたりして反映させることが可能とな
り、被提示者の仮想的な移動等の変化を聴覚情報により
強い印象で体験させたり、印象を軽減して体験させたり
するなどのことが可能となる効果がある。

【０２０３】請求項１１記載の発明によれば、仮想空間
の画像を被提示者に提示する仮想空間画像提示手段と、
仮想空間内に提示されている物体を被提示者が掴もうと
する動作を検出する掌握動作検出手段と、被提示者が掴
もうとする掌握物体に近い形状まで内部圧力の印加によ
り膨張することによって前記掌握物体を再現する再現物
体と、前記再現物体に内部圧力を印加して膨張させる物
体再現手段と、前記再現物体の内部圧力を前記掌握物体
の硬度に応じて設定する硬度再現手段とを備えるように
構成したので、仮想空間画像を提示される被提示者に、
仮想空間内で物を掴む感覚をその物の形状と硬度を再現
して提示することができ、より現実的な仮想空間体験を
行わせることが可能となる効果がある。

【０２０４】請求項１２記載の発明によれば、仮想空間
の画像を被提示者に提示する仮想空間画像提示手段と、
仮想空間内に提示されている物体を被提示者が持ち上げ
ようとする動作を検出する持上動作検出手段と、被提示
者が持ち上げようとする持上物体を特定する持上物体特
定手段と、前記持上物体の重量に比例した重量感を被提
示者に与える重量感再現手段とを備えるように構成した
ので、仮想空間内で被提示者が物体を持ち上げようとし
たときに、被提示者にその物体の重量感を与えることが
でき、より現実的な仮想空間体験を行わせることが可能
となる効果がある。

【０２０５】請求項１３記載の発明によれば、画像を被
提示者に提示する画像提示手段と、被提示者に提示され
ている画像における気圧，水圧等の圧力値を出力する圧
力値出力手段と、前記圧力値出力手段が出力した圧力値
に応じた圧力を被提示者に感じさせる圧力再現手段とを
備えるように構成したので、画像の提示に併せて被提示
者に提示画像に応じた圧力を体感させることが可能とな
り、より臨場感を増した感覚情報を提示することが可能
となる効果がある。

【０２０６】請求項１４記載の発明によれば、画像を蓄
積する画像蓄積部と、画像を被提示者に提示する画像提
示部と、被提示者が見ている所を検出する視点検出手段
と、被提示者が何かを注視しているか否かを判定する注
視判定手段と、注視している場合の視点検出手段上の注
視点座標を画像提示部上の座標に変換する注視点座標変
換手段と、画像提示部上の注視点座標に何らかの物体が
提示されているか否かを検索する物体検索手段と、画像
提示部上の注視点座標に何らかの物体が提示されている
場合に、その提示されている被注視物体の触覚特性を特
定して、それと同等な触覚情報を被提示者に提示する触
覚情報提示手段とを備えるように構成したので、画像を
提示されている被提示者に、被提示者が画像中で注視し
ている対象物の触覚を併せて体験させることが可能とな
り、より臨場感を増した感覚情報を提示することが可能
となる効果がある。

【０２０７】請求項１５記載の発明によれば、被提示者
に提示する風の温度を制御する温度制御手段と、被提示
者に提示する風の湿度を制御する湿度制御手段と、被提
示者に提示する風の風速を制御する風速制御手段と、被
提示者に提示する風における空気の流れの状態を制御す
る乱流制御手段と、被提示者にさまざまな環境を想起さ
せうる風質を実現するように前記温度制御手段，湿度制
御手段，風速制御手段，および乱流制御手段を制御する
風質制御手段とを備えるように構成したので、被提示者
に、さまざまな風質によりさまざまな環境を疑似体験せ
さたり、環境の変化を風質の変化として体験させること
などが可能となる効果がある。

【０２０８】請求項１６記載の発明によれば、被提示者
に風を提示する風提示手段と、前記風提示手段により空
気の流れを提示されている被提示者の手，足，頭部等の
露出部の状態を検知する被提示者状態検知手段と、前記
被提示者状態検知手段の検知情報を基に、被提示者に提
示される風の知覚波形，知覚強度，および知覚頻度が適
切なものとなるように前記風提示手段を制御する提示状
態制御手段とを備えるように構成したので、被提示者の
露出した皮膚の状態に応じて、適切な状態で被提示者に
風の提示を行うことが可能となる効果がある。

【０２０９】請求項１７記載の発明によれば、被提示者
に提示する風に、被提示者に想起させる環境に適合した
香りを付加する香り制御手段を備えるように構成したの
で、風に付加される香りにより、被提示者により現実的
な環境想起を促したり、被提示者の状態改善をより顕著
なものとするなどのことが可能となる効果がある。

【０２１０】請求項１８記載の発明によれば、仮想空間
における進行方向と移動速度の入力を被提示者から受け
る入力手段と、前記入力に従った仮想空間における進行
履歴を記憶する進行履歴記憶手段と、仮想空間における
進行を誘導するために被提示者に提示する誘導情報を決
定する誘導情報決定手段と、前記進行履歴に対応した画
像と前記誘導情報を被提示者に提示する画像提示手段
と、前記誘導情報を音像データとして作成し、この音像
を立体的に提示する音像提示手段とを備えるように構成
したので、画像を提示して仮想空間内で被提示者に任意
の方向と速度で移動する疑似体験をさせる際に、画像に
よる誘導情報を提示するのに加えて立体的音像により誘
導情報を提示することができ、仮想空間内で被提示者が
誘導情報を見失わないようにしたり、被提示者の視覚を
制限せずに誘導することなどが可能となる効果がある。

【０２１１】請求項１９記載の発明によれば、実写画像
を再生して被提示者に提示する実写画像提示手段と、実
写画像の再生速度を被提示者が希望する速度に制御する
再生速度制御手段と、実写画像の再生を開始するポイン
トを被提示者に任意に指定させることにより実写画像の
場面を切り替える場面切替手段とを備えるように構成し
たので、被提示者に実写画像による仮想空間内を任意の
速度で移動する疑似体験をさせる際に、被提示者の希望
により任意の方向に進んだり任意の場所に飛んだりする
切り替えが可能となり、実写画像による仮想空間内を任
意に移動していく感覚を被提示者に体験させたり、疑似
的な瞬間移動感覚を体験させるなどのことが可能となる
効果がある。

【０２１２】請求項２０記載の発明によれば、被提示者
に画像を提示する画像提示手段と、前記画像に対応した
適切な風を被提示者に提示する風提示手段と、前記画像
に対応した適切な香りを前記風に付加する香り制御手段
とを備えるように構成したので、被提示者に画像を提示
することに加え、画像に適合した香りと風を同時に提示
することができ、画像，風，香りの複合作用により、よ
り現実に近い臨場感を被提示者に与えることが可能とな
る効果がある。

【０２１３】請求項２１記載の発明によれば、被提示者
に画像，温度感覚，および力覚を提示する感覚提示手段
と、被提示者が画像による仮想空間内で物体に触れる際
の手の動きを計測する計測手段と、前記画像の内容およ
び計測された前記手の動きに対応させて、被提示者に提
示される画像，温度感覚，および力覚を制御する提示感
覚制御手段とを備えるように構成したので、仮想空間内
の物を被提示者が手で触ったり動かしたりする際の感覚
を、画像，温度感覚，および力覚の提示を併用して高い
臨場感で体験させることが可能となる効果がある。

【０２１４】請求項２２記載の発明によれば、被提示者
に画像を提示する画像提示手段と、被提示者との接触に
より運動負荷を提示しながら被提示者に足踏み運動をさ
せる運動負荷提示手段と、前記画像の内容および被提示
者の踏み込み位置に合わせて、提示される運動負荷を制
御する運動負荷制御手段とを備えるように構成したの
で、被提示者に足踏み運動を行わせる際に、画像とその
内容に適合した足感覚を提示することができ、臨場感を
向上させた足踏みを行わせることが可能となり、例えば
リハビリ運動における動機付け向上などに役立てるなど
のことができる効果がある。

【０２１５】請求項２３記載の発明によれば、被提示者
に画像を提示する画像提示手段と、被提示者が足踏み運
動をする動作を検出する足踏み運動検出手段と、被提示
者に提示される画像の内容に適合した足踏み音を選択す
る足踏み音選択手段と、前記足踏み音選択手段により選
択された足踏み音を前記足踏み運動検出手段により検出
された足踏み運動のタイミングに合わせて被提示者に提
示する足踏み音提示手段とを備えるように構成したの
で、被提示者が足踏み運動を行う際に、被提示者に画像
を提示するとともに、提示画像の内容に適合した足踏み
音をタイミングを合わせて提示することができ、実際に
歩いているような感覚で臨場感の高い足踏み運動を行わ
せることが可能となる効果がある。また例えば、リハビ
リテーションにおいて被提示者の意欲を刺激してリハビ
リテーション効果を促進するなどのことが可能となる効
果がある。

【０２１６】請求項２４記載の発明によれば、視覚情報
を被提示者に提示する視覚情報提示部と、被提示者の視
覚機能を計測する視覚機能計測手段と、計測された視覚
機能から被提示者の視覚疲労を推定する視覚疲労推定手
段、被提示者の脳波や心電図などの生理反応を計測する
生理反応計測手段と、計測された生理反応から被提示者
の精神・身体疲労を推定する精神・身体疲労推定手段
と、推定された被提示者の視覚疲労および精神・身体疲
労に応じて前記視覚情報提示部において提示する提示情
報を制御する提示情報制御手段とを備えるように構成し
たので、視覚情報が提示される被提示者について、視覚
機能データの計測に基づいた視覚疲労の推定に加え、生
理反応の計測に基づいた精神・身体疲労の推定を行い、
両推定結果に基づいて総合的に被提示者の疲労状態を判
定し、疲労が見られた場合に疲労を低減する視覚情報の
提示を行ったり、装置の使用制限あるいは休憩の喚起を
促したりすることが可能となる効果がある。

【０２１７】請求項２５記載の発明によれば、請求項１
から請求項７のうちのいずれか１項記載の感覚情報提示
装置における方法により被提示者に視覚情報を提示する
視覚提示手段と、請求項８から請求項１０のうちのいず
れか１項記載の感覚情報提示装置における方法により被
提示者に聴覚情報を提示する聴覚提示手段と、請求項１
１から請求項１３のうちのいずれか１項記載の感覚情報
提示装置における方法により被提示者に力覚情報を提示
する力覚提示手段と、請求項１４から請求項１６のうち
のいずれか１項記載の感覚情報提示装置における方法に
より被提示者に触覚情報を提示する触覚情報提示手段と
のうちの、少なくとも２種類以上の提示手段を備えるよ
うに構成したので、多様な感覚情報提示装置によるきめ
細かな環境制御を行ない、被提示者に快適な環境を提示
することが可能となる効果がある。

【０２１８】請求項２６記載の発明によれば、視覚情報
および聴覚情報を被提示者に提示する感覚情報提示手段
と、被提示者に提示される視覚情報中において被提示者
が注視している物体を特定する注視物体特定手段と、特
定された被注視物体の視覚属性と聴覚属性をデータベー
スに随時蓄積し、このデータベースと被提示者への提示
情報との照合により注意対象の存在を検出する注意対象
検出手段と、注意対象が検出された場合に、注意対象に
ついて被提示者の注意を喚起するために、視覚情報を注
意対象に向かってズームアップし聴覚情報の音量・音質
を変化させるなどにより前記感覚情報提示手段の提示情
報を修飾する感覚情報修飾手段とを備えるように構成し
たので、視覚情報および聴覚情報を提示されている被提
示者が気付くべき対象物がある場合にこれに向かってズ
ームアップしたり聴覚情報の音量・音質を変化させるな
どにより被提示者の注意を喚起することができるカクテ
ルパーティー効果を持たせた感覚情報提示装置とするこ
とができる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による感覚情報提示
装置を示すブロック図である。

【図２】 この発明の実施の形態１による感覚情報提示
装置の視覚提示方法を示す模式図である。

【図３】 この発明の実施の形態２による感覚情報提示
装置を示すブロック図である。

【図４】 この発明の実施の形態２による感覚情報提示
装置の視覚提示方法を示す模式図である。

【図５】 この発明の実施の形態３による感覚情報提示
装置を示すブロック図である。

【図６】 この発明の実施の形態４による感覚情報提示
装置を示すブロック図である。

【図７】 この発明の実施の形態５による感覚情報提示
装置を示すブロック図である。

【図８】 この発明の実施の形態６による感覚情報提示
装置を示すブロック図である。

【図９】 この発明の実施の形態７による感覚情報提示
装置を示す模式図である。

【図１０】 この発明の実施の形態８による感覚情報提
示装置を示すブロック図である。

【図１１】 この発明の実施の形態９による感覚情報提
示装置を示すブロック図である。

【図１２】 この発明の実施の形態１０による感覚情報
提示装置を示すブロック図である。

【図１３】 この発明の実施の形態１１による感覚情報
提示装置を示すブロック図である。

【図１４】 この発明の実施の形態１１による感覚情報
提示装置の物体再現方法を示す模式図である。

【図１５】 この発明の実施の形態１２による感覚情報
提示装置を示すブロック図である。

【図１６】 この発明の実施の形態１２による感覚情報
提示装置の物体再現方法を示す模式図である。

【図１７】 この発明の実施の形態１３による感覚情報
提示装置を示すブロック図である。

【図１８】 この発明の実施の形態１３による感覚情報
提示装置の圧力再現部による具体的な圧力再現方法を示
す模式図である。

【図１９】 この発明の実施の形態１４による感覚情報
提示装置を示すブロック図である。

【図２０】 この発明の実施の形態１５による感覚情報
提示装置を示すブロック図である。

【図２１】 この発明の実施の形態１６による感覚情報
提示装置を示すブロック図である。

【図２２】 この発明の実施の形態１７による感覚情報
提示装置を示すブロック図である。

【図２３】 この発明の実施の形態１８による感覚情報
提示装置を示すブロック図である。

【図２４】 この発明の実施の形態１９による感覚情報
提示装置を示すブロック図である。

【図２５】 この発明の実施の形態２０による感覚情報
提示装置を示すブロック図である。

【図２６】 この発明の実施の形態２１による感覚情報
提示装置を示すブロック図である。

【図２７】 この発明の実施の形態２２による感覚情報
提示装置を示すブロック図である。

【図２８】 この発明の実施の形態２２による感覚情報
提示装置の運動負荷の制御ルールを示すグラフ図であ
る。

【図２９】 この発明の実施の形態２３による感覚情報
提示装置を示すブロック図である。

【図３０】 この発明の実施の形態２４による感覚情報
提示装置を示すブロック図である。

【図３１】 この発明の実施の形態２５による感覚情報
提示装置を示すブロック図である。

【図３２】 この発明の実施の形態２６による感覚情報
提示装置を示すブロック図である。

【符号の説明】

１０ 磁気コイルセンサ（頭部移動量検出手段）、１１
磁気コイルセンサ（頭部移動量検出手段）、１２ ヘ
ッドマウントディスプレイ（実写画像提示手段）、１３
信号処理部（頭部移動量検出手段）、１４ 画像方位
計算部（頭部移動量検出手段，移動量制御手段）、１５
実写画像方向制御部（移動量制御手段）、１６ 実写
画像撮影手段、１７ 撮影方向変更手段（移動量制御手
段）、２０ 画像加工部（画像加工手段）、３１ 画像
合成部（視覚情報生成手段）、３２ 画像再生部（視覚
情報提示手段）、３３ モニタ（視覚情報提示手段）、
３４ 環境温度計測手段、３５ 環境温度−色調変換手
段、３６ 合成方法制御部（視覚情報生成手段）、４０
画像蓄積部、４１ 画像編集再生部（ズーム制御手
段）、４２ 画像提示部、４３ 視点検出手段、４４
注視判定手段、４５注視点座標変換手段、４６ 物体検
索手段、４７ ズーム判定部（ズーム制御手段）、５０
提示物体属性変更部（提示物体状態変更手段）、６
０，７１ 視覚情報提示部、６１ アイカメラ（視覚機
能計測手段）、６２ オプトメータ（視覚機能計測手
段）、６３ データ貯蔵部（視覚疲労推定手段）、６４
比較照合部（視覚疲労推定手段）、６５ 視覚疲労推
定部（視覚疲労推定手段）、６６提示ルール格納部（提
示情報制御手段）、６７ 提示情報生成部（提示情報制
御手段）、７２ 視覚情報提示部移動用レール（提示位
置制御手段）、７３ 視覚情報提示部位置制御部（方向
判定手段，提示位置制御手段）、７５ カメラ（方向判
定手段）、８０ 音源蓄積部（音制御手段）、８１ 音
編集再生部（音制御手段）、８２ 音提示部（音制御手
段）、８３ 音質音量制御部（音制御手段）、９２ マ
イクロスピーカ（聴覚情報提示手段）、９３ 提示音周
波数スペクトル計測手段、９４ 放射音周波数スペクト
ル計測手段、９５ 聴覚情報生成手段、９６ 情報処理
手段、１００ 音源（聴覚情報提示手段）、１０１ 音
源位置制御部（聴覚情報提示手段，効果制御手段）、１
０２ 反射畳み込み演算部（聴覚情報提示手段，効果制
御手段）、１０３ 頭部伝達関数演算部（聴覚情報提示
手段，効果制御手段）、１０４ ヘッドホン（聴覚情報
提示手段）、１０５ 効果制御部（音場シミュレート手
段，効果制御手段）、１０６ 空間構成データベース
（音場シミュレート手段）、１１１，１２０ 仮想空間
画像提示手段、１１２ 掌握物体特定部（掌握動作検出
手段）、１１３ 掌握動作検出部（掌握動作検出手
段）、１１４ 物体再現手段、１１５ 再現物体、１１
６ 硬度再現手段、１２１ 持上物体特定手段、１２２
持上動作検出手段、１２３ 重量感再現手段、１３
１，１８４，２２０ 画像提示手段、１３２ 圧力値出
力手段、１３３ 圧力制御部（圧力再現手段）、１３４
圧力再現部（圧力再現手段）、１４０ 物体視覚・触
覚情報蓄積部（触覚情報提示手段）、１４１ 触覚特性
特定手段（触覚情報提示手段）、１４２ 触覚情報制御
部（触覚情報提示手段）、１４３ 触覚情報提示部（触
覚情報提示手段）、１５１ 湿度制御手段（風提示手
段）、１５２ 温度制御手段（風提示手段）、１５３
風速制御手段（風提示手段）、１５４ 乱流制御手段
（風提示手段）、１５５ 風質制御手段（風提示手
段）、１６０ 送風機（風提示手段）、１６１ 被提示
者状態検知部（被提示者状態検知手段）、１６２ 被提
示者状態判定部（提示状態制御手段）、１６３ 知覚強
度制御部（提示状態制御手段）、１６４ 知覚頻度制御
部（提示状態制御手段）、１６５ 知覚波形制御部、１
７０ 香り制御手段、１７２ 風質制御手段、１８０
入力手段、１８３ 誘導情報決定手段、１８５ 音像提
示手段、１９０ 実写画像データ（実写画像提示手
段）、１９１ 画像再生部（実写画像提示手段）、１９
２ 画像提示部（実写画像提示手段）、１９３ 場面切
替入力部（場面切替手段）、１９４ 再生画像ポイント
算出部（場面切替手段）、１９５再生画像ポイント指定
部（場面切替手段）、１９６ 移動速度検出部（再生速
度制御手段）、１９７ 再生速度制御部（再生速度制御
手段）、２００ 実写画像データ（画像提示手段）、２
０１ 実写画像コード（画像提示手段，香り制御手
段）、２０２，２３９ 画像提示部（画像提示手段）、
２１０ 画像提示手段（感覚提示手段）、２１１ 画像
情報生成手段（感覚提示手段）、２１２ 温度感覚提示
手段（感覚提示手段）、２１３ 温度感覚情報生成手段
（感覚提示手段）、２１４ 力覚提示手段（感覚提示手
段）、２１５ 力覚情報生成手段（感覚提示手段）、２
１６ 三次元計測手段（計測手段）、２１７ センサ
（計測手段）、２１８ 制御手段（提示感覚制御手
段）、２２１ 蓄積再生手段（運動負荷制御手段）、２
２２ 運動負荷装置（運動負荷提示手段）、２２３ 制
御手段（運動負荷制御手段）、２３０ 提示画像制御部
（画像提示手段）、２３１ 画像判定部（足踏み音選択
手段）、２３２ 足踏み音選択部（足踏み音選択手
段）、２３４ 足位置検出部（足踏み運動検出手段）、
２３５ 足運動検出部（足踏み運動検出手段）、２３６
歩行動作判定部（足踏み運動検出手段）、２３７ 足
踏み音発生部（足踏み音提示手段）、２３８ 足踏み音
提示部（足踏み音提示手段）、２４０ 視覚機能計測手
段、２４１ 視覚疲労推定手段、２４２ 生理反応計測
手段、２４３ 精神・身体疲労推定手段、２４４ 提示
ルール決定部（提示情報制御手段）、２４５ 提示ルー
ル格納部（提示情報制御手段）、２４６ 画像生成制御
部（提示情報制御手段）、２４７ 視覚情報提示部、２
５１ 計測手段、２５３ 視覚提示手段、２５４ 聴覚
提示手段、２５５ 力覚提示手段、２５７ 風提示手
段、２６１ 感覚情報提示手段、２６４ 感覚情報修飾
手段、２６５ 注視物体特定手段、２６７ 注意対象検
出手段。

フロントページの続き (72)発明者 平澤 宏祐 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 大須賀 美恵子 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 寺下 裕美 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 澤田 晃 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (26)

【特許請求の範囲】
1. 【請求項１】 被提示者の体幹に対する頭部の方向移動
   量を検出する頭部移動量検出手段と、 撮影方向を可変に設けられて実写画像を撮影する実写画
   像撮影手段と、 前記頭部移動量検出手段において検出された頭部移動量
   に対応した方向に前記実写画像撮影手段の向きを制御
   し、所定の条件下では前記実写画像撮影手段を前記被提
   示者の体幹に対して前記頭部移動量より大きくまたは小
   さくした移動量を移動させる移動量制御手段と、 前記被提示者の頭部眼前に設置され、前記実写画像撮影
   手段により撮影された実写画像を被提示者に提示する実
   写画像提示手段とを備えた感覚情報提示装置。
2. 【請求項２】 被提示者の頭部が向いている方向を検出
   する頭部方向検出手段と、 撮影方向を可変に設けられて実写画像を撮影する実写画
   像撮影手段と、 前記頭部方向検出手段において検出された方向に前記実
   写画像撮影手段の向きを制御する撮影方向制御手段と、 前記実写画像撮影手段により撮影された実写画像におい
   て前記被提示者の実際の視野領域を越える領域の実写画
   像を圧縮して取り入れた提示画像を形成する画像加工手
   段と、 前記被提示者の頭部眼前に設置され、前記画像加工手段
   により形成された提示画像を被提示者に提示する実写画
   像提示手段とを備えた感覚情報提示装置。
3. 【請求項３】 被提示者が置かれた環境の環境温度を計
   測する環境温度計測手段と、 前記環境温度計測手段で計測された温度を温冷感を想起
   させる色に対応させる環境温度−色調変換手段と、 前記環境温度−色調変換手段が決定した色を被提示者へ
   の提示画像に組み込む視覚情報生成手段と、 前記提示画像を前記被提示者に提示する視覚情報提示手
   段とを備えた感覚情報提示装置。
4. 【請求項４】 画像を蓄積する画像蓄積部と、 画像を被提示者に提示する画像提示部と、 前記被提示者が見ている所を検出する視点検出手段と、 前記被提示者が何かを注視しているか否かを判定する注
   視判定手段と、 注視している場合の前記視点検出手段上の注視点座標を
   前記画像提示部上の座標に変換する注視点座標変換手段
   と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れているか否かを検索する物体検索手段と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れている場合に、その提示されている被注視物体のズー
   ムアップまたはズームアウトを所定の法則に従って行な
   うズーム制御手段とを備えた感覚情報提示装置。
5. 【請求項５】 画像を蓄積する画像蓄積部と、 画像を被提示者に提示する画像提示部と、 前記被提示者が見ている所を検出する視点検出手段と、 前記被提示者が何かを注視しているか否かを判定する注
   視判定手段と、 注視している場合の前記視点検出手段上の注視点座標を
   前記画像提示部上の座標に変換する注視点座標変換手段
   と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れているか否かを検索する物体検索手段と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れている場合に、その提示されている被注視物体の状態
   を変化させる提示物体状態変更手段とを備えた感覚情報
   提示装置。
6. 【請求項６】 視覚情報を被提示者に提示する視覚情報
   提示部と、 被提示者の視覚機能を計測する視覚機能計測手段と、 計測された視覚機能から前記被提示者の視覚疲労を推定
   する視覚疲労推定手段、推定された視覚疲労状態に応じ
   て前記視覚情報提示部において提示する提示情報を制御
   する提示情報制御手段とを備えた感覚情報提示装置。
7. 【請求項７】 視覚情報を被提示者に提示する視覚情報
   提示部と、 前記被提示者の顔または体が向いている方向を判定する
   方向判定手段と、 前記視覚情報提示部による提示位置を前記方向判定手段
   により判定された方向に対応させて移動させる提示位置
   制御手段とを備えた感覚情報提示装置。
8. 【請求項８】 画像を被提示者に提示する画像提示部
   と、 前記被提示者が見ている所を検出する視点検出手段と、 前記被提示者が何かを注視しているか否かを判定する注
   視判定手段と、 注視している場合の前記視点検出手段上の注視点座標を
   前記画像提示部上の座標に変換する注視点座標変換手段
   と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れているか否かを検索する物体検索手段と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
   れている場合に、その提示されている被注視物体に対応
   した音の音量または音質を変化させて提示する音制御手
   段とを備えた感覚情報提示装置。
9. 【請求項９】 被提示者の耳に提示される音の音量と周
   波数スペクトルを計測する提示音周波数スペクトル計測
   手段と、 提示音が耳から放射される耳音響放射音の音量と周波数
   スペクトルを計測する放射音周波数スペクトル計測手段
   と、 前記提示音周波数スペクトル計測手段および前記放射音
   周波数スペクトル計測手段による計測結果に基づいて前
   記被提示者の聴覚特性を推論する情報処理手段と、前記
   情報処理手段により推論された前記被提示者の聴覚特性
   に適合した特性の聴覚情報を生成する聴覚情報生成手段
   と、 前記聴覚情報を前記被提示者に提示する聴覚情報提示手
   段とを備えた感覚情報提示装置。
10. 【請求項１０】 聴覚情報を被提示者に提示する聴覚情
    報提示手段と、 前記被提示者が存在すると想定される環境における物体
    や周辺環境等による音場をシミュレートする音場シミュ
    レート手段と、 前記音場シミュレート手段がシミュレートした音場の特
    徴を、必要に応じて誇張したり減衰させたりして前記聴
    覚情報提示手段における聴覚情報の提示に反映させる効
    果制御手段とを備えた感覚情報提示装置。
11. 【請求項１１】 仮想空間の画像を被提示者に提示する
    仮想空間画像提示手段と、 前記仮想空間内に提示されている物体を前記被提示者が
    掴もうとする動作を検出する掌握動作検出手段と、 前記被提示者が掴もうとする掌握物体に近い形状まで内
    部圧力の印加により膨張することによって前記掌握物体
    を再現する再現物体と、 前記再現物体に内部圧力を印加して膨張させる物体再現
    手段と、 前記再現物体の内部圧力を前記掌握物体の硬度に応じて
    設定する硬度再現手段とを備えた感覚情報提示装置。
12. 【請求項１２】 仮想空間の画像を被提示者に提示する
    仮想空間画像提示手段と、 前記仮想空間内に提示されている物体を前記被提示者が
    持ち上げようとする動作を検出する持上動作検出手段
    と、 前記被提示者が持ち上げようとする持上物体を特定する
    持上物体特定手段と、 前記持上物体の重量に比例した重量感を前記被提示者に
    与える重量感再現手段とを備えた感覚情報提示装置。
13. 【請求項１３】 画像を被提示者に提示する画像提示手
    段と、 前記被提示者に提示されている画像における気圧，水圧
    等の圧力値を出力する圧力値出力手段と、 前記圧力値出力手段が出力した圧力値に応じた圧力を前
    記被提示者に感じさせる圧力再現手段とを備えた感覚情
    報提示装置。
14. 【請求項１４】 画像を蓄積する画像蓄積部と、 前記画像を被提示者に提示する画像提示部と、 前記被提示者が見ている所を検出する視点検出手段と、 前記被提示者が何かを注視しているか否かを判定する注
    視判定手段と、 注視している場合の前記視点検出手段上の注視点座標を
    前記画像提示部上の座標に変換する注視点座標変換手段
    と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
    れているか否かを検索する物体検索手段と、 前記画像提示部上の注視点座標に何らかの物体が提示さ
    れている場合に、その提示されている被注視物体の触覚
    特性を特定して、それと同等な触覚情報を被提示者に提
    示する触覚情報提示手段とを備えた感覚情報提示装置。
15. 【請求項１５】 被提示者に提示する風の温度を制御す
    る温度制御手段と、 前記被提示者に提示する風の湿度を制御する湿度制御手
    段と、 前記被提示者に提示する風の風速を制御する風速制御手
    段と、 前記被提示者に提示する風における空気の流れの状態を
    制御する乱流制御手段と、 被提示者にさまざまな環境を想起させうる風質を実現す
    るように前記温度制御手段，湿度制御手段，風速制御手
    段，および乱流制御手段を制御する風質制御手段とを備
    えた感覚情報提示装置。
16. 【請求項１６】 被提示者に風を提示する風提示手段
    と、 前記風提示手段により空気の流れを提示されている前記
    被提示者の手，足，頭部等の露出部の状態を検知する被
    提示者状態検知手段と、 前記被提示者状態検知手段の検知情報を基に、前記被提
    示者に提示される風の知覚波形，知覚強度，および知覚
    頻度が適切なものとなるように前記風提示手段を制御す
    る提示状態制御手段とを備えた感覚情報提示装置。
17. 【請求項１７】 被提示者に提示する風に、前記被提示
    者に想起させる環境に適合した香りを付加する香り制御
    手段を備えたことを特徴とする請求項１５記載の感覚情
    報提示装置。
18. 【請求項１８】 仮想空間における進行方向と移動速度
    の入力を被提示者から受ける入力手段と、 前記入力に従った仮想空間における進行履歴を記憶する
    進行履歴記憶手段と、 前記仮想空間における進行を誘導するために前記被提示
    者に提示する誘導情報を決定する誘導情報決定手段と、 前記進行履歴に対応した画像と前記誘導情報を前記被提
    示者に提示する画像提示手段と、 前記誘導情報を音像データとして作成し、この音像を立
    体的に提示する音像提示手段とを備えた感覚情報提示装
    置。
19. 【請求項１９】 実写画像を再生して被提示者に提示す
    る実写画像提示手段と、 前記実写画像の再生速度を被提示者が希望する速度に制
    御する再生速度制御手段と、 前記実写画像の再生を開始するポイントを前記被提示者
    に任意に指定させることにより実写画像の場面を切り替
    える場面切替手段とを備えた感覚情報提示装置。
20. 【請求項２０】 被提示者に画像を提示する画像提示手
    段と、 前記画像に対応した適切な風を前記被提示者に提示する
    風提示手段と、 前記画像に対応した適切な香りを前記風に付加する香り
    制御手段とを備えた感覚情報提示装置。
21. 【請求項２１】 被提示者に画像，温度感覚，および力
    覚を提示する感覚提示手段と、 前記被提示者が画像による仮想空間内で物体に触れる際
    の手の動きを計測する計測手段と、 前記画像の内容および計測された前記手の動きに対応さ
    せて、前記被提示者に提示される画像，温度感覚，およ
    び力覚を制御する提示感覚制御手段とを備えた感覚情報
    提示装置。
22. 【請求項２２】 被提示者に画像を提示する画像提示手
    段と、 前記被提示者との接触により運動負荷を提示しながら前
    記被提示者に足踏み運動をさせる運動負荷提示手段と、 前記画像の内容および前記被提示者の踏み込み位置に合
    わせて、提示される運動負荷を制御する運動負荷制御手
    段とを備えた感覚情報提示装置。
23. 【請求項２３】 被提示者に画像を提示する画像提示手
    段と、 前記被提示者が足踏み運動をする動作を検出する足踏み
    運動検出手段と、 前記被提示者に提示される画像の内容に適合した足踏み
    音を選択する足踏み音選択手段と、 前記足踏み音選択手段により選択された足踏み音を前記
    足踏み運動検出手段により検出された足踏み運動のタイ
    ミングに合わせて前記被提示者に提示する足踏み音提示
    手段とを備えた感覚情報提示装置。
24. 【請求項２４】 視覚情報を被提示者に提示する視覚情
    報提示部と、 前記被提示者の視覚機能を計測する視覚機能計測手段
    と、 計測された視覚機能から被提示者の視覚疲労を推定する
    視覚疲労推定手段、 前記被提示者の脳波や心電図などの生理反応を計測する
    生理反応計測手段と、 計測された生理反応から前記被提示者の精神・身体疲労
    を推定する精神・身体疲労推定手段と、 推定された前記被提示者の視覚疲労および精神・身体疲
    労に応じて前記視覚情報提示部において提示する提示情
    報を制御する提示情報制御手段とを備えた感覚情報提示
    装置。
25. 【請求項２５】 請求項１から請求項７のうちのいずれ
    か１項記載の感覚情報提示装置における方法により被提
    示者に視覚情報を提示する視覚提示手段と、 請求項８から請求項１０のうちのいずれか１項記載の感
    覚情報提示装置における方法により前記被提示者に聴覚
    情報を提示する聴覚提示手段と、 請求項１１から請求項１３のうちのいずれか１項記載の
    感覚情報提示装置における方法により前記被提示者に力
    覚情報を提示する力覚提示手段と、 請求項１４から請求項１６のうちのいずれか１項記載の
    感覚情報提示装置における方法により前記被提示者に触
    覚情報を提示する触覚情報提示手段とのうちの、少なく
    とも２種類以上の提示手段を備えた感覚情報提示装置。
26. 【請求項２６】 視覚情報および聴覚情報を被提示者に
    提示する感覚情報提示手段と、 前記被提示者に提示される視覚情報中において前記被提
    示者が注視している物体を特定する注視物体特定手段
    と、 特定された被注視物体の視覚属性と聴覚属性をデータベ
    ースに随時蓄積し、このデータベースと前記被提示者へ
    の提示情報との照合により注意対象の存在を検出する注
    意対象検出手段と、 注意対象が検出された場合に、注意対象について前記被
    提示者の注意を喚起するために、視覚情報を注意対象に
    向かってズームアップし聴覚情報の音量・音質を変化さ
    せるなどにより前記感覚情報提示手段の提示情報を修飾
    する感覚情報修飾手段とを備えた感覚情報提示装置。