JPH113195A - インタラクティブシステム及び記憶媒体 - Google Patents
インタラクティブシステム及び記憶媒体Info
- Publication number
- JPH113195A JPH113195A JP15320697A JP15320697A JPH113195A JP H113195 A JPH113195 A JP H113195A JP 15320697 A JP15320697 A JP 15320697A JP 15320697 A JP15320697 A JP 15320697A JP H113195 A JPH113195 A JP H113195A
- Authority
- JP
- Japan
- Prior art keywords
- displacement
- voice
- image
- displayed
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
動作を検出し、操作者が自然に感じることのできる臨場
感に富んだインタラクティブシステムを提供することを
目的とする。 【解決手段】入力される制御信号に応じて表示される映
像が変化するように構成されたインタラクティブシステ
ム1であって、映像を表示するディスプレイ装置12、
ディスプレイ装置12の前方に存在する対象物の空間的
位置を検出するための位置検出センサ21、位置検出セ
ンサ21の出力に基づいて対象物の空間的位置の予め定
められた基準位置からの変位を検出する変位検出手段3
1、対象物の発する音声を検出するためのマイクロフォ
ンMC1、音声を解析する音声解析手段32、変位及び
音声の解析結果に応じてディスプレイ装置12に表示さ
れる映像の内容を変更するように制御する映像制御手段
33を有してなる。
Description
いる人間の動きと音声を検出し、これによって入力され
る制御信号に応じて表示される映像が変化するように構
成されたインタラクティブシステム及び記憶媒体に関す
る。
って仮想都市や仮想店舗などの仮想空間(サイバースペ
ース)の映像を画面に表示し、表示された仮想空間を変
化させてそれを見ている人間があたかもその仮想空間の
中を歩き回っているかのような疑似体験をすることので
きる、インタラクティブなアプリケーションがしばしば
用いられている。
ゲームなどのアプリケーションの効果を一層高め、より
臨場感のあるものとするために、人間にとってより自然
に感じることのできるマンマシンインタフェースが求め
られている。
ョンにおいては、画面に表示される映像(画像)を制御
するための入力インタフェースとして、キーボード、マ
ウス、ジョイパッドなどの入力操作機器を用い、操作者
がそれらの機器を自身の手先で操作することが一般的で
ある。
るで現実と同じように体験するようにしたバーチャルリ
アリティシステムでは、電磁位置センサ又はデータグロ
ーブなどの新しい入力インタフェースが用いられてい
る。これらは操作者に装着され、操作者の頭や手の動き
を直接に検出し、その検出出力に基づいて画面又は機器
の動作が制御される。
て仮想都市を画面に表示し、その仮想都市のウォークス
ルーを体験する場合において、映像を表示する画面が大
きければ大きい程、体感できる臨場感や現実感は増大す
る。
用いて大画面の映像を制御しようとすると、大画面の極
近傍に着席した操作者は画面を凝視することが困難とな
るので、大画面である場合にはこれは余り実用的とはい
えない。
などを用いて大画面の映像を制御した場合には、それら
の機器を操作者の身体に装着しなければならず、しかも
データの送受のためのケーブルを接続する場合もあるの
で、操作者の自然な動作を妨げるという問題がある。
ので、操作者の自由な動きを妨げることなく操作者の動
作を検出し、操作者が自然に感じることのできる臨場感
に富んだインタラクティブシステム及びそれに用いる記
憶媒体を提供することを目的とする。
ンタラクティブシステムは、入力される制御信号に応じ
て表示される映像が変化するように構成されたインタラ
クティブシステムであって、前記映像を表示する表示手
段と、前記表示手段の前方に存在する対象物の空間的位
置を検出するための位置検出センサと、前記位置検出セ
ンサの出力に基づいて、前記対象物の空間的位置の予め
定められた基準位置からの変位を検出する変位検出手段
と、前記対象物の発する音声を検出するための音声検出
センサと、前記音声検出センサにより検出された音声を
解析する音声解析手段と、前記変位検出手段から出力さ
れる変位及び前記音声解析手段から出力される解析結果
に応じて、前記表示手段に表示される映像の内容を変更
するように制御する映像制御手段と、を有してなる。
ステムでは、前記映像制御手段は、前記変位検出手段に
より検出された変位に対応して前記表示手段に表示され
た映像中の特定のオブジェクトを指定し、指定されたオ
ブジェクトに割り当てられた制御コマンドを、前記音声
解析手段による解析結果に対応して起動する。
ステムでは、前記変位検出手段により検出される変位に
対応して前記表示手段に表示される映像を移動させ、表
示されている映像中のオブジェクトが前記表示手段の表
示領域中に設定されたマーカ領域に入ったときに、前記
特定のオブジェクトを指定する。
ステムでは、前記変位検出手段により検出される変位に
対応して前記表示手段に表示されるマーカカーソルを移
動させ、前記マーカカーソルによって、前記表示手段に
表示されている映像の中から前記特定のオブジェクトを
指定する。
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の大きさを解析し、前記映像制御
手段は、前記音声解析手段による解析結果に基づいて、
前記オブジェクトに割り当てられている複数の制御コマ
ンドの中から選択された制御コマンドを起動する。
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の周波数成分を解析し、前記映像
制御手段は、前記音声解析手段による解析結果に基づい
て、前記オブジェクトに割り当てられている複数の制御
コマンドの中から選択された制御コマンドを起動する。
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の言語的意味を解析し、前記映像
制御手段は、前記音声解析手段による解析結果に基づい
て、前記オブジェクトに割り当てられている複数の制御
コマンドの中から選択された制御コマンドを起動する。
ステムでは、前記位置検出センサは、前記表示手段の基
部において、前記映像の表示される画面と平行な方向に
沿って配置された複数の赤外線距離センサである。
段の前方に存在する対象物の空間的位置を検出するため
の位置検出センサの出力に基づいて、前記対象物の空間
的位置の予め定められた基準位置からの変位を検出する
変位検出手段と、音声検出センサにより検出される前記
対象物の発する音声を解析する音声解析手段と、前記変
位検出手段から出力される変位及び前記音声解析手段か
ら出力される解析結果に応じて、前記表示手段に表示さ
れる映像の内容を変更するように制御する映像制御手段
と、をコンピュータ上で実現するためのプログラムを記
憶したコンピュータ読み取り可能な記憶媒体である。
における映像の制御を、図8及び図9の例にしたがって
説明する。図8(A)において、画面HGの中央付近に
建物が表示され、その右方に出入口の扉TCが表示され
ている。画面HGの中央にはマーカ領域EMが表示され
ている。操作者OPが自身の体を前後左右に移動して画
面HG上の映像FG11を移動させ、図8(B)に示す
ように扉TCを画面HGの中央に持ってきてマーカ領域
EMに入れる。これによって、オブジェクトである扉T
Cが指定されたことになる。扉TCには例えば「中に入
る」という制御コマンドが割り当てられている。
る制御信号SCを発生させると、「中に入る」という制
御コマンドが起動され実行される。これによって、画面
HGは、図8(C)に示すように建物の内部の映像FG
13に切り替わる。
を前後左右に移動して映像の中をウオークスルーするこ
とができる。画面HGに表示されたマーカ領域EMは位
置が固定され、映像が移動する。音声解析部32から制
御信号SCが出力された場合に、マーカ領域EMに入っ
たオブジェクトに割り当てられた制御コマンドが実行さ
れる。オブジェクトに複数の制御コマンドが割り当てら
れている場合には、制御信号SCの個数又は内容によっ
て制御コマンドが選択され、実行される。
示されており、操作者OPの位置の移動に応じてマーカ
カーソルCMの位置が移動する。マーカカーソルCMが
画面HGの端までくると次のシーンの映像が表示され
る。また、音声による制御信号SCによって制御コマン
ドを起動すると、その制御コマンドに応じて、他の異な
る映像が表示される。
は、例えばパーソナルコンピュータ又はワークステーシ
ョンと大型の画面HGを有するディスプレイ装置を用い
て実現される。本発明に係る映像の制御を実行するため
のプログラムは、半導体メモリ、ハードディスク、CD
−ROM、フロッピーディスク、又は光磁気ディスクな
どの記憶媒体に格納される。記憶媒体に格納されたプロ
グラムは、必要に応じ、CD−ROMドライブ、フロッ
ピーディスクドライブ、又は光磁気ディスクドライブな
どを用いて適時読み出される。記憶媒体が例えばサーバ
内に設けられている場合には、通信回線を介してサーバ
からプログラムが読み取られ又はダウンロードされる。
プログラムは、種々のOS、プラットホーム、システム
環境、又はネットワーク環境の下で動作するように供給
可能である。
ィブシステム1の構成を示すブロック図、図2はディス
プレイ装置12及び位置検出センサ群21を示す図、図
3は位置検出センサ群21による検出範囲ERの状態を
示す図である。
1は、処理装置11、人物の高さと同程度の大きい画面
例えば100インチ以上の画面HGを有したディスプレ
イ装置12、磁気ディスク装置13、キーボード14、
マウス15、媒体ドライブ装置16、位置検出センサ群
21、及び音声検出センサとしてのマイクロフォンMC
1などから構成される。プリンタ装置も必要に応じて接
続される。図示は省略したが、ケーブルにより通信回線
を介してネットワークに接続されている。
ータ又は画像データのファイル、それらのファイルによ
るデータベース、映像を提示する種々のアプリケーショ
ンプログラム、その他の種々のプログラム又はデータが
格納されている。それらのプログラム又はデータは適時
メインメモリにロードされる。磁気ディスク装置13に
格納されたファイルなどに基づいて、画面HGに動画又
は静止画による映像(画像)が表示される。
スクドライブ、CD−ROMドライブ、光磁気ディスク
ドライブなどであり、それぞれに対応する記憶媒体、例
えばCD−ROM41、フロッピィディスク42をセッ
トしてアクセス可能である。なお、これらの記憶媒体に
よって、種々の映像、画像、アプリケーションプログラ
ム、及びデータなどが供給され、適宜、磁気ディスク装
置13やメインメモリに転送される。
2の画面HGの前方に立っている操作者OPの空間的位
置を検出するためのものであり、多数の赤外線距離セン
サSE1,SE2…からなる。
置12の上部中央に設置され、操作者OPなどの発する
音声をとらえて電気信号である出力信号SBに変換す
る。但し、マイクロフォンMC1の設置場所は任意であ
り、複数個のマイクロフォンを用いて音源位置又は音源
方向を検出することも可能である。
央処理装置)、メモリ、グラフィックス・アクセラレー
タ、モデム、音源、種々のインタフェース回路、及びそ
の他の周辺回路などが内蔵されている。メモリとして、
BIOS及びOSなどを格納したROM、メインメモリ
又はキャッシュメモリとして用いられるRAM、及びビ
デオRAMなどが含まれる。
ら読み出したフィルなどに基づいて画面HGに映像を表
示するための処理、その他の種々の処理を行う。処理装
置11には、変位検出部31、音声解析部32、及び映
像制御部33が設けられてる。
の出力信号SAに基づいて、操作者OPの空間的位置の
予め定められた基準位置PSからの変位を検出する。音
声解析部32は、マイクロフォンMC1からの出力信号
SBを元にして、検出された音声を解析する。
力される変位及び音声解析部32から出力される解析結
果に応じて、画面HGに表示される映像の内容を変更す
るように制御する。処理装置11のこれらの処理は、メ
インメモリ又は磁気ディスク装置13などに格納された
プログラムをCPUが実行することにより実現される。
処理装置11として、いわゆるパーソナルコンピュータ
又はワークステーションなどを利用することができる。
21を構成する赤外線距離センサSE1,2,3…は、
ディスプレイ装置12の基部121において、画面HG
と平行な方向に沿って互いに等間隔に配置されている。
各赤外線距離センサSEは、それぞれの前方方向に存在
する物体までの距離を、それぞれ限られた角度範囲にお
いて計測するように取り付けられている。したがって、
これら赤外線距離センサSE1,2,3…からの出力信
号SA1,2,3…を総合することによって、画面HG
の前方に立っている操作者OPの空間的位置が検出され
る。
て操作者OPを検出することの可能な範囲を示す。検出
範囲ERの中の特定の位置が、基準位置PSとして予め
定められている。つまり、処理装置11の変位検出部3
1では、検出センサ群21からの出力信号SAに基づい
て、操作者OPの基準位置PSからの変位、つまり変位
方向DR及び変位量DVを検出する。
面に人物が立って映像を眺めることを想定して、画面H
Gの正面中央から少し偏った位置に設定されている。し
かし、画面HGの正面中央であってもよい。
て、画面HGに近づく方向が前進方向F、遠ざかる方向
が後退方向Bであり、画面HGと平行な方向が右方向R
及び左方向Lである。なお、基準位置PSからの任意の
方向は、その成分である複数の方向で示される。
方向DR及び変位量DVに応じて、画面HGに表示され
る映像又はマーカカーソルを移動させる。映像又はマー
カカーソルのいずれを移動させるかは、映像を表示する
アプリケーションプログラムの内容による。映像の移動
は次のように行われる。
る場合には映像を拡大し、後退方向Bである場合には映
像を縮小し、右方向Rである場合に映像を右に平行移動
し、左方向Lである場合に映像を左に平行移動する。ま
た、映像を移動させる場合に、変位量DVの大きさに応
じて映像の移動速度を大きくする。変位量DVが零であ
る場合、つまり操作者OPが基準位置PSにいる場合に
は、映像はその状態で停止している。
OPは、基準位置PSからの自分自身の変位方向DR及
び変位量DVによって、画面HGに表示された映像を操
作することができる。
ており、映像の移動によって映像中のオブジェクトがマ
ーカ領域に入ったときに、そのオブジェクトが特定のオ
ブジェクトとして指定される。
の扉、案内板、看板、人物、仮想生物、種々のアイコン
など、種々のものが考えられる。それらのオブジェクト
には、予め1つ又は複数の制御コマンドが割り当てられ
ている。何がオブジェクトであるか、またどのような制
御コマンドであるかは、映像を提示するアプリケーショ
ンプログラムによる。
像FGの例を示す図である。ここでは、3次元グラフィ
ック技術を用いて構築した3次元仮想都市の中を、あた
かも実際に歩いて動き回っているように表示される映像
FGを用いた例について説明する。
タをコンピュータ内部に記憶しておき、その中に仮想的
に人間を配置したときの視点を設定することで、その人
間の目に見える都市の情景を画面表示用の映像FGとし
て再構築して画面HGに表示する。
沿って前方に順次移動させていき、それに対応させて映
像の再構築を行って画面HGに表示していけば、あたか
も道に沿って仮想都市内を歩いていくように映像FGが
変化していく。
は、操作者OPが基準位置PSに立ったときの3次元仮
想都市の映像FG0が表示されている。操作者OPが基
準位置PSから画面HGの方向に近づいた場合には、上
記の視点の設定位置を3次元仮想都市の前方へ順次移動
させることで、仮想都市内を歩いて前進していくように
映像FGが変化していく。
合には、上記の視点の設定位置を3次元仮想都市内の後
方へ順次移動させることで、仮想都市内で後ずさりして
いくように映像FGが変化していく。
方向へ移動した場合には、視点の設定位置を3次元仮想
都市内の右方向へ順次移動させることで、仮想都市内で
右方向に平行移動していくように映像FGが変化してい
き、左方向へ移動した場合には、上記の視点の設定位置
を3次元仮想都市内の左方向へ順次移動させることで、
左方向に平行移動していくように映像FGが変化してい
く。
点の移動速度は、操作者OPの基準基準位置PSからの
変位量DVに比例する。図4の画面HG0の上下左右に
示された画面HG1〜4には、それぞれ、前進していく
映像FG1、後退していく映像FG2、左へ平行移動し
ていく映像FG3、又は右へ平行移動していく映像FG
4が表示されている。
大きさに応じて映像の移動が継続される。したがって、
映像をその状態で停止させるには、操作者OPが基準位
置PSに戻って変位量DVを零とすればよい。
作者OPは、自身の移動によって画面HGに表示される
3次元仮想都市の中を歩いているような感覚を得ること
ができる。基準位置PSからの変位量DVに応じて移動
速度が変わるので、映像の操作が容易であり、現実感が
増す。
を操作して映像を移動させる場合のように、画面HGの
近傍に着席して操作をする必要がないので、画面HGを
凝視するのが容易である。操作者OPは、電磁位置セン
サ又はデータグローブなどを装着する必要がなく、ケー
ブルを引きずる必要もないので、自由な動きを妨げられ
ることがない。したがって、操作者OPは映像の変化を
極めて自然に感じることができ、より豊かな臨場感を得
ることができる。
方向DR及び変位量DVを定めているので、変位方向D
R及び変位量DVの検出が容易且つ確実であり、基準位
置PSを適宜変更することにより、任意の視点から映像
FGを制御することができる。
囲ER内に入ってから行われる。操作者OPが画面HG
に近づき過ぎると、画面HGにその旨の警告メッセージ
が表示される。これによって、操作者OPが画面HGに
接触することが防止され、且つ検出センサ群21による
検出範囲ERから出てしまうことが防止される。警告メ
ッセージとしては、例えば「STOP」の文字が、画面
HGの中央に、表示中の映像の上に重ねて大きく表示さ
れる。その場合に、映像の色と異なった色、例えば赤色
で、且つ点滅して表示される。操作者OPが画面HGに
近づき過ぎたか否かは、検出センサ群21からの出力信
号SAに基づいて距離が計算され、警告基準距離BDと
の比較が行われる。
ことによって検出範囲ERから出てしまうと、検出セン
サ群21による検出が不能となり、そのときの状態で映
像が停止する。
行われる。すなわち、変位方向DRが前進方向Fである
場合にはマーカカーソルを上方へ移動し、後退方向Bで
ある場合にはマーカカーソルを下方へ移動し、右方向R
である場合にはマーカカーソルを右へ移動し、左方向L
である場合にはマーカカーソルを左へ移動する。また、
変位量DVの大きさに応じてマーカカーソルの移動速度
を大きくする。変位量DVが零である場合、つまり操作
者OPが基準位置PSにいる場合には、マーカカーソル
はその状態で停止している。
されている映像の中から特定のオブジェクトが指定され
る。画面HGに表示されるマーカカーソルの形状、大き
さ、及び色は、映像及びアプリケーションプログラムの
内容に応じて種々のものが採用される。また、マーカ領
域又はマーカカーソルのいずれによって特定のオブジェ
クトを指定するかは、アプリケーションプログラムによ
る。
解析処理の例を示す図である。図5は音声の大きさを解
析する例を示し、図6は音声の周波数成分を解析する例
を示す。図7は音声の言語的意味を解析する例を示す。
しきい値TH1が設定されており、例えば操作者OPの
拍手の音のピーク値がしきい値TH1を越えた場合に制
御信号SCを出力する。制御信号SCが1つの場合に
は、そのときに指定されたオブジェクトに割り当てられ
ている制御コマンドのうちの1つ(制御コマンド1)が
実行され、制御コマンドが所定時間Ts内に2つ続いた
場合には、他の1つの制御コマンド(制御コマンド2)
が実行される。つまり、1回の拍手は例えばマウスのク
リックに相当し、2回の拍手はマウスのダブルクリック
に相当する。
提示するアプリケーションプログラムによる。またこの
場合の音声として、拍子木又は鐘などを叩く音、笛の
音、操作者OP自身の声、又は操作者OP以外から発せ
られる音声などであってもよい。しきい値TH1の大き
さは種々設定が可能である。
声の大きさのレベルに応じて異なる制御信号SCを出力
し、異なる種々の制御コマンドを実行するようにしても
よい。例えば、オブジェクトが仮想生物である場合に、
大きな音声では怖がったり泣いたりさせ、小さな音声で
は喜んだり眠ったりさせることも可能である。
数成分のピークがどこにあるかによって、異なる制御信
号SCが出力される。一般に、成人男子の声の基本周波
数は125Hz近辺、女子は250Hz近辺が中心周波
数となる。そこで200Hzを境界としてどちらに周波
数成分のピークがあるかによって、男性と女性を判別
し、それぞれに対応した制御信号SCを生成する。男性
か女性かに応じて、それぞれ異なる制御コマンドを起動
する。
性用品の店舗やフロア、男性好みのスポーツの案内な
ど、男性好みの映像を表示し、女性による制御コマンド
では、女性用品の店舗やフロア、女性好みの趣味の案内
など、女性好みの映像を表示することが考えられる。な
お、操作者OPが意識的に声の高さを変えることによ
り、異なる制御コマンドを起動することも可能である。
を用いて、検出された音声のうちの周波数fsの成分の
大きさがしきい値TH1を越えた場合に、笛が吹かれた
ことを示す制御信号SCを出力し、それに対応した制御
コマンドを起動することも可能である。笛の音程を変え
ることによって、種々の制御コマンドを起動することも
可能である。
からの出力信号SBを音響分析部321で分析し、単語
認識部322で単語辞書323を参照して言語的意味を
認識する。認識出力SRに基づいて、種々の異なる制御
コマンドを実行する。
ある場合に、「はいる」「ひらけ」「ここ」などの語句
によってその扉を開けて建物内の映像を表示する。上述
のように、操作者OPの位置によって画面HGに表示さ
れた映像中の特定のオブジェクトを指定し、そのオブジ
ェクトに割り当てられた制御コマンドを音声によって選
択し起動する。
る映像の制御の例について説明する。図8は3次元仮想
都市の中をウオークスルーしたときの映像の制御の過程
を示す図である。
に建物が表示され、その右方に出入口の扉TCが表示さ
れている。画面HGの中央にはマーカ領域EMが表示さ
れている。建物の中に入るために、操作者OPが前後左
右に移動して画面HG上の映像FG11を移動させ、図
8(B)に示すように扉TCを画面HGの中央に持って
きてマーカ領域EMに入れる。これによって、オブジェ
クトである扉TCが指定されたことになる。扉TCには
「中に入る」という制御コマンドが割り当てられてい
る。
つの連続する制御信号SCを発生させると、「中に入
る」という制御コマンドが起動され実行される。これに
よって、画面HGは、図8(C)に示すように建物の内
部の映像FG13に切り替わる。
右に移動することによって、建物の内部をウオークスル
ーすることができる。建物の内部には、案内板GBが設
けられており、操作者OPの位置の移動によって案内板
GBに近づいていくと、案内板GBの輝度が高くなった
り点滅したりして強調表示される。
マンドが割り当てられているので、案内板GBがマーカ
領域EMに入り、上述と同様に拍手を2回すると、案内
の内容の詳細が画面HGの全面に表示される。
カ領域EMは位置が固定され、映像が移動する。音声解
析部32から制御信号SCが出力された場合に、マーカ
領域EMに入ったオブジェクトに割り当てられた制御コ
マンドが実行される。オブジェクトに複数の制御コマン
ドが割り当てられている場合には、制御信号SCの個数
又は内容によって制御コマンドが選択され、実行され
る。
ウスのダブルクリックに相当する。つまり、マウスの操
作が、操作者OPの位置の移動と音声の発生とによって
置き換えられている。したがって、大きな画面HGに表
示された映像の制御が容易である。
像FGの他の例を示す図である。図9では、3次元仮想
都市の映像が表示されており、操作者OPの位置の移動
に応じてマーカカーソルCMの位置が移動する。マーカ
カーソルCMが画面HGの端までくると次のシーンの映
像が表示される。また、音声による制御信号SCによっ
て制御コマンドを起動すると、その制御コマンドに応じ
て、他の異なる映像が表示される。
は、操作者OPが基準位置PSに立ったときの3次元仮
想都市の映像FG20が表示されている。画面HG20
の中央には、マーカカーソルCMが表示されている。
が前進した場合の映像FG21、後退した場合の映像F
G22、左へ平行移動した場合の映像FG23、及び右
へ平行移動した場合の映像FG24が表示されている。
面HGの方向に近づいた場合には、マーカカーソルCM
が画面HGの上方に移動する。操作者OPが画面HGか
ら離れた場合には、マーカカーソルCMが画面HGの下
方に移動する。操作者OPが右方向へ移動した場合には
マーカカーソルCMは右方に移動し、操作者OPが左方
向へ移動した場合にはマーカカーソルCMは左方に移動
する。
することにより、マーカカーソルCMの位置を移動させ
ることができる。マーカカーソルCMを任意のオブジェ
クトに合わせ、音声によって制御信号SCを与えると、
そのオブジェクトに割り当てられた制御コマンドが起動
される。
作のための器具を所持したり取り付けたりする必要がな
く、したがって操作者OPの自由な動きを妨げることな
く、操作者OPの動作及び音声を検出し、ディスプレイ
装置12に表示された映像FGを容易に制御することが
できる。したがって、映像FGを見て操作を行っている
操作者OPは自然に感じることができ、臨場感に富んだ
インタラクティブシステム1となる。
赤外線距離センサSEを用いたが、これに代えて、超音
波距離センサを用いてもよい。また、ディスプレイ装置
12に液晶ディスプレイを適用した場合には、検出セン
サ群21を液晶パネルの背面に配置することも可能であ
る。さらに、複数のビデオカメラをディスプレイ装置1
2の上部、左右、基部などの適当な位置に取り付け、そ
れらから得られる複数の画像に基づいてステレオ画像処
理(立体画像処理)を行い、操作者OPの変位方向DR
及び変位量DVを検出してもよい。なお、検出センサ群
21によって操作者OPを検出したが、操作者OP以外
の者、又は物体を検出してもよい。
変位方向DRが右方向R又は左方向Lである場合に映像
を右又は左に平行移動したが、平行移動に代えて回転移
動させてもよい。この場合には、操作者OPが仮想都市
の街路又は建物などを回遊するような感覚となる。な
お、画面HGに表示する映像FGとして、仮想都市内の
他の種々の映像FG、仮想店舗の映像FG、その他の種
々の映像FGを表示することができる。
置12として、プラズマディスプレイ装置、投影式の表
示装置、CRTなどを用いることができ、それらの大き
さは任意である。その他、インタラクティブシステム1
の全体又は各部の構成、処理の内容又は順序、画面HG
に表示される映像FGの内容、マーカ領域EM及びマー
カカーソルCMの形状などは、本発明の主旨に沿って適
宜変更することができる。
操作者の自由な動きを妨げることがなく操作者の動作を
検出し、操作者が自然に感じることのできる臨場感に富
んだインタラクティブシステムを提供することができ
る。
のような映像の中をウオークスルーしながら自然な状態
で映像の制御を行うことができる。請求項4の発明によ
ると、操作者の位置を移動することによりマーカカーソ
ルを制御してオブジェクトを指定することができるの
で、映像の制御が直観的に行えて容易である。
を示すブロック図である。
図である。
図である。
である。
示す図である。
示す図である。
例を示す図である。
の映像の制御の過程を示す図である。
す図である。
Claims (9)
- 【請求項1】入力される制御信号に応じて表示される映
像が変化するように構成されたインタラクティブシステ
ムであって、 前記映像を表示する表示手段と、 前記表示手段の前方に存在する対象物の空間的位置を検
出するための位置検出センサと、 前記位置検出センサの出力に基づいて、前記対象物の空
間的位置の予め定められた基準位置からの変位を検出す
る変位検出手段と、 前記対象物の発する音声を検出するための音声検出セン
サと、 前記音声検出センサにより検出された音声を解析する音
声解析手段と、 前記変位検出手段から出力される変位及び前記音声解析
手段から出力される解析結果に応じて、前記表示手段に
表示される映像の内容を変更するように制御する映像制
御手段と、 を有してなることを特徴とするインタラクティブシステ
ム。 - 【請求項2】前記映像制御手段は、 前記変位検出手段により検出された変位に対応して前記
表示手段に表示された映像中の特定のオブジェクトを指
定し、指定されたオブジェクトに割り当てられた制御コ
マンドを、前記音声解析手段による解析結果に対応して
起動する、 請求項1記載のインタラクティブシステム。 - 【請求項3】前記変位検出手段により検出される変位に
対応して前記表示手段に表示される映像を移動させ、表
示されている映像中のオブジェクトが前記表示手段の表
示領域中に設定されたマーカ領域に入ったときに、前記
特定のオブジェクトを指定する、 請求項2記載のインタラクティブシステム。 - 【請求項4】前記変位検出手段により検出される変位に
対応して前記表示手段に表示されるマーカカーソルを移
動させ、前記マーカカーソルによって、前記表示手段に
表示されている映像の中から前記特定のオブジェクトを
指定する、 請求項2記載のインタラクティブシステム。 - 【請求項5】前記音声解析手段は、前記音声検出センサ
により検出された音声の大きさを解析し、 前記映像制御手段は、前記音声解析手段による解析結果
に基づいて、前記オブジェクトに割り当てられている複
数の制御コマンドの中から選択された制御コマンドを起
動する、 請求項2乃至請求項4のいずれかに記載のインタラクテ
ィブシステム。 - 【請求項6】前記音声解析手段は、前記音声検出センサ
により検出された音声の周波数成分を解析し、 前記映像制御手段は、前記音声解析手段による解析結果
に基づいて、前記オブジェクトに割り当てられている複
数の制御コマンドの中から選択された制御コマンドを起
動する、 請求項2乃至請求項5のいずれかに記載のインタラクテ
ィブシステム。 - 【請求項7】前記音声解析手段は、前記音声検出センサ
により検出された音声の言語的意味を解析し、 前記映像制御手段は、前記音声解析手段による解析結果
に基づいて、前記オブジェクトに割り当てられている複
数の制御コマンドの中から選択された制御コマンドを起
動する、 請求項2乃至請求項6のいずれかに記載のインタラクテ
ィブシステム。 - 【請求項8】前記位置検出センサは、前記表示手段の基
部において、前記映像の表示される画面と平行な方向に
沿って配置された複数の赤外線距離センサである、 請求項1乃至請求項7のいずれかに記載のインタラクテ
ィブシステム。 - 【請求項9】表示手段の前方に存在する対象物の空間的
位置を検出するための位置検出センサの出力に基づい
て、前記対象物の空間的位置の予め定められた基準位置
からの変位を検出する変位検出手段と、 音声検出センサにより検出される前記対象物の発する音
声を解析する音声解析手段と、 前記変位検出手段から出力される変位及び前記音声解析
手段から出力される解析結果に応じて、前記表示手段に
表示される映像の内容を変更するように制御する映像制
御手段と、 をコンピュータ上で実現するためのプログラムを記憶し
たコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15320697A JPH113195A (ja) | 1997-06-11 | 1997-06-11 | インタラクティブシステム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15320697A JPH113195A (ja) | 1997-06-11 | 1997-06-11 | インタラクティブシステム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH113195A true JPH113195A (ja) | 1999-01-06 |
Family
ID=15557373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15320697A Pending JPH113195A (ja) | 1997-06-11 | 1997-06-11 | インタラクティブシステム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH113195A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
JP2008505381A (ja) | 2004-06-29 | 2008-02-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表示装置の汚れを防ぐ方法及び装置 |
WO2010035477A1 (ja) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 |
CN112180377A (zh) * | 2020-09-22 | 2021-01-05 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
-
1997
- 1997-06-11 JP JP15320697A patent/JPH113195A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
JP4537557B2 (ja) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | 情報呈示システム |
JP2008505381A (ja) | 2004-06-29 | 2008-02-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表示装置の汚れを防ぐ方法及び装置 |
WO2010035477A1 (ja) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 |
US8464160B2 (en) | 2008-09-29 | 2013-06-11 | Panasonic Corporation | User interface device, user interface method, and recording medium |
JP5260643B2 (ja) * | 2008-09-29 | 2013-08-14 | パナソニック株式会社 | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 |
CN112180377A (zh) * | 2020-09-22 | 2021-01-05 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
CN112180377B (zh) * | 2020-09-22 | 2023-07-14 | 湖南大学 | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200057506A1 (en) | Systems and Methods for User Generated Content Authoring | |
JP6382261B2 (ja) | 高度なカメラをベースとした入力 | |
KR20140095432A (ko) | 햅틱 디바이스에서의 3차원 릴리프를 위한 마찰 변조 | |
JP2022547775A (ja) | 仮想環境中のプロジェクションキャスティング | |
KR101854613B1 (ko) | 웹페이지 기반의 3차원 인테리어 시뮬레이션 시스템 및 이를 이용한 가상현실 기반의 인테리어 체험 방법 | |
JP7381581B2 (ja) | マシン相互作用 | |
JP2000163178A (ja) | 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体 | |
WO2021044787A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3447610B1 (en) | User readiness for touchless gesture-controlled display systems | |
Pressing | Some perspectives on performed sound and music in virtual environments | |
US6396476B1 (en) | Synthesizing computer input events | |
CN103752010A (zh) | 用于控制设备的增强现实覆盖 | |
JPH113195A (ja) | インタラクティブシステム及び記憶媒体 | |
JP2018005663A (ja) | 情報処理装置、表示システム、プログラム | |
JP3341734B2 (ja) | 映像表示装置 | |
US20170246534A1 (en) | System and Method for Enhanced Immersion Gaming Room | |
KR20190142226A (ko) | 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들 | |
JPH10214344A (ja) | インタラクティブ表示装置 | |
JPH11184620A (ja) | 情報処理装置 | |
KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
JPH1165814A (ja) | インタラクティブシステム及び画像表示方法 | |
WO2014060995A1 (en) | System and apparatus for the interaction between a computer and a disabled user | |
JPH10208075A (ja) | インタラクティブ表示装置 | |
JP2001134362A (ja) | 人形型インタフェース仮想空間ウォークスルーシステム | |
US9872356B1 (en) | Interactive lighting handshake |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060725 |