JPH08101758A - 仮想空間内のデータ操作装置 - Google Patents

Abstract

(57)【要約】 【目的】仮想空間内の物体をより自然に、より簡単に操
作できる仮想空間内のデータ操作装置を提供する。 【構成】位置と向きを操作可能な操作手段150 と、操作
手段150 の位置と向きを検出する検出手段140 と、仮想
的な空間を構成する構成要素のデータを蓄積する蓄積手
段100 と、蓄積されたデータに基づいて上記仮想的な空
間を表示する表示部160 と、操作手段150 の操作に応じ
て、操作手段150 と、表示装置160 上に表示された仮想
的な空間の一構成要素との対応付けを行なうとともに、
この対応付けを前記仮想的な空間の他の構成要素に切り
換える対応付け部110 と、対応付けられた仮想的な空間
の構成要素の相対位置と向きとを、検出手段140 の検出
結果に基づいて制御する制御部120 とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は仮想空間内のデータ操作
装置に関し、特に、例えば遠隔地にある装置やデータを
操作したりその動作をシミュレートしたりする装置や、
仮想的な空間に複数メンバーが参加する通信システム等
の仮想現実を使った様々なシステムに関する。

【０００２】

【従来の技術】仮想現実感あるいは人工現実感と呼ばれ
る技術に様々な方面からの注目が集まっている。この技
術は一般的には、新しい入出力デバイスとコンピュータ
グラフィクスや音場処理などの最新の信号処理技術を用
いて、人間の視覚、聴覚、力覚等の５感に働きかけ、コ
ンピュータが作り出した仮想の空間の中にいるような感
覚を実現しようとするものである。この技術を用いて例
えばロボットの遠隔操作、リアリティを追求するゲー
ム、テレエグジスタンスと呼ばれるＴＶ会議のリアリテ
ィを高めたものなど様々な分野での応用が研究されてい
る（例えば、服部桂、「人工現実感の世界」 工業調査
会 参照）。

【０００３】従来知られている仮想現実感の技術は仮想
現実で現実を覆い隠すために、ヘッドマウントディスプ
レイやデータグローブなど身体に装着するタイプの入出
力機器を使用するものが多い。データグローブは手袋の
関節の曲がり角を測定するための光ファイバと、手の位
置を検出するための磁気センサを手袋につけ、手の動き
や位置をコンピュータに伝えるための装置である。以前
から３次元ＣＡＤ等の入力装置としては３次元のポイン
ティングデバイスがあったが、それと比べて手の位置、
向き、握り具合を入力できるようにし、操作が手での操
作に直接対応しているようにした点で画期的である。ヘ
ッドマウントディスプレイは左右の目に映像を映すカラ
ー液晶ディスプレイなどのディスプレイを配置して視野
角を広くし頭にかぶれるようにしたもので、通常は実空
間の視野は遮断されており、また左右別々の画像を提供
できる事から立体的な表示を行えるようになっている。
これ等が代表的な仮想現実のためのデバイスの現状であ
る。

【０００４】一方、コンピュータはパソコンの価格低下
により一般に普及しつつあり、光ファイバーなどの広帯
域ネットワークの普及により将来ますます身近なものに
なる事が予想されるが、そのための課題としてユーザー
インタフェースが今より格段に分かりやすくなる事があ
げられるだろう。例えば将来の実現の一例として考えら
れる事として、ＣＡＴＶ網を使ったテレショッピングを
実現するためにパソコンを使用するという実現形態が考
えられよう。この場合簡単で分かりやすいユーザーイン
タフェースとしてメニューを整えるなどの方法も考えら
れるが、別の方法として動画像をユーザーインタフェー
スに取り入れるといった事が考えられる。すなわち例え
ばテレショッピングの例で言えば、町のショッピングセ
ンターのような画像が提供されてそのなかを探索するこ
とによって買い物を行う事ができるようなイメージであ
るが、この場合のショッピングセンターはまさに仮想的
な空間である。但し上述した一般的な仮想現実感で行わ
れている実例と異なり、実現手段はＣＡＴＶであるから
表示手段はふつうのＴＶモニターであり、入力手段もで
きればリモコン程度の軽量で安価なものである事が望ま
しい。また逆に、必要以上のリアリティよりはコストパ
フォーマンスが要求される。

【０００５】

【発明が解決しようとする課題】上述したテレショッピ
ングに代表されるような普及型の仮想空間の利用を考慮
して従来技術を見てみる。上述したように従来の仮想現
実感における典型的な入力手段はデータグローブであ
る。通常これとヘッドマウントディスプレイの組み合わ
せにより仮想空間の操作が実現される。例えば仮想空間
にある物体を手でつかむ場合、仮想物体と手の位置関係
は仮想的なものであり知覚できないので、一つの実例と
しては仮想空間内に仮想的な手の画像を合わせて表示す
るという事が行われる。

【０００６】また別の例では、液晶シャッターのついた
眼鏡を使った立体画像と組み合わせ、仮想的な３次元位
置と実空間にある手の位置の一致によりものがつかめる
状態をシミュレートする。しかしこの場合でも仮想物体
は実在しないため手で持った感じが得られず、つかめた
かどうかの確認が難しい。動くかどうかで始めてつかめ
たかどうかが確認できるので、操作に誤りが生じる可能
性がある。これを改善するために手でつかんだときの反
力を再現するための力フィードバック装置を使用する例
もあるが装置が複雑になるという問題点がある。

【０００７】本発明の仮想空間内のデータ操作装置はこ
のような課題に着目してなされたものであり、その目的
とするところは、仮想空間内の物体と実空間内の操作手
段とを対応付けて実空間内の操作手段をあたかも仮想空
間内の物体であるかのように操作するとともに、上記対
応付けを任意に切り換えることによって、仮想空間内の
物体をより自然にかつより簡単に操作できる仮想空間内
のデータ操作装置を提供することにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の仮想空間内のデータ操作装置は、位置と
向きを操作可能な操作手段と、この操作手段の位置と向
きを検出する検出手段と、仮想的な空間を構成する構成
要素のデータを蓄積する蓄積手段と、この蓄積手段に蓄
積されたデータに基づいて上記仮想的な空間を表示する
表示装置と、上記操作手段の操作に応じて、上記操作手
段と、上記表示装置上に表示された仮想的な空間の一構
成要素との対応付けを行なうとともに、この対応付けを
前記仮想的な空間の他の構成要素に切り換える対応付け
手段と、上記対応付けられた仮想的な空間の構成要素の
相対位置と向きとを、上記検出手段の検出結果に基づい
て制御する制御手段とを具備する。

【０００９】

【作用】すなわち、本発明の仮想空間内のデータ操作装
置は、操作手段の位置と向きを検出手段によって検出す
るとともに、蓄積手段によって仮想的な空間を構成する
構成要素のデータを蓄積し、蓄積されたデータに基づい
て上記仮想的な空間を表示装置上に表示する。次に、上
記操作手段の操作に応じて、上記操作手段と、上記表示
装置上に表示された仮想的な空間の一構成要素との対応
付けを行なうとともに、この対応付けを前記仮想的な空
間の他の構成要素に切り換える。そして、上記対応付け
られた仮想的な空間の構成要素の相対位置と向きとを、
上記検出手段の検出結果に基づいて制御するようにす
る。

【００１０】

【実施例】まず、本発明の実施例の概略を説明する。本
実施例における操作手段と、従来の技術で用いられるデ
ータグローブとの一つの違いは、データグローブが手を
仮想的に実現するものであるのに対して、本実施例にお
ける操作手段が仮想物体を仮想的に実現するものである
点にある。すなわち、実際に操作手段を仮想空間内の物
体であるとみなして操作する事により仮想空間内の物体
に対する働きかけを行うものであるため、操作の対象が
現実に存在し操作対象からの反作用が存在する事によっ
てより自然な操作を行う事ができるようになる。もちろ
んこの場合の反作用は操作手段そのものからくるものな
ので、これを得るためによけいな装置を用意する必要も
ない。また、操作手段は目前に存在するものであるか
ら、仮想空間に手の画像を表示するなどして仮想空間の
物体と手の位置関係を表示するなどする必要がなく、こ
の点でも自然である。

【００１１】さらに仮想空間内の物体を投げる、転がす
など手から物体が離れるような働きかけをするときも実
空間に操作手段が存在する事によって自然な取扱いが可
能となる。加えて操作手段の操作は仮想空間内の物体が
仮に実空間にあったとしたときの操作と全く同じである
から、その操作は非常に簡単で違和感の無いものにでき
る。

【００１２】すなわち、図１において、利用者は表示部
160 で表示されている仮想空間としての3 次元空間の映
像を見ながら、操作手段150 を動かし映像の中から希望
の構成要素を指定する。映像中の構成要素にはそれぞ
れ、蓄積部100 に蓄積された形状や模様などを表すパラ
メータから成る3 次元データ101 があり、構成要素ごと
の3 次元データを組み合わせ、合成することによって3
次元空間の映像が得られる。対応付け部110 では、使用
者が操作手段150 を動かすことによって指定した3 次元
空間中の構成要素を操作手段150 自身と対応させる。こ
れによって利用者は操作手段150 と指定した構成要素が
一体化したものとして扱える。指定された構成要素の3
次元データは対応する構成要素データ102 として制御部
120 に送られ、その他の構成要素データ103 は合成部16
0 に送られる。制御部120 では、指定された構成要素の
3 次元空間の映像における相対位置と向きが、利用者の
操作手段150 自身の相対位置や向きと一致するように、
操作手段150 より得られた検出結果104 に基づき、対応
する構成要素データ102 を加工する。

【００１３】より具体的に述べると操作手段150 を移
動、回転させると、その座標や向きが検出結果として得
られ、これに応じて、指定された構成要素が3 次元空間
の映像中で移動、回転するように構成要素データ102 を
加工する。加工済みデータ105は合成部130 に入力さ
れ、その他の構成要素データ103 と合成され、合成デー
タ106 として出力され、表示部160 で3 次元空間の映像
として利用者に提供される。

【００１４】以下に、本発明の実施例を説明する。図１
は本発明に係る一実施例の構成を示すブロック図であ
る。図で利用者は表示部160 で表示されている３次元空
間の映像108 を見ながら、操作手段150 を操作し、映像
の中に示された仮想空間データに対して働きかけを行な
う。同図で、操作手段150 、検出手段140 によって位
置、方向が検出される動作原理については後述する実施
例で説明するのでここでの説明は省略するが、操作手段
150 には例えば指示用のボタンが装着されていて、その
信号が対応付け部110 に入力されることを想定してい
る。

【００１５】また、検出手段140 から制御部120 に送ら
れるデータ104 は、３次元空間に対応した位置及び回転
角を規定するのに必要なパラメータであり、例えば、３
次元空間における３点の位置座標もしくは１点の位置座
標とその点を通る３軸の周りの回転角等である。３次元
データ蓄積部１００には、映像中の構成要素に対応する
形状や模様などを表すパラメータからなる３次元データ
101 が蓄積されている。具体的には形状パラメータとし
ては曲面を構成する関数や曲面を３角形のパッチの集合
で近似したワイヤフレームモデルを構成するための各パ
ッチ頂点の座標などであり、模様のパラメータとしては
テクスチャマッピングのための模様のデータやそれを生
成するための関数あるいは色、輝度のデータ等である。
３次元仮想空間画像は各要素のモデルに位置計算、変
形、移動の計算、輝度計算を行った後、合成することに
より作成される。

【００１６】仮想空間内ではユーザーのボタン操作によ
りユーザーと仮想空間全体との相対位置を変化させるこ
とができる。これはユーザーから見ると仮想空間内の移
動という感覚に対応する。移動とは別にユーザーは操作
手段を動かすことにより、対応する画面内のカーソル
（属性として位置と方向を持つ）を操作することができ
る。カーソルも仮想空間内の座標位置を占めており、検
出手段140 からの検出結果データ104 は対応付け部110
にも送られ、カーソルと仮想空間内の構成要素との位置
関係は常に判定されている。ここで、カーソルとある構
成要素が接触した状態で、操作手段150 からのボタン操
作による制御情報109 の入力があったとき、対応付け部
110 はユーザーがその構成要素を指定したと解釈し、以
降、操作手段の動きを指定された構成要素の動きでシミ
ュレートするように動作する。

【００１７】すなわち、まず、指定された構成要素の３
次元データは、対応する構成要素データ102 として制御
部120 に送られ、その他の構成要素データ103 は合成部
130に送られる。制御部120 では、適用な縮小比率をか
けることによって、指定された構成要素の３次元空間の
映像における相対位置と向きが、利用者の操作手段150
自身の相対位置や向きと一致するように、前述した画像
形成時の計算において操作手段150 より得られた検出結
果104 を利用することにより、対応する構成要素の画像
データ105 を作成する。合成部130 では、まずその他の
構成要素データ103 よりその他の構成要素に対応する画
像が生成される。この計算は静止画像の作成のみであ
り、それほどの計算量は必要とされない。次に、指定さ
れた構成要素の画像データ105 をその他の構成要素デー
タ103 と合成し、合成画像データ106 として出力する。
この画像が表示部160 で３次元空間の映像108 として利
用者に提供される。

【００１８】構成要素の指定はこのモードにおいて操作
手段150 から対応付け部110 へのボタン操作による制御
信号の入力で解除される。通常の移動のモードにおいて
は、全ての構成要素のデータがデータ102 として制御部
120 に送られ、ここで前述した移動に伴う変形計算が行
われ、画像105 が作成される。この場合、この画像は合
成部130 を通過して表示部160 に出力される。

【００１９】次に、具体的な使用例として、本発明を仮
想空間を用いたテレショッピングに応用した実施例につ
いて説明する。図１に対応した具体的な使用環境のイメ
ージを図２に示す。図で１００１は操作手段と検出手段
を兼ねており、さらにＴＶのリモコンも兼ねている。１
００２はＴＶのモニタであり表示装置として動作してい
る。１００３はＣＡＴＶのアダプタ（実態は計算機）で
あり、３次元データの作成管理、制御、指定領域との対
応付けなどを実行している。アダプタにはメモリ装置を
含みそこに３次元データ作成のための元データが格納さ
れている。データの一部やデータを制御するための情報
の一部は回線を通してＣＡＴＶセンターからくるように
しても良い。リモコン１００１とアダプタ１００３は例
えば赤外線によって検出結果のパラメータなど必要なデ
ータ交換を行い、ＴＶモニタ１００２にも必要に応じて
データを転送する。

【００２０】次に具体的な動作例につき説明する。ここ
で想定しているのは前述したように仮想的なショッピン
グセンターのなかを探索することによって買い物を行う
事ができるようなイメージである。このために必要な動
作としては以下のようなものがあげられる。 （１）移動する （２）もの（あるいは場所）を探す （３）ものを指す （４）ものを手にとってみる＝掴む＋動かす＋離す （５）店員を呼ぶ これらの動作がどのように実現されるかの一例を示す。
図３はスタートしてからの状態遷移図である。スタート
後、まず２つのモードのいずれかを選択する。１つはセ
ンター全体の見取り図から徐々に狭い範囲に限定して所
望の店を特定するためのアクセスモードである。もう１
つはセンターの入り口から順次移動しながら買いたいも
のを探すショッピングモードである。アクセスモードで
は見取り図は例えばセンター＝フロア＝店＝売り場とい
う具合に階層的に構成されており、カーソルの移動とス
イッチにより場所を指定しながら順次（あるいは途中を
スキップして）下位階層に進み、最終的に所望の売り場
まで到達する事ができる（図４）。見取り図を用いた検
索を行う事で、買いたいものがはっきりしている場合に
は検索にかかる時間を大幅に短縮する事ができるという
効果がある。

【００２１】次にショッピングモードにおける動作を図
５を用いて説明する。ショッピングモードではまず仮想
空間内を移動して買いたいものを探す。移動は例えばリ
モコンの「アクセル」ボタンと「ブレーキ」ボタンを操
作する事で行う。進行方向はリモコンの向きで制御す
る。画面には方向を示すカーソルが仮想空間のデータと
多重して表示される（ａ）。商品を見つけたらカーソル
とその商品が接触した状態（仮想空間は３次元なのでカ
ーソルと仮想空間内の商品が接触した状態とそうでない
状態は区別される）にすると商品をつかむ事ができる状
態になる（ｂ）。カーソルと商品が接触しているかどう
かを分かりやすくするために、接触するとカーソルの輝
度が上がるなど何らかの変化が画面上に現れるようにす
るとよい。

【００２２】この状態で「掴む」ボタンを押すと商品を
動かす事ができるモードになる。このモードでは商品の
動きはユーザーがリモコンを動かしたのと全く同じ動き
となる点が本実施例の特徴である（ｃ）。すなわちリモ
コンをあたかもその商品であるかのように動かす事によ
って画面にはその商品と同じ動きが再現される。ユーザ
ーはこのことによって３６０度好きな角度からその商品
を見て判断を下す事ができる。この状態から「離す」の
ボタンを押すと動かすモードが解除されさらに接触した
状態を解除すると元の移動のモードになる。ここでボタ
ン操作は各モードに固有であり機能的に重複しないの
で、モードごとに共用すればボタンの数は必要最低限の
数に抑える事ができる。アクセスモードとショッピング
モードとの間の遷移は任意のタイミングで任意の階層か
ら行う事ができる。

【００２３】以上により上述した必要動作のうち（１）
から（４）までがサポートされる。図１との対応で言う
と、カーソルと商品の接触を計算して判定しボタン操作
により商品の指定及びその解除を行う部分が図１の対応
付け部１１０に対応する事になる。

【００２４】次に（５）の機能について説明する。
（５）の機能としては例えば仮想空間に店員を配置して
店員のデータへのアクセスは商品とは違った意味をもた
せる事で対応する。図６にその様子を示す。この例で
は、カーソルと店員が接触した状態（ａ）になると、商
品の説明を求めるモードになる。このモードで再度商品
に接触させ（ｂ）ボタンを押すと、その商品の説明のビ
デオ画面に切り替わり（ｃ）、終了すると自動的に元の
移動するモードに戻る。商品の説明モードにおいてまた
別のボタンを押すと自動的にＴＶ電話を発呼して実際の
商品発送センターにつなぐ（ｄ）ようにすれば、必要に
応じてより詳しい商品説明やアドバイスを得る事ができ
有益である。このような事はＣＡＴＶの回線にＴＶ電話
用の上り回線が設定されていれば可能である。

【００２５】図７はこの動作を可能とするための装置の
ブロック図である。図７で図１の実施例と対応するブロ
ックの動作は図１の場合と同様である。但し対応付け部
１１１０は３次元データのうち店員のデータに関連する
操作のみを特殊に扱う。図３で示されたＴＶ電話１１５
０の自動発呼に対応するフローを通る場合、すなわち店
員とカーソルとの接触が検出された後ボタン操作による
制御信号が来た場合、対応付け部１１１０は切り替え回
路１１４０及びＴＶ電話１１５０に制御信号を送る。切
り替え回路１１４０は通常表示部１１３０に制御部１１
２０で作成された仮想空間の画像（及び音声）を出力し
ているが制御信号によりＴＶ電話１１５０からの画像及
び音声１１０７に切り替える。ＴＶ電話１１５０は制御
信号により自動的にあらかじめ決められた番号に対して
発呼する。ＴＶ電話１１５０の通話が終わったら通話終
了を知らせる制御信号１１０８により切り替え回路１１
４０は再び制御部１１２０で作成された仮想空間の画像
（及び音声）側に切り換えられる。

【００２６】次に、３次元的な位置と向きを操作する事
ができる操作手段と、操作手段の位置と向きを検出する
検出手段との具体的な例として、超音波を利用した実施
例を２つ示す。

【００２７】まず、超音波を利用した第１の構成例につ
いて説明する。図８に示す操作手段は、超音波パルス発
生装置２００１と超音波出力装置２００２および２００
３より構成される。超音波パルス発生装置２００１は、
異なる周波数 f および f'(f<f') のパルス信号を一
定の間隔 T をおいて断続的に出力する。超音波出力装
置２００２は周波数 f のパルス信号を超音波として出
力する。同様に超音波出力装置２００３は周波数 f' の
パルス信号を超音波として出力する。次に、図９に示す
検出手段は、超音波検出装置２００４・２００５・２０
０６、低域通過フィルタ（ＬＰＦ）２００７・２００９
・２０１１、高域通過フィルタ（ＨＰＦ）２００８・２
０１０・２０１２、時刻検出装置２０１３、位置演算装
置２０１４より構成される。超音波検出装置２００４・
２００５・２００６は、超音波を電気信号に変換する。
低域通過フィルタ２００７・２００９・２０１１は、カ
ットオフ周波数 fc (f<fc<f') の低域通過フィルタであ
り、入力信号の中から周波数 fの信号のみを取り出す。
高域通過フィルタ２００８・２０１０・２０１２は、カ
ットオフ周波数 fc の高域通過フィルタであり、入力信
号の中から周波数 f' の信号のみを取り出す。時刻検出
装置２０１３は、超音波検出装置２００４で周波数 f
および f' の超音波パルスが検出された時刻 t1 および
t1'と超音波検出装置２００５で周波数 f および f'
の超音波パルスが検出された時刻 t2 および t2' と超
音波検出装置２００６で周波数 f および f' の超音波
パルスが検出された時刻 t3 および t3' とを検出す
る。位置演算装置２０１４は、周波数 f および f' の
超音波パルスが出力された３次元空間内の位置P(x,y,z)
および P'(x',y',z') を計算する。

【００２８】ここで、図８に示されているように超音波
出力装置２００２および２００３は、操作手段の両端に
取り付けられており、それらの間の距離を l であると
する。また、図９に示す超音波検出装置２００４・２０
０５・２００６の３次元空間内の座標をそれぞれ A1(x
1,y1,z1), A2(x2,y2,z2), A3(x3,y3,z3) とし、これら
は一直線上にはないものとする。このとき、超音波出力
装置２００２および２００３の３次元空間内の座標P(x,
y,z), P'(x',y',z') と超音波出力装置２００２および
２００３から超音波パルスが出力された時刻 t の間に
は次の関係が成り立つ。

【００２９】

【数１】 ただし v は超音波の速度である。位置演算装置２０１
４で、これらの式を連立方程式として解くことによっ
て、操作手段の上端および下端の３次元空間内の座標が
得られる。ここで、点 P(x,y,z) , P'(x',y',z') がこ
の方程式の解であるとするならば、点 A1(x1,y1,z1), A
2(x2,y2,z2), A3(x3,y3,z3) が張る平面に対して点 P
(x,y,z), P'(x',y',z') と対称な位置にある点もまた明
らかにこの方程式の解である。しかしながら、例えば超
音波検出装置２００４・２００５・２００６を図１０の
ように地面に接するように配置するならば、点 A1(x1,y
1,0),A2(x2,y2,0),A3(x3,y3,0) が張る平面は地面と等
しくなり、点 P(x,y,z), P'(x',y',z') の存在する範囲
は z>0,z'>0 となるため解は一意に決定される。上で述
べた操作手段と検出手段の時間的な解像度は、超音波パ
ルス発生装置２００１から出力されるパルス信号の間隔
T によって決定される。正しく位置と姿勢が検出され
るためには時刻 t のパルスと時刻 t+T のパルスが区
別されなければならない。そのためには T は次式を満
たせばよい。

【００３０】

【数２】 例えば超音波検出装置２００４・２００５・２００６の
間隔を3m以下とするならば上式の左辺はたかだか0.01秒
以下となり T は0.03秒程度とすれば十分である。よっ
てこの場合、毎秒30回程度の位置と姿勢の検出が可能で
ある。また、気温の変化による音速 v の変動などによ
って、実際の位置と検出された位置との間に誤差が生ず
る場合が考えられる。しかしながらその場合でも、実際
の操作手段の運動（移動および回転）と検出された操作
手段の運動の対応関係が正しく保たれるため実用上は問
題がない。

【００３１】以上のように、操作手段の上端および下端
の３次元的な位置を検出することができるため、予め操
作手段の上端および下端と仮想空間内の物体上の２点と
の対応を指定しておくことにより、仮想空間内の物体の
位置と姿勢を希望通りに制御することが可能である。

【００３２】次に、超音波を利用した第２の構成例につ
いて説明する。図１１に示す操作手段は、超音波パルス
発生装置２０１５と超音波出力装置２０１６・２０１７
・２０１８より構成される。超音波パルス発生装置２０
１５は、異なる周波数 f, f', f'' (f<f'<f'') のパル
ス信号を一定の間隔 T をおいて断続的に出力する。超
音波出力装置２０１６は周波数 f のパルス信号を超音
波として出力する。同様に超音波出力装置２０１７およ
び２０１８はそれぞれ周波数f' および f''のパルス信
号を超音波として出力する。次に、図１２に示す検出手
段は、超音波検出装置２０１９・２０２０・２０２１、
低域通過フィルタ２０２２・２０２５・２０２８、帯域
通過フィルタ２０２３・２０２６・２０２９、高域通過
フィルタ２０２４・２０２７・２０３０、時刻検出装置
２０３１、位置演算装置２０３２より構成される。

【００３３】超音波検出装置２０１９・２０２０・２０
２１は、超音波を電気信号に変換する。低域通過フィル
タ２０２２・２０２５・２０２８、は、カットオフ周波
数fc1 (f<fc1<f') の低域通過フィルタであり、入力信
号の中から周波数 f の信号のみを取り出す。帯域通過
フィルタ２０２３・２０２６・２０２９は、カットオフ
周波数 fc1 および fc2 (f'<fc2<f'') の帯域通過フィ
ルタであり、入力信号の中から周波数 f' の信号のみを
取り出す。高域通過フィルタ２０２４・２０２７・２０
３０は、カットオフ周波数 fc2 の高域通過フィルタで
あり、入力信号の中から周波数 f'' の信号のみを取り
出す。時刻検出装置２０３１は、超音波検出装置２０１
９で周波数 f, f', f'' の超音波パルスが検出された時
刻 t1,t1', t1'' と超音波検出装置２０２０で周波数
f, f',f''の超音波パルスが検出された時刻 t2, t2', t
2'' と超音波検出装置２０２１で周波数 f, f', f''の
超音波パルスが検出された時刻 t3, t3', t3'' とを検
出する。位置演算装置２０３２は、周波数 f, f', f''
の超音波パルスが出力された３次元空間内の位置 P(x,
y,z), P'(x',y',z'), P''(x'',y'',z'') を計算する。

【００３４】ここで、図１３に示されているように超音
波出力装置２０１６・２０１７・２０１８は、操作手段
上の一直線上にない３点 P, P', P'' に取り付けられて
おり、 PP' 間の距離を l1 、 PP'' 間の距離を l2 で
あるとする。また、超音波検出装置２０１９・２０２０
・２０２１の３次元空間内の座標をそれぞれ A1(x1,y1,
z1), A2(x2,y2,z2), A3(x3,y3,z3) とし、これらは一直
線上にはないものとする。このとき、超音波出力装置２
０１６・２０１７・２０１８、３次元空間内の座標 P
(x,y,z) , P'(x',y',z') , P''(x'',y'',z'') と超
音波出力装置２０１６・２０１７・２０１８から超音波
パルスが出力された時刻 t の間には次の関係が成り立
つ。

【００３５】

【数３】 ただし v は超音波の速度である。位置演算装置２０３
２で、式(10)から式(19)を連立方程式として解くことに
よって、操作手段上の３点の３次元空間内の座標が得ら
れる。ここで、点 P(x,y,z), P'(x',y',z'), P''(x'',y
'',z'') がこの方程式の解であるとするならば、点 A1
(x1,y1,z1), A2(x2,y2,z2), A3(x3,y3,z3) が張る平面
に対して点 P(x,y,z), P'(x',y',z'), P''(x'',y'',z'
') と対称な位置にある点もまた明らかにこの方程式の
解である。しかしながら、例えば超音波検出装置２０１
９・２０２０・２０２１を図１３のように地面に接する
ように配置するならば、点 A1(x1,y1,0), A2(x2,y2,0),
A3(x3,y3,0) が張る平面は地面と等しくなり、点 P
(x,y,z), P'(x',y',z'), P''(x'',y'',z'') の存在する
範囲は z>0,z'>0,z''>0 となるため解は一意に決定され
る。

【００３６】上で述べた操作手段と検出手段の時間的な
解像度は、超音波パルス発生装置２０１５から出力され
るパルス信号の間隔 T によって決定される。正しく位
置と姿勢が検出されるためには時刻 t のパルスと時刻
t+T のパルスが区別されなければならない。そのため
には T は次式を満たせばよい。

【００３７】

【数４】 例えば超音波検出装置２０１９・２０２０・２０２１の
間隔を3m以下とするならば上式の左辺はたかだか0.01秒
以下となり T は0.03秒程度とすれば十分である。よっ
てこの場合、毎秒30回程度の位置と姿勢の検出が可能で
ある。

【００３８】また、気温の変化による音速 v の変動な
どによって、実際の位置と検出された位置との間に誤差
が生ずる場合が考えられる。しかしながらその場合で
も、実際の操作手段の運動（移動および回転）と検出さ
れた操作手段の運動の対応関係が正しく保たれるため実
用上は問題がない。あるいは、さらに高精度な位置およ
び姿勢の検出が必要である場合には、音速 v を未知数
とし式(1) から式(3) を連立方程式として解くことによ
り音速 v の変動の影響を取り除くことも可能である。

【００３９】以上のように、操作手段の３点の３次元的
な位置を検出することができるため、どのように操作手
段上の３点と仮想空間内の物体上の３点とを対応づけて
も、仮想空間内の物体の位置と姿勢を任意に制御するこ
とが可能である。

【００４０】次に、３次元的な位置と向きを操作する事
ができる操作手段と上記操作手段の位置と向きを検出す
る検出手段において、操作手段の内部に検出手段を持つ
ように構成した場合の実施例を示す。

【００４１】図14は、本実施例の構成を示した図であ
る。操作手段3101は映像入力手段3102と相対位置・向き
検出手段3103と送受信手段3104とから構成されている。
映像入力手段3101によって入力された映像信号は、相対
位置・向き検出手段3102に入力される。相対位置・向き
検出手段3102では、入力された映像信号をもとに1 フレ
ーム前の映像信号との動きベクトルと回転角を検出し、
検出された相対位置・向き情報（ΔX,ΔY,ΔZ,ΔθX,Δ
θY,ΔθZ ）は、送信手段3104に送られる。送信手段31
04は、操作手段の相対的な位置と向きを表す相対位置・
向き情報（ΔX,ΔY,ΔZ,ΔθX,ΔθY,ΔθZ ）を仮想的
な空間の構成要素の位置と向きを制御する制御手段に送
信する。

【００４２】図15は、映像入力手段3102の構成図であ
る。映像入力手段3201は、ミラー3202と撮像回路3203と
A/D 変換回路3204から構成されている。

【００４３】ミラーは、x,y,z 軸の3 方向の映像を取り
込めるように図16のように構成されており、図16の手前
に撮像回路3203を装着する。

【００４４】図17は、相対位置・向き検出手段3103の構
成図である。相対位置・向き検出手段3401は、フレーム
メモリ3402とブロック化回路3403と動きベクトル検出回
路3404とフレームメモリ3405から構成されている。

【００４５】映像入力手段より送られてきた映像入力信
号は、一度フレームメモリ3402に書き込まれる。ブロッ
ク化回路3403で図18で示すように各軸の映像フレームの
中心付近のm ×n 画素の映像信号をブロック化し、動き
ベクトル検出回路3404では、m ×n ブロックを以下の
（２３）式によってアフィン変換したものと、フレーム
メモリ3405上の1 フレーム前の映像信号とのブロックマ
ッチングをとる。マッチングの時、該当する画素が存在
しない場合は、フレームメモリ3405上の1 フレーム前の
映像信号を以下の（２４）式で示す共1 次内挿をおこな
い、画素値を生成する。マッチングの結果、ブロック内
の画素値の差分の絶対値和、あるいは画素の差分の2 乗
和が最も小さい動きベクトルと回転角（Δt1, Δt2, Δ
θ）を平面の動きベクトル及び回転角とし、 y-z 平面の動きベクトル・回転角（Δx1, Δx2, Δθx3） z-x 平面の動きベクトル・回転角（Δy1, Δy2, Δθy3） x-y 平面の動きベクトル・回転角（Δz1, Δz2, Δθz3） を求める。

【００４６】この動きベクトルと回転角より、操作手段
の相対位置・向き情報（ΔX,ΔY,ΔZ,ΔθX,ΔθY,Δθ
Z,）を（２５）式で計算する。

【００４７】

【数５】

【００４８】

【数６】

【００４９】

【数７】 フレームメモリ3405には、相対位置向き情報を検出した
後にフレームメモリ3402の映像入力信号を書き込む。

【００５０】本実施例では、現在の映像入力信号のブロ
ックをアフィン変換したが、1 フレーム前の映像信号の
方をアフィン変換しブロックマッチングする方法もあ
る。また、本実施例でのブロックマッチングの方法とし
ては、とりうるパラメータを全て考えて全探索を行う場
合、演算量が多くなる。そこで、演算量の削減方法とし
ては、パラメータの値（c1,c2,Δt1, Δt2, Δθ）をあ
らかじめ限定し、内挿の演算精度を落とす方法や、m ×
n ブロックを更に小さなブロックに細分化し、そのいく
つかの小さなブロックから、1990年信学秋季全大D-224
で示されるような手法で、上記した（２３）式のパラメ
ータを推定する方法がある。

【００５１】図19は、本実施例の変形として、回転角
（ΔθX,ΔθY,ΔθZ ）については、ジャイロを用いて
求める相対位置・向き検出手段3501の構成を示した図で
ある。相対位置・向き検出手段3501は、フレームメモリ
3502とブロック化回路3503と動きベクトル検出回路3504
とジャイロ回路3505とフレームメモリ3506より構成させ
ている。相対位置・向き検出手段3401との違いは、回転
角（ΔθX,ΔθY,ΔθZ）については、ジャイロ回路340
5で予め検出し、その値をもとに上記した（２３）式に
従って、動きベクトル検出回路3504では、動きベクトル
（Δt1, Δt2）のみを検出し、各平面の動きベクトル y-z 平面の動きベクトル（Δx1, Δx2） z-x 平面の動きベクトル（Δy1, Δy2） x-y 平面の動きベクトル（Δz1, Δz2） を求め、以下の（２６）式で（ΔX,ΔY,ΔZ ）を計算す
る点である。

【００５２】

【数８】 ジャイロ回路3505において、x 軸,y軸,z軸の3 つのジャ
イロを備え、それから得られる各軸の角速度（ωX,ωY,
ωZ ）を映像入力信号のフレーム単位時間で積分し、各
軸の回転角（ΔθX,ΔθY,ΔθZ ）を計算し、結果を動
きベクトル検出回路に送る。その他の動作については、
相対位置・向き検出手段3401と同じである。

【００５３】本実施例の操作手段の特徴は、操作手段の
内部に位置と向きの検出手段をもち、操作手段の外部に
特別な装置を必要とせずに正確な位置と向きを検出する
ことができる点である。

【００５４】次に、前記した実施例において、仮想的な
空間を構成するデータ部のところを、さらにリアリティ
に関して階層的構造を有するデータ構造とした場合の実
施例を図面を参照して説明する。

【００５５】前記操作手段と対応づけられた構成要素を
よりリアルに見たい（表示したい）場合に、仮想空間を
構成するデータを、全て自然画像信号あるいは自然画像
信号を高能率符号化したデータとすると、データ量が膨
大となるため、データベースに蓄積することが困難とな
る。さらに、蓄積のコストおよび、リアリティの高い自
然画像を生成するためのコストを考慮すると、仮想空間
内において前記操作手段と対応づける構成要素以外の構
成要素のリアリティを高める必然性がない場合も有り得
る。あるいは、所望の構成要素を検索するまで、リアリ
ティの高い自然画像を表示する必然性もない場合もあ
る。

【００５６】そこで、仮想空間を構成するデータを、リ
アリティを犠牲にすることで、コンピュータグラフィッ
クス（ＣＧ）のデータとして、効率よくデータベースに
蓄積し、さらに操作手段と対応づける構成要素のみ、自
然画像データとしても表示できるようにするデータを蓄
積することで、仮想的な空間を構成するデータの蓄積効
率を向上させる。

【００５７】図２０は、本発明の別の実施例を説明する
図である。図２０（ａ）は、テクスチャマッピングを利
用した、第１の実現法である。

【００５８】ＣＧモデルデータベース５０００には、仮
想空間内の構成要素の形状を表すデータが蓄積されてい
る。テクスチャデータベース５０１０には、前記操作手
段と対応づけられる仮想空間内の構成要素のテクスチャ
データが蓄積されている。テクスチャデータとしては、
該構成要素を複数の方向から撮影した自然画像信号ある
いは、この自然画像信号を高能率符号化したデータが蓄
積されている。デコーダ５０２０では、テクスチャデー
タベース５０１０に高能率符号化されたデータが蓄積さ
れている場合には、これをデコードして出力する。ま
た、テクスチャデータベース５０１０に画像信号そのも
のが蓄積されている場合には、そのまま出力する。

【００５９】テクスチャマッピング装置５０３０では、
切り換え装置５０４０においてデコーダ５０２０の出力
が選択された場合には、ＣＧモデルにテクスチャをマッ
ピングして疑似的な自然画像を生成し、表示装置５０５
０に供給する。また、切り換え装置５０４０においてデ
コーダ５０２０の出力が選択されなかった場合には、Ｃ
Ｇの構造モデル画像（例えば、ワイヤフレーム画像）を
表示装置５０５０に供給する。

【００６０】切り換え装置５０４０は、前記操作手段に
より制御されるものである。例えば、操作手段と仮想空
間内の構成要素を対応づける信号を検出した際に、デコ
ーダ５０２０の出力側にスイッチ（ＳＷ）を切り換えれ
ばよい。あるいは、仮想空間内の構成要素に操作手段を
近づけることにより、デコーダ５０２０の出力側にスイ
ッチ（ＳＷ）を切り換えてもよい。

【００６１】図２０（ｂ）は、第２の実現法である。Ｃ
Ｇデータベース５１００には、仮想空間内の構成要素の
ＣＧ画像データを生成するために必要なデータが蓄積さ
れている。即ち、ＣＧモデルデータベース５０００は、
このＣＧデータベースに含まれる。ＣＧ画像生成装置５
１１０では、ＣＧデータベース５１００より供給される
ＣＧデータからＣＧ画像信号を生成し、切り換え装置５
１４０に供給する。

【００６２】自然画像データベース５１２０には、前記
操作手段と対応づけられる仮想空間内の構成要素の自然
画像信号あるいは、自然画像を高能率符号化したデータ
が蓄積されている。デコーダ５１３０では、自然画像デ
ータベース５１２０において高能率符号化されたデータ
が蓄積されている場合には、このデータをデコードして
自然画像信号を出力する。また、自然画像データベース
５１２０に、自然画像信号そのものが蓄積されている場
合には、そのまま出力する。

【００６３】切り換え装置５１４０では、ＣＧ画像生成
装置５１１０の出力あるいは、デコーダ５１３０の出力
を選択し、表示装置５１５０に画像を供給する。切り換
え装置５１４０は、前記操作手段により制御されるもの
である。例えば、操作手段と仮想空間内の構成要素を対
応づける信号を検出した際に、デコーダ５１３０の出力
側にスイッチ（ＳＷ）を切り換えればよい。

【００６４】図２０（ｃ）は、第３の実現法である。Ｃ
Ｇデータベース５２００には、仮想空間内の構成要素の
ＣＧ画像データを生成するために必要なデータが蓄積さ
れている。即ち、ＣＧモデルデータベース５０００は、
このＣＧデータベースに含まれる。ＣＧ画像生成装置５
２１０では、ＣＧデータベース５２００より供給される
ＣＧデータからＣＧ画像信号を生成し、加算回路５２５
０に供給する。

【００６５】自然画像データベース５２２０には、前記
操作手段と対応づけられる仮想空間内の構成要素の自然
画像信号からＣＧ画像信号を減じた差分信号を高能率符
号化したデータが蓄積されている。デコーダ５２３０で
は、自然画像データベース５２２０より供給される、高
能率符号化されたデータをデコードして、差分信号を出
力する。

【００６６】切り換え装置５２４０は、前記操作手段に
より制御されるものである。例えば、操作手段と仮想空
間内の構成要素を対応づける際に、デコーダ５２３０の
出力側にスイッチ（ＳＷ）を切り換えればよい。加算回
路５２５０では、切り換え装置５２４０においてデコー
ダ５２３０の出力が選択された場合には、ＣＧ画像生成
装置５２１０の出力に差分信号加えることにより自然画
像を生成し表示装置５２６０に供給する。また、切り換
え装置５２４０においてデコーダ５２３０の出力が選択
されない場合には、ＣＧ画像生成装置５２１０の出力を
表示装置５２６０に供給する。

【００６７】本実施例によると、仮想空間のデータ構造
をリアリティに関して階層的構造を有するデータ構造と
することにより、仮想的な空間を構成するデータの蓄積
量を大幅に増加させずに、仮想空間内の所望の構成要素
のリアリティを高くすることができる。

【００６８】次に、上記制御手段において、上記対応を
決定する手段によって上記操作手段と一構成要素を対応
づけた結果を入力するところを、音声を入力とする音声
認識手段と、上記音声認識手段から音声認識した結果を
入力とし、上記操作手段と上位仮想的な空間内の一構成
要素との対応付けを補正する補正手段と、上記補正手段
から出力される補正された結果を入力とした場合の実施
例を次に説明する。

【００６９】図21はこの実施例の構成を表すブロック図
である。音声6211は音声認識手段6201によって認識さ
れ、認識結果6212と操作手段と構成要素と対応づけるデ
ータ6102が補正部6202に入力される。補正部6202は対応
づけるデータ6102を音声認識結果6212によって補正し、
補正された対応付けのデータ6213を出力する。この補正
された対応付けのデータ6213と上記検出結果6104が制御
部6120に入力される。

【００７０】制御部6120では上記検出結果6104と、上記
補正された対応付けのデータ6213に基づいて仮想的な空
間の構成要素を制御し、制御した結果6105が表示部6130
に入力される。ユーザーは表示部6160で表示されている
3 次元空間の映像6108を見ながら、操作手段6150への働
きかけと、音声6211の発呼を行う。音声6211はマイクか
ら信号として入力し、入力された音声信号と、上記仮想
現実の構成要素と対応づけるデータ6102を用いて解析す
る。例えば、音声認識部6201では、音声信号は母音と子
音に分解して文章化し、意味を認識するような知的処理
を行う。操作は操作したい構成要素や状況によって特定
されており、特定された構成要素や状況によって働きか
ける操作が限定できる。従って、音声入力される操作も
限定されるので、知的な処理が行い易くなる。また、構
成要素毎に、予め行える操作の音声信号形状のデータを
用意し、入力信号からテーブル・ルックアップで操作を
決定しても良い。補正部6202では、操作手段によって検
出された結果6102に音声入力の結果6212を書き加えて所
望の操作に対応するデータ6213を作る。

【００７１】得られた上記検出結果と音声入力結果によ
って制御する例を以下に述べる。仮想空間に複数の構成
要素が存在する場合について述べる。例えば、非常に多
くの構成要素から最も後ろの構成要素や、重なり合って
特定しにくい構成要素を音声入力と上記操作手段の双方
で特定する。複数の構成要素の代表的なものを操作手段
によって特定した後、音声によって、「後ろ」や「右４
つめ」というように入力する。同様に、別の構成要素の
操作に切り換える補足手段としても、使用することがで
きる。

【００７２】また、共通の特徴を持つ複数の構成要素を
同時に操作する場合、これらの構成要素がバラバラに存
在していても、始めに特徴を音声で入力して統括して特
定し、その後、これらの構成要素全てに対して上記操作
手段による操作を行う。更に操作したい構成要素が誤っ
て検出された場合、音声入力で即座に訂正する。従っ
て、一つの構成要素を特定した状況から、この例で、入
力される操作は、真に特定したい構成要素との相対位置
と、特定されている構成要素の一特徴に限定する事がで
きる。この音声による操作は他の補足的な操作方法を加
えるより容易である。 また、操作したい構成要素が人
物の場合の例について述べる。人物への呼びかけ、会
話、移動を促す時に音声入力を使う。他の操作方法より
自然で、コミュニケーションの面からも必要である。仮
想空間を使ったコミュニケーションシステムの場合に特
に有効である。

【００７３】以下に、仮想空間内の構成要素の操作に、
位置や向き以上の複雑な操作を加える場合の例について
述べる。構成要素と操作手段の物質的構造が異なる場合
に、構成要素を折り曲げたり、半分に割ったり、構成要
素の中身を見たり、臭いをかいだり、一部を操作した
り、という操作を行うには、新たな操作方法を加える必
要がある。この場合、音声による操作方法を加えれば、
他の操作方法を加えるより容易に操作ができる。また、
様々な操作に対応できるので、汎用性も高い。

【００７４】さらに、音声入力による操作を加えても、
ユーザーに操作性のわずらわしさを与える事がない。む
しろ、ユーザーにとって自然な操作方法である。このよ
うに、音声は入力方法が容易なため、仮想空間上の物体
を操作する方法の一つに用いれば、よいヒューマン・イ
ンターフェイスを実現できる。従って、音声入力による
操作は、上記操作手段を補う手段として有効である。

【００７５】以上述べたように、上記制御手段が入力と
する検出結果に、音声による入力の検出結果を追加する
事によって、上記操作手段と、上記仮想的な空間内の一
構成要素との対応決定が、正確かつ迅速に行えるという
効果と、ヒューマン・インターフェイスがよくなるとい
う効果が得られる。

【００７６】

【発明の効果】本発明によれば、仮想空間内の物体と実
空間内の操作手段とを対応付けて、実空間内の操作手段
をあたかも仮想空間内の物体であるかのように操作する
とともに、上記対応付けを任意に切り換えることによっ
て、仮想空間内の物体をより自然に、より簡単に操作で
きるようになる。

【図面の簡単な説明】

【図１】本発明の一実施例を説明する図である。

【図２】本発明のより具体的な一実施例を説明する図で
ある。

【図３】図２の実施例における状態遷移を説明する図で
ある。

【図４】図２の実施例における見取り図の構成を示す図
である。

【図５】図２の実施例の動作を説明するための図であ
る。

【図６】図２の実施例の動作を説明するための図であ
る。

【図７】図２の一機能を実現する装置の一構成例を示す
図である。

【図８】本発明における操作装置の一実施例の構成を示
す図である。

【図９】本発明における検出装置の一実施例の構成を示
す図である。

【図１０】図８、９の操作装置、検出装置の関係を示す
図である。

【図１１】本発明における操作装置の一実施例の構成を
示す図である。

【図１２】本発明における検出装置の一実施例の構成を
示す図である。

【図１３】図１１、１２の操作装置、検出装置の関係を
示す図である。

【図１４】本発明における別の操作装置、検出装置の構
成を示す図である。

【図１５】図１４の映像入力手段の構成を示す図であ
る。

【図１６】図１５のミラーの構成を示す図である。

【図１７】図１４の検出手段の一構成例を示す図であ
る。

【図１８】図１４の実施例における画面とブロックの関
係の一例を示す図である。

【図１９】図１４の検出手段の別の構成例を示す図であ
る。

【図２０】本発明においてリアリティのスケーラビリテ
ィの概念を取り入れた実施例の構成を示す図である。

【図２１】本発明において音声による検出結果を加えた
実施例の構成を示す図である。

【符号の説明】

１００…蓄積部、１１０…対応付け部、１２０…制御
部、１３０…合成部、１４０…検出手段、１５０…操作
手段、１６０…表示部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 天田 皇 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 宮川 陽子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 籠嶋 岳彦 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 位置と向きを操作可能な操作手段と、 この操作手段の位置と向きを検出する検出手段と、 仮想的な空間を構成する構成要素のデータを蓄積する蓄
   積手段と、 この蓄積手段に蓄積されたデータに基づいて上記仮想的
   な空間を表示する表示装置と、 上記操作手段の操作に応じて、上記操作手段と、上記表
   示装置上に表示された仮想的な空間の一構成要素との対
   応付けを行なうとともに、この対応付けを前記仮想的な
   空間の他の構成要素に切り換える対応付け手段と、 上記対応付けられた仮想的な空間の構成要素の相対位置
   と向きとを、上記検出手段の検出結果に基づいて制御す
   る制御手段と、を具備することを特徴とする仮想空間内
   のデータ操作装置。