JP3517639B2 - 複合現実感提示装置及びその方法並びに記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、仮想物体の画像を
生成し、当該画像を現実空間に重畳してユーザに提示す
る複合現実感提示装置及びその方法並びに記憶媒体に関
するものである。

【０００２】

【従来の技術】最近、仮想のペットを飼育する携帯型や
据え置き型のゲーム機が、一般の市場に販売されてい
る。この仮想のペットは、ゲーム機内で実行されるプロ
グラムコードと、このプログラムコードが用いるデータ
により構成され、プログラムが仮想ペットを表す画像を
所定の条件で変化させることにより、あたかも仮想ペッ
トが仮想空間内で自律的に行動し、ユーザからのメッセ
ージに応じて行動するかのようにユーザに見せる。

【０００３】一方、ユーザが仮想ペットに対してメッセ
ージを入力する際、ユーザは、ゲーム機に接続された所
定のインターフェース（例えば、ボタン、レバーなどを
備えたパッド型インターフェース、キーボード、音声入
力マイクなど）を用いて何らかのメッセージ（例えば、
なでる、殴る、文字もしくは声を入力して話しかける
等）を仮想ペットに対して送る。

【０００４】例えば、「なでる」行為を表すメッセージ
を、パッド型インターフェースを用いて仮想ペットに送
る場合、例えば、自分の手を表すカーソルを仮想ペット
が表示されるディスプレイの画面に表示し、このカーソ
ルを仮想ペットに重ね合わせ、所定のボタンを押すこと
で、仮想ペットに対して、ユーザは「なでる」行為を行
ったことになる。

【０００５】以上の結果、仮想ペットは入力されたメッ
セージに応じた所定の動作（例えば、喜ぶ、起こる、泣
く等）を行い、ユーザは自身が仮想ペットに対して行っ
た動作（メッセージの入力）に対するペットの動作反応
を見ることで、仮想ペットとの仮想的なコミュニケーシ
ョンを楽しむ。

【０００６】

【発明が解決しようとする課題】しかし仮想空間内に存
在するペットに対してコミュニケーションをとるために
メッセージを送る際、このメッセージを送る装置や方法
がペットに対して間接的であり、ペットの存在感の認知
を困難にさせる原因の一つとなる。

【０００７】本発明は上述の問題点に鑑みてなされたも
のであり、ユーザの所定部位による所定動作により、仮
想物体の内部状態を遷移させることで、この仮想物体の
存在感の認知を容易にすることを目的とする。

【０００８】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の複合現実感提示装置は以下の構
成を備える。すなわち、仮想物体の画像を生成し、当該
画像を現実空間に重畳してユーザに提示する複合現実感
提示装置であって、ユーザの所定部位の位置姿勢を計測
する第１の計測手段と、前記ユーザの頭部の位置・姿勢
を計測する第２の計測手段と、前記仮想物体の内部状態
を管理する管理手段と、前記仮想物体の内部状態と前記
第１の計測手段による計測結果とに基づいて、前記所定
部位による所定動作を検知し、前記仮想物体の動作を決
定する検知手段と、前記検知手段による検知結果に応じ
て、前記仮想物体の内部状態を、当該内部状態とは別の
内部状態に遷移させる遷移手段と、前記ユーザの頭部の
位置・姿勢の計測結果と、前記決定された仮想物体の動
作に応じて仮想物体の映像を生成し、前記現実空間に重
畳する生成手段とを備えることを特徴とする。

【０００９】

【００１０】

【００１１】

【００１２】

【００１３】

【発明の実施の形態】以下添付図面を参照して、本発明
をその好適な実施形態に従って詳細に説明する。

【００１４】［第１の実施形態］本実施形態における複
合現実感提示装置は、仮想空間に存在するペットとして
イルカを用い、ユーザが手を使ってイルカに対して直接
メッセージを送り、このメッセージに応じた動作を行う
イルカを仮想物体画像として表示することで複合現実空
間内で見ることができる、すなわち複合現実感をユーザ
に体感させることができる。

【００１５】なお、以下では仮想空間内におけるイルカ
の３次元モデルの生成方法としてはポリゴンを用いての
公知の方法で生成するが、他の方法を採用することも可
能である。なお、このイルカのモデルのデータ（イルカ
を構成する各ポリゴンデータ等）は後述のペット状態管
理部１１０内の不図示のメモリ内に格納されている。

【００１６】図１に本実施形態における複合現実感提示
装置内部の概略構成をブロック図で示す。

【００１７】１０１はＣＰＵで、ＲＯＭ１１１に格納さ
れたデータやプログラムコードを用いて、本装置全体の
制御を行うと共に、後述のペット状態管理部１１０内の
不図示のメモリや、ＲＡＭ１１２に格納されたデータや
プログラムコードを用いて、後述する各画像処理や数値
計算等を行う。なお、上述の各データやプログラムコー
ドの所在は、上述の通りに限定されるものではなく、例
えば本装置全体の制御プログラムコードが外部記憶装置
１１３やＲＡＭ１１２に格納されていても良い。

【００１８】１０２は頭部用位置姿勢センサで、ユーザ
の頭部に装着することにより、ユーザの頭部の絶対的な
位置、姿勢（絶対座標系におけるユーザの頭部の位置、
姿勢）を示す信号を後述の位置姿勢計測部１０３に出力
する。上記絶対座標系を以下、世界座標系と呼ぶことが
ある。

【００１９】この世界座標系は、図２に示すとおり、適
当な位置を原点とし、ｚ−ｘ平面を水平面とする座標系
で、重力方向を−ｙ方向とする。ここでは原点として、
後述する位置姿勢計測部１０３の位置を原点とするが、
この原点は任意に設定可能である。

【００２０】ここで、ユーザの頭部のローカル座標系は
図３Ａ、図３Ｂに示すとおりである。なお図３Ａは、ユ
ーザの頭部の右側面からの図であり、図３Ｂは、ユーザ
の頭部の頭頂からの図である。

【００２１】１０３は位置姿勢計測部であって、頭部用
位置姿勢センサ１０２から入力した上述の信号から、ユ
ーザの頭部の位置、姿勢を特定する。一方、後述の手の
位置姿勢センサ１０４より入力する信号から、世界座標
系におけるユーザの手の位置、姿勢を特定する。なお、
特定した上述のユーザの頭部の位置、姿勢のデータと、
ユーザの手の位置、姿勢のデータはＣＰＵ１０１に出力
される。

【００２２】１０４は手の位置姿勢センサで、頭部用位
置姿勢センサ１０２と同じものを用いても良く、ユーザ
の手（イルカを登場させる部位。つまり、イルカの映像
を合成する部位）に装着することにより、世界座標系に
おけるユーザの手の位置、姿勢を示す信号を位置姿勢計
測部１０３に出力する。

【００２３】手の位置姿勢センサ１０４がユーザの手の
位置、姿勢を計測する際、手のローカル座標系は図４に
示すとおりである。

【００２４】上述の通り計測された世界座標系における
ユーザの頭部の位置、姿勢及び、ユーザの手の位置、姿
勢を以下の通り表す。

【００２５】 時刻ｔにおけるユーザの頭部の位置：ｈ！（ｔ） ｈ！（ｔ）＝（ ｈｘ 、 ｈｙ 、 ｈｚ ） （１） ただし、ｈ！はｈのベクトル表記。

【００２６】 時刻ｔにおけるユーザの頭部の姿勢： θｒ ロール角 θｐ ピッチ角 θｙ ヨー角（方位角） 時刻ｔにおけるユーザの手の位置：Ｐ！（ｔ） （２） Ｐ！（ｔ）＝（ Ｐｘ 、 Ｐｙ 、 Ｐｚ ） ただし、Ｐ！はＰのベクトル表記。

【００２７】時刻ｔにおけるユーザの手の姿勢： φｒ ロール角 φｐ ピッチ角 φｙ ヨー角（方位角） 以上のユーザの頭部の位置、姿勢のデータと、ユーザの
手の位置、姿勢のデータがＣＰＵ１０１に入力される。
ここでＣＰＵ１０１がこれらのデータから、ユーザの手
の動きを検知する方法について説明する。

【００２８】ユーザの頭部の位置、方位角を基準とした
手の位置Ｐ'！は、（ＣＰＵ１０１内で）以下の演算を
行うことで求めることができる。

【００２９】 Ｐ'！＝Ｐ！×Ｔ_（ｈ！）×Ｒｙ_（θｙ） （３） 但し、Ｔ_は平行移動変換Ｔの逆変換、Ｒｙ_はｙ軸周り
の回転変換Ｒｙの逆変換である。

【００３０】又、ユーザの頭部の向きを基準とし、時刻
ｔ＋Δｔにおける手の位置Ｐ’！の移動ベクトルｄ！は
以下のようにして求めることができる。

【００３１】 ｄ！＝Ｐ'！（ｔ＋Δｔ）−Ｐ'！（ｔ） （４） そして手の移動速度を示す速度ベクトルｖ！は以下のよ
うにして求めることができる。

【００３２】ｖ！＝ｄ！／Δｔ （５） その結果、この速度ベクトルｖ！のｘ、ｙ、ｚの各方向
の成分ｖｘ、ｖｙ、ｖｚにより、ユーザの頭部を基準と
した手の動きは以下のようにして検知することができ
る。

【００３３】 ｖｘ＞０：右に動いた ｖｘ＜０：左に動いた ｖｙ＞０：上に動いた ｖｙ＜０：下に動いた ｖｚ＞０：後に動いた ｖｚ＜０：前に動いた しかし実際には、手の微妙な動きを検知する必要はない
ので、各方向成分ｖｘ、ｖｙ、ｖｚに対する判断が、そ
の符号の正負でなく、所定の閾値以上か閾値より小さい
かで判断すると良い。つまり、この所定の閾値をεとす
ると、以下のようにして判断すれば良い。

【００３４】 ｖｘ＞ε：右に動いた ｖｘ＜−ε：左に動いた ｖｙ＞ε：上に動いた ｖｙ＜−ε：下に動いた ｖｚ＞ε：後に動いた ｖｚ＜−ε：前に動いた なお、各方向成分でεの値を変えても良い。そしてこの
判断の結果、ユーザの手が動いた方向が分かれば、ユー
ザの手はその方向に「振った」と判断される。又同時
に、「振った」と判断した際に、所定の時間内に、−方
向と＋方向に何回振ったかをカウントする。なお、所定
の時間の計測は、不図示のクロックタイマにより計測す
ることができる。

【００３５】図１に戻って、１０５はヘッドマウントデ
ィスプレイ（以下、ＨＭＤ）で、内部にＣＣＤ１０５ｂ
と表示部１０５ｃを備え、後述の画像生成部１０６によ
り合成された映像（ＣＣＤ１０５ｂで撮像された実写映
像と、仮想空間に存在するイルカの映像との合成映像）
を表示部１０５ｃに表示することで、このＨＭＤ１０５
を頭部に装着したユーザに、あたかも目の前にイルカが
存在するかのように感じさせ、その結果、現実空間内に
おけるイルカの存在感をより認知させることができる。
なお、ＨＭＤ１０５には光学シースルーと、ビデオシー
スルーの２種類が存在し、その詳細については本実施形
態の範疇ではないのでここでは説明は省くが、本実施形
態ではビデオシースルー、つまり上述の通り、表示部１
０５ｃにはＣＣＤ１０５ｂにより撮像された実写映像を
表示すると共に、画像生成部１０６で生成されたイルカ
の映像を合成して表示するＨＭＤを用いる。なお、この
ＨＭＤは光学シースルーのタイプのＨＭＤを用いること
も可能である。ＨＭＤ１０５が光学シースルーのタイプ
のものであった場合、ＨＭＤ１０５にはＣＣＤ１０５ｂ
は備わっていない。

【００３６】１０６は画像生成部で、ＨＭＤ１０５がビ
デオシースルーのタイプのものであった場合、ＣＣＤ１
０５ｂから入力した実写映像に対して任意の画像処理
（ガンマ補正、階調変換など）を行ってもよい。そし
て、ユーザの目の位置から見えるイルカの位置、姿勢に
基づいて生成されたイルカの映像に、上述の実写映像，
あるいは任意の画像処理を施された実写映像を合成した
合成映像を表示部１０５ｃに出力する。

【００３７】ユーザの目の位置から見えるイルカの位
置、姿勢はマトリクス（イルカの位置姿勢マトリクスＭ
ｄ）で表現される。このマトリクスの生成にはまず、ユ
ーザの頭部の位置、姿勢のデータと、ユーザの手の位
置、姿勢のデータから夫々、ユーザの頭部の状態（位
置、姿勢）を示すマトリクスＭｈと、ユーザの手の状態
（位置、姿勢）を示すマトリクスＭｔを生成し、これら
のマトリクスを用いて生成するが、その生成方法に関し
ては公知の計算方法であるので、その説明は省略する。
なお、このマトリクスの生成（計算）はＣＰＵ１０１に
よって行われる。

【００３８】一方、ＨＭＤ１０５が光学シースルーのタ
イプのものであった場合、上述の通りＨＭＤ１０５には
ＣＣＤ１０５ｃが備わっていないために、画像生成部１
０６は、上述の方法により生成されるユーザの目の位置
から見えるイルカの映像のみを表示部１０５ｃに出力す
る。

【００３９】１０７はスピーカで、後述する音声合成部
１０８で生成された音声を出力する。なお、このスピー
カ１０７から出力されるのは音声に限定されず、他にも
例えば、イルカが行う所定の動作に応じた効果音を出力
することが可能である。

【００４０】１０８は音声合成部で、イルカが何か音声
を発したりする場合、その音声を生成する。また、上述
の通り、効果音を生成することも可能である。なお、イ
ルカが発生する際の各状況における音声データ、効果音
は、夫々の状況に関連づけてペット状態管理部１１０内
の不図示のメモリ内にテーブルデータとして格納されて
いる。音声データ、効果音に関しては詳しくは後述す
る。

【００４１】１０９はデータ通信部で、ネットワークイ
ンターフェース回路、通信端子等を含み、他のユーザに
対して上述の複合現実感を体感させている複合現実感提
示装置に対して、データ通信を行うことができる。

【００４２】１１０はペット状態管理部で、本実施形態
ではイルカの状態、例えば、後述するイルカとのコミュ
ニケーションレベルや、イルカの動作が記載された後述
のテーブル等を管理する。

【００４３】１１１はＲＯＭで、上述の通り本装置全体
の制御を行うプログラムコードやデータを格納する。ま
た、本装置が起動する際に必要となる設定や、文字を表
示部に表示するための文字コードなども格納する。

【００４４】１１２はＲＡＭで、後述する外部記憶装置
１１３からロードしたプログラムコードやデータなど一
時的に格納するエリアを備えていると共に、ＣＰＵ１０
１が各種のプログラムコードを実行する際に使用するワ
ークエリアも備えている。

【００４５】１１３はＨＤＤ等の外部記憶装置で、ＣＤ
−ＲＯＭやフロッピー（登録商標）ディスクなどの記憶
媒体からインストールされた各種のプログラムコードや
データなどを保存する。また、前述のＲＡＭ１１２内の
ワークエリアに不足が生じた場合、仮想的なワークエリ
アとしてのテンポラリファイルを、この外部記憶装置１
１３内のエリアに作成することもできる。

【００４６】上述の構成を備える複合現実感提示装置を
用いて、イルカをユーザの手に呼び出す方法について図
５Ａ、図５Ｂ、図５Ｃ、図５Ｄを用いて説明する。な
お、本実施形態では、イルカに対するコミュニケーショ
ンにレベルを設け、レベル１ではイルカを呼び出して
１，２回のコミュニケーションをとるまでをコミュニケ
ーションレベル１とする。

【００４７】＜コミュニケーションレベル１＞本実施形
態では、イルカを呼び出す方法として、「ユーザの手を
５秒以内に左右に５回以上振る。」と規定する。

【００４８】ユーザが手を５秒以内に左右に５回以上振
ると、上述の説明の通り、ユーザの手の速度ベクトルが
ＣＰＵ１０１により計算され、５秒以内にｖｘの値が閾
値（ε）以上変化した（「振った」と判断された）回数
がカウントされる。このとき、図５Ａに示すとおり、ユ
ーザの手の位置に波の映像を合成した合成映像が画像生
成部１０６で生成され、この合成映像はＨＭＤ１０５の
表示部１０５ｃに表示される。

【００４９】そして上述のカウント値が５以上になった
時点で、ＣＰＵ１０１はペット状態管理部１１０内の不
図示のメモリに格納されたイルカが登場する際の動きの
データ（以下、モーションデータ）を読み出して、イル
カの動きを再生する。この動きは図５Ｂに示すとおり、
図５Ａに示した波からイルカが顔を出す動きである。

【００５０】ここで状況に応じたモーションデータの特
定方法について説明する。ペット状態管理部１１０内の
不図示のメモリ内には各状況に応じたイルカのモーショ
ンデータが格納されており、各モーションの長さはまち
まちである。

【００５１】つまり、６０フレームのモーションもあれ
ば、１００フレームのモーションもある。ここで、フレ
ームとは、イルカの動きの最小単位であり、例えばモー
ションＡが１００フレームであった場合、１フレームは
この動きの１００分の１の動きに相当する。

【００５２】ペット状態管理部１１０内の不図示のメモ
リには図６に示すテーブルが格納されており、６０１は
各モーションを特定するための番号ＭＴ（モーション番
号）で、６０２は夫々のモーションを格納するテーブル
の先頭アドレスである。

【００５３】図７はモーションデータを格納するペット
状態管理部１１０内の不図示のメモリ内のメモリ領域で
あり、例えばモーション番号０で特定されるモーション
データアドレスは、図６より０ｘ００５Ａなので、ＣＰ
Ｕ１０１は図７のメモリ領域内で０ｘ００５Ａから始ま
るデータを読み込めばよい。なお、図７に示したとお
り、モーションデータアドレス０ｘ００５Ａから始まる
領域の先頭には、モーション番号０のモーションのフレ
ーム数が格納されている。よってＣＰＵ１０１は、この
フレーム数が格納された次のアドレスからフレーム数分
だけ、データ（モーションデータ）を読み込むことで、
イルカにモーション番号０で特定されるモーションを与
えることができる。

【００５４】なお、モーションデータの内容としては、
所定の位置を原点としたローカル座標系（本実施形態で
はユーザの手の位置がこの原点となる）におけるイルカ
の位置、姿勢、イルカの様々な格好に応じたイルカの各
パーツ（尾ひれ、口、目など）の位置、姿勢等である。

【００５５】以上の説明により、イルカのモーション番
号を特定することで、イルカに様々なモーションを与え
ることができる。

【００５６】次に、モーション番号の特定は、イルカの
状態を示す番号Ｓ（状態番号）に応じて決まり、例え
ば、コミュニケーションレベル１ではイルカの状態とし
て、以下の３つを規定する。

【００５７】Ｓ＝１：水面から顔を出す。

【００５８】 Ｓ＝２：水面から飛び跳ねる（着水する）。

【００５９】Ｓ＝３：水中に引っ込む。

【００６０】なお、水面にイルカが登場していない場合
の状態番号Ｓを０とする。また、状態番号は以上の４つ
に限定されるものではなく、このほかの状態を設けるこ
ともできる。そのためにはその状態に応じた状態番号Ｓ
を用意すればよい。

【００６１】また、例として各モーション番号ＭＴに応
じたモーションを、以下のように規定する。

【００６２】ＭＴ＝１：水面から顔を出す。

【００６３】 ＭＴ＝２：水面から飛び跳ねる（着水する）。

【００６４】ＭＴ＝３：水中に引っ込む。

【００６５】なお、水面にイルカが登場していない場合
のモーション番号ＭＴを０とする。また、各状態番号Ｓ
に応じたモーション番号の特定には、図８に示すテーブ
ルを用いる。同図では１つのイルカの状態に対して１つ
のモーションが対応しているが、１つのイルカの状態に
対して複数のイルカのモーションが存在する場合、例え
ば、Ｓ＝４を「イルカが喜んでいる」状態と規定し、
「水面から顔を出して笑う」モーションを追加し、この
「水面から顔を出して笑う」モーションのモーション番
号ＭＴをＭＴ＝４とした場合、図９に示すとおり、Ｓ＝
４に対してＭＴ＝２，４としてもよい。この場合、イル
カの状態が「イルカが喜んでいる」状態であったときに
（Ｓ＝４）、まずＭＴ＝２で示されるモーション「水面
から飛び跳ねる（着水する）」を実行した後に、ＭＴ＝
４で示されるモーション「水面から顔を出して笑う」を
実行する。なお、この場合、２つのモーション（ＭＴ＝
２，ＭＴ＝４）間のつなぎのモーションは公知の方法に
より補間され、全体として滑らかなモーションとなる。

【００６６】又、図８のように、１つのイルカの状態に
対して１つのモーションが割り当てられている場合、イ
ルカの状態番号Ｓをモーション番号ＭＴとして用いても
良い。

【００６７】なお、図８、図９に示したテーブルはペッ
ト状態管理部１１０内の不図示のメモリ内に格納され
る。

【００６８】図５Ｂに戻って、イルカが図５Ａの状態か
ら図５Ｂの状態に変化したとき、イルカの状態番号Ｓは
Ｓ：０→１となり、その結果、イルカのモーション番号
ＭＴはＭＴ：０→１となる。なお、このモーション番号
ＭＴの変化に伴ったモーションの変化も、上述のモーシ
ョン補間により、滑らかになる。

【００６９】そして図５Ｂに示した状態で、例として
「ユーザの手を３秒以内に左右に３回以上振ると、イル
カは引っ込む」としたとき、ユーザが手を３秒以内に３
回振ると、イルカを呼びだしたときと同じように、ユー
ザが手を左右に３回「振った」と判断され、イルカは引
っ込む。なお、このときにイルカの状態番号Ｓの変化は
Ｓ：１→３、モーション番号ＭＴの変化はＭＴ：１→３
となる。

【００７０】また、図５Ａの状態で、例として図５Ｃに
示すように、「ユーザが手を上下に２回振る」と、図５
Ｄに示すように「イルカがはねる」としたとき、ユーザ
が上下に２回手を振ったら、イルカの状態番号ＳはＳ：
０→２となり、モーション番号ＭＴは、ＭＴ：０→２と
なる。また、図５Ｂの状態から図５Ｄの状態に変化する
場合も考えられ、その場合、状態番号ＳはＳ：１→２、
モーション番号ＭＴはＭＴ：１→２となる。

【００７１】以上説明した、ユーザの動作に応じたイル
カの状態遷移則を図１０に示す。なお同図において、
「水面から飛び跳ねる（着水する）」状態（Ｓ＝２，Ｍ
Ｔ＝２）から初期状態（Ｓ＝０，ＭＴ＝０）、もしく
は、「引っ込む」状態（Ｓ＝３，ＭＴ＝３）から初期状
態（Ｓ＝０，ＭＴ＝０）には無条件で状態遷移するもの
とする。

【００７２】よって、以上のユーザの手の動きにより、
イルカの状態は遷移し、状態の遷移に応じたモーション
番号ＭＴで特定されるモーションデータを再生すること
で、イルカに対する操作感（コミュニケーション）がよ
り直感的となる。

【００７３】以上のユーザとイルカとのコミュニケーシ
ョンを、コミュニケーションレベル１と呼び、ユーザと
イルカとのコミュニケーションにおける前段のレベルで
ある。

【００７４】＜コミュニケーションレベル２＞コミュニ
ケーションレベル１において、無条件の状態遷移を除く
状態遷移の回数が、例えば３回以上となった場合、コミ
ュニケーションレベル２に移行する。そして、コミュニ
ケーションレベル２に移行した場合、このレベルにおけ
るイルカの初期状態を「水面から顔を出す」（状態番号
Ｓ＝１）とする。つまり、コミュニケーションレベル２
における初期状態は、図５Ｂに示した状態となる。

【００７５】ここで、コミュニケーションレベル２にお
けるイルカの状態として、コミュニケーションレベル１
における３つに加えて更に以下の２つを例として規定す
る。

【００７６】Ｓ＝４：ユーザの方を見る。

【００７７】Ｓ＝５；あわてる。

【００７８】又、イルカの各状態に応じたモーションの
番号（モーション番号）ＭＴを、コミュニケーションレ
ベル１における３つに加えて、更に以下の２つを例とし
て規定する。

【００７９】ＭＴ＝４：ユーザの方を見る。

【００８０】ＭＴ＝５：あわてる。

【００８１】ここで、図５Ｂに示した状態（Ｓ＝１，Ｍ
Ｔ＝１）で、例えば、「ユーザが手を２秒以内に前後も
しくは左右に２回以上振ると、イルカはユーザの方を見
る。」とすると、ユーザが手を２秒以内に前後もしくは
左右に２回以上振れば、状態番号Ｓ：１→４となり、モ
ーション番号ＭＴ：１→４となる。なお、ユーザが手を
２秒以内に前後もしくは左右に２回振ったと判断された
ときには、前述の通り、手の速度ベクトルｖｘ、もしく
はｖｚが２秒以内に２回以上、閾値ε以上変化したと判
断された場合である。

【００８２】又、イルカがユーザの方を見るためには、
ＭＴ＝４で特定されるモーションを再生すると共に、イ
ルカをユーザの方に向けなくてはいけないので、イルカ
から見たユーザの方向が必要となる。この場合、状態番
号Ｓが４となった時点で、イルカの位置（ユーザの手の
位置）のデータ、とユーザの頭部の位置のデータを用い
てイルカの位置から見たユーザの頭部の位置への方向を
計算する。

【００８３】また、Ｓ＝１の状態で、例えば「ユーザが
手を（手のローカル座標系においてｚ軸周りに）３０度
以上傾けると、イルカはあわてる」とすると、手の位置
姿勢センサ１０４が位置姿勢計測部１０３に出力したユ
ーザの手の位置、姿勢を示す信号に基づいて位置姿勢計
測部１０３が計測し、その結果手が３０度以上傾いてい
た場合、イルカの状態番号ＳはＳ：１→５となり、それ
に伴って、モーション番号ＭＴもＭＴ：１→５となる。

【００８４】以降、コミュニケーションレベル１と同じ
ように、ユーザの手の動きに応じてイルカの状態は遷移
し、それに伴ってイルカのモーションは変化するので、
コミュニケーションレベル１と同様に、ユーザはイルカ
に対する操作感（コミュニケーション）を直感的にとら
えることができる。

【００８５】なお、以上説明したコミュニケーションレ
ベル２におけるユーザの動作に応じたイルカの状態遷移
則を図１１に示す。同図において、「ユーザの方を見
る」状態（Ｓ＝４）では、ＭＴ＝４で特定される「ユー
ザの方を見る」モーションが終了すれば、無条件で初期
状態に戻る。また、「あわてる」状態（Ｓ＝５）は、ユ
ーザの手の傾きが３０度以上である間は、ずっと続いて
いており、「あわてる」モーションもその間はずっと続
いている。そして、ユーザの手の傾きが３０度以内にな
り、且つ、「あわてる」モーションが終了したら、初期
状態に戻る。

【００８６】また、コミュニケーションレベル２におい
て、コミュニケーションレベル１で示した状態番号と同
じ番号（例えばＳ＝２）で示される状態となっても、コ
ミュニケーションレベル１と同じモーション（ＭＴ＝
２）でなく、他のモーションを用いても良い。

【００８７】以上のユーザのイルカとのコミュニケーシ
ョンを、コミュニケーションレベル２と呼び、ユーザと
イルカとの初歩的なコミュニケーションであり、こちら
からのコミュニケーションにイルカが行動で応じるレベ
ルである。

【００８８】＜コミュニケーションレベル３＞コミュニ
ケーションレベル２において、無条件の状態遷移を除く
状態遷移の回数が、例えば５回以上となった場合、コミ
ュニケーションレベル３に移行する。そして、コミュニ
ケーションレベル３における初期状態もコミュニケーシ
ョンレベル２と同様に、「水面から顔を出す」（状態番
号Ｓ＝１）とする。つまり、コミュニケーションレベル
３においても、その初期状態は、図５Ｂに示した状態と
なる。

【００８９】コミュニケーションレベル３では、イルカ
は自発的にユーザに対して話しかけるようになり、イル
カが話す内容は予めテーブル（発声内容テーブル）とし
て複数格納しておき、例えばユーザが一定時間何もしな
ければ、ランダムにこのテーブルからイルカが話す内容
が選択され、この内容に基づいた音声データが音声合成
部１０８において生成され、スピーカ１０７からこの音
声データが音声として出力される。また、ちらちらとユ
ーザの方を見たりもする。なお、この発声内容テーブル
はペット状態管理部１１０内の不図示のメモリ内に格納
され、ＣＰＵ１０１により参照される。

【００９０】ここで、コミュニケーションレベル３にお
けるイルカの状態として、コミュニケーションレベル
１，２に加えて更に、２つを追加する。

【００９１】Ｓ＝６：うれしそうに笑う。

【００９２】Ｓ＝７：文句を言う。

【００９３】又、イルカの各状態に応じたモーションの
番号（モーション番号）ＭＴを、コミュニケーションレ
ベル１，２に加えて、更に２つ追加する。

【００９４】ＭＴ＝６：うれしそうに笑う ＭＴ＝７：文句を言う。

【００９５】図５Ｂに示した初期状態（Ｓ＝１，ＭＴ＝
１）で、例えば、「ユーザが手を３秒以内に前後もしく
は左右に３回振ると、イルカはうれしそうに笑う」とす
ると、ユーザが手を３秒以内に前後もしくは左右に３回
以上振れば、状態番号Ｓ：１→６となり、モーション番
号ＭＴ：１→６となる。なお、ユーザが手を３秒以内に
前後もしくは左右に３回振ったと判断されたときには、
状態番号Ｓ＝４となるときに説明したように、手の速度
ベクトルｖｘ、もしくはｖｚを用いて判断する。

【００９６】また、イルカの笑う声（発声内容）は、上
述の発声内容テーブルを参照し、複数の笑う声からラン
ダムに選択して上述のとおり音声としてスピーカ１０７
に出力する。又、笑う声を選択する際には、例えば図１
３に示すように、状態番号Ｓを声の種類のグループ番号
１３０１とした構成をとる発声内容テーブルを作成す
る。そして、Ｓ＝６の場合、グループ番号が６になるの
で、発声内容データのうち１３０４で示す範囲内の発声
内容データが候補として選択され、サブ番号１３０２
（Ｓ＝６の場合、１〜３）をランダムに選択すること
で、笑う声のデータが特定される。Ｓ＝７の場合も同様
に、１３０５で示される範囲内の発声内容データが候補
となり、そのうち、サブ番号１３０２をランダムに選択
することで、文句の発声内容が選択される。なお、この
テーブルには音声内容データ以外に効果音を同様に格納
してもよく、上述の説明による発声内容の特定方法を適
用しても良いことは明白である。なお図１３に示したテ
ーブルはペット状態管理部１１０内の不図示のメモリ内
に格納される。

【００９７】次にＳ＝１の状態で、例えば「ユーザが手
を（手のローカル座標系においてｚ軸周りに）３０度以
上傾けると、イルカは文句を言う」とすると、状態番号
Ｓ＝５の時に説明したとおり、手の位置姿勢センサ１０
４，位置姿勢計測部１０３によって、手の角度が計測さ
れ、計測された手の傾きが３０度以上であった場合、イ
ルカの状態番号ＳはＳ：１→７となり、それに伴って、
モーション番号ＭＴもＭＴ：１→７となる。又、状態番
号Ｓ＝７に応じた文句の内容が、上述の発生内容テーブ
ルに格納されているので、このテーブルから発生する内
容をランダムに選択し、この内容に基づいた音声データ
が音声合成部１０８によって生成され、スピーカ１０７
からこの音声データが音声として出力される。

【００９８】以降、コミュニケーションレベル１、２と
同じように、ユーザの手の動きに応じてイルカの状態は
遷移し、それに伴ってイルカのモーションは変化するの
で、コミュニケーションレベル１、２と同様に、ユーザ
はイルカに対する操作感（コミュニケーション）を直感
的にとらえることができる。

【００９９】以上説明した、コミュニケーションレベル
３におけるユーザの動作に応じたイルカの状態遷移則を
図１２に示す。同図において、「うれしそうに笑う」状
態（Ｓ＝６）において、イルカの「うれしそうに笑う」
モーション（ＭＴ＝６）が終了すると、無条件に初期状
態（Ｓ＝１，ＭＴ＝１）に状態遷移する。なおこの状態
遷移に伴って、「うれしそうに笑う」声も停止する。

【０１００】以上のユーザのイルカとのコミュニケーシ
ョンを、コミュニケーションレベル３と呼び、コミュニ
ケーションレベル２よりもユーザとイルカとのコミュニ
ケーションがインタラクティブに行われ、イルカが音声
を発するレベルである。

【０１０１】なお、コミュニケーションレベル３におい
てイルカの発声する内容は、スピーカ１０７を介して音
声として出力されたが、図１３に示した発声内容データ
を音声データではなく、文字として同図に示したテーブ
ルに記載し、このテーブルを参照することで、イルカの
発声内容を吹き出しとして画像形式でＨＭＤ１０５に出
力し、表示部１０５ｃに表示しても良い。

【０１０２】＜コミュニケーション終了＞コミュニケー
ションレベルに関係なく、ユーザはイルカとのコミュニ
ケーションを終了することができる。その方法として例
えば、「ユーザの手を一定の高さ以上に上げ、左右に振
る（手を挙げて、バイバイとするような仕草）と、イル
カは水面下に消え、イルカとのコミュニケーションを終
了する。」とする。

【０１０３】その際、イルカは状態番号ＳをＳ＝３（水
中に引っ込む）とし（モーション番号ＭＴはＭＴ＝３と
なる）、その後、コミュニケーションレベル１において
も説明したとおり、無条件にＳ＝０となる（モーション
番号ＭＴ＝０となる）。

【０１０４】なお、コミュニケーションの終了はこれに
限らずに、ユーザが上述のコミュニケーション終了の動
作を行った場合、例えば「イルカがバイバイと手を振っ
て、水中に引っ込む。」とすると、この時のイルカの状
態番号ＳをＳ＝９９とし、これに応じたイルカのモーシ
ョン番号ＭＴをＭＴ＝９９とすることもできる。なお、
このモーション番号ＭＴ（＝９９）で特定されるモーシ
ョンは、「イルカがバイバイと手を振って、水中に引っ
込む。」となる。そして、モーション番号ＭＴ＝９９で
特定されるモーションが終了すると、無条件に状態番号
Ｓ、モーション番号ＭＴは共に０となる。

【０１０５】＜本実施形態における複合現実感提示装置
が行う処理＞以上の各処理を行う本実施形態における複
合現実感提示装置が行う処理のフローチャートを図１４
〜１７に示す。なお、同図に示したフローチャートに従
ったプログラムコードはＲＡＭ１１２（もしくはＲＯＭ
１１１でもよいが）に格納され、ＣＰＵ１０１により読
み出され、実行される。

【０１０６】図１４は、本実施形態における複合現実感
提示装置がメインに行う処理のフローチャートである。

【０１０７】まず、処理の初期化を行う。ここでは例え
ば、コミュニケーションレベルを１に設定したり、イル
カのモデルデータを読み出したり、イルカの状態番号
Ｓ、モーション番号ＭＴを共に０にしたり、各コミュニ
ケーションレベルにおいて、状態遷移回数を０にしたり
する処理を行う（ステップＳ１４０１）。

【０１０８】次に、ユーザの頭部、手の状態を計測する
（ステップＳ１４０２）。計測の方法については上述の
通りで、計測された結果から、上述のマトリクスＭｈ、
Ｍｔを生成する。また、ユーザが所定時間内に手を左
右、上下に振った回数もカウントする。そして一定時間
手を「振った」と判定されなくなった場合、このカウン
ト数はリセットされる。

【０１０９】次に、コミュニケーションレベルに応じ
た、夫々のサブルーチン（ステップＳ１４０４，Ｓ１４
０５，Ｓ１４０６）へ処理を分岐させる（ステップＳ１
４０３）。

【０１１０】そして各コミュニケーションレベルにおけ
る処理の結果、決定したモーション番号ＭＴに応じたモ
ーションを特定し、イルカの位置姿勢マトリクスＭｄを
生成すると共に（ステップＳ１４０７）、イルカのモデ
ルを表示させる（ステップＳ１４０８）。

【０１１１】そして、コミュニケーションを終了するか
否かを判断して、終了しないのであれば（上述の終了の
動作をユーザが行わなかったら）、処理をステップＳ１
４０２に移行する。

【０１１２】次に、図１５に、コミュニケーションレベ
ル１における本実施形態における複合現実感提示装置が
行う処理のフローチャートを示す。なお、本フローチャ
ートにおける処理は、図１０に示した状態遷移の処理で
もある。また以下で、ユーザが手を左右に振った回数を
示す変数としてＮLR、上下に振った回数を示す変数とし
てＮUPを用い、コミュニケーションレベル１における状
態遷移回数を示す変数をＬ１とする。

【０１１３】まず状態番号Ｓにより、イルカの各状態に
応じた処理に分岐させる（ステップＳ１５０１）。

【０１１４】まずＳ＝０（登場していない）の場合につ
いて説明する。上述の通り、ＮLR≧５（ユーザの手を左
右に５回以上振る）ならば（ステップＳ１５０２）、Ｓ
＝１，ＭＴ＝１（水面から顔を出す）となり、状態遷移
回数を１つ加算（Ｌ１＝Ｌ１＋１）する（ステップＳ１
５０４）。一方、ＮLR＜５で、ＮUP≧２（ユーザの手を
２回以上上下に振る）ならば（ステップＳ１５０３）、
Ｓ＝２，ＭＴ＝２（水面から飛び跳ねる（着水する））
となり、状態遷移回数を１つ加算する（ステップＳ１５
０５）。

【０１１５】Ｓ＝１の場合は、ＮLR≧３ならば、Ｓ＝
３，ＭＴ＝３、Ｌ１＝Ｌ１＋１となる（ステップＳ１５
０７）。

【０１１６】Ｓ＝２の場合は、イルカが水面から飛び跳
ねている状態なので、飛び跳ねているモーション（モー
ション番号ＭＴ＝２）が終了したか否か（イルカが着水
したか否か）を判断して（ステップＳ１５０８）、終了
したら、Ｓ＝０，ＭＴ＝０となる（ステップＳ１５０
９）。なお、この状態遷移Ｓ：２→０は、無条件で行わ
れるために、状態遷移回数Ｌ１はカウントされない。

【０１１７】Ｓ＝３（水中に引っ込む）の場合もＳ＝２
の時と同様に、水中に引っ込むモーション（モーション
番号ＭＴ＝３）が終了したか否かを判断し（ステップＳ
１５１０）、終了したら、Ｓ＝０，ＭＴ＝０となる（ス
テップＳ１５１１）。

【０１１８】そして次に、状態遷移回数Ｌ１≧３か否か
を判断し（ステップＳ１５１２）、Ｌ１＜３ならば、処
理をステップＳ１５０１に移行し、Ｌ１≧３ならば、コ
ミュニケーションレベルを１つ上げ、コミュニケーショ
ンレベル２に移行する（ステップＳ１５１３）。

【０１１９】次に、図１６に、コミュニケーションレベ
ル２における本実施形態における複合現実感提示装置が
行う処理のフローチャートを示す。なお、本フローチャ
ートにおける処理は、図１１に示した状態遷移の処理で
もある。また、コミュニケーションレベル２における状
態遷移回数を示す変数をＬ２とする。

【０１２０】なお、本フローチャートに従った処理は、
図１５に示したコミュニケーションレベル１における処
理と同様に、状態番号Ｓにより、イルカの各状態に応じ
た処理に分岐させ（ステップＳ１６０１）、上述の通
り、ユーザの手の動きに応じて、状態番号Ｓと、モーシ
ョン番号ＭＴを変更させ、無条件の状態遷移でない場合
の状態遷移回数Ｌ２をカウントする。そしてこの状態遷
移回数Ｌ２がＬ２≧５ならば（ステップＳ１６１２）、
コミュニケーションレベルを１つ上げ、コミュニケーシ
ョンレベル３に移行する（ステップＳ１６１３）。

【０１２１】次に、図１７に、コミュニケーションレベ
ル３における本実施形態における複合現実感提示装置が
行う処理のフローチャートを示す。なお、本フローチャ
ートにおける処理は、図１２に示した状態遷移の処理で
もある。

【０１２２】なお、本フローチャートに従った処理は、
図１５、１６に示した夫々コミュニケーションレベル
１、２における処理と同様に、状態番号Ｓにより、イル
カの各状態に応じた処理に分岐させ（ステップＳ１７０
１）、上述の通り、ユーザの手の動きに応じて、状態番
号Ｓと、モーション番号ＭＴを変更させる。また、コミ
ュニケーションレベル３においては、音声（もしくは効
果音でも良いが）の出力があり、ステップＳ１７０７，
ステップＳ１７１１において、夫々上述の通り、状態番
号Ｓをグループ番号とする図１３に示したテーブルを用
いて、出力する音声を特定し、スピーカ１０７に出力す
る。

【０１２３】以上の説明により、本実施形態の複合現実
感提示装置及びその方法を用いることで、ユーザは自身
の手の動きによって、仮想物体としてのイルカに対して
メッセージを送ることができる。また、このユーザから
のメッセージを受けたイルカは、受けたメッセージに応
じた行動をとったり、音声を発したりし、ユーザはより
直感的にイルカとのコミュニケーションをとることがで
きる複合現実感を体感することができる。

【０１２４】［第２の実施形態］第１の実施形態では、
ユーザの手の状態を計測するセンサとして、位置、姿勢
のみであったが、ユーザの手に、例えば、光スイッチ、
データグローブ（これらをまとめて、以下では、手の開
閉センサと呼ぶ）などを装着することにより、ユーザの
指の状態（位置、姿勢）を計測することができ、例え
ば、「手を握る」、「手を開く」なども計測することが
できる。なお、この手の開閉センサは、位置姿勢計測部
１０３に接続することで、手の開閉センサから入力し
た、ユーザの手の開閉を示す信号を解析し、ユーザの手
の開閉の状態をマトリクスとして表現することができ
る。

【０１２５】又、このマトリクスを使えば、手を握るこ
とで、仮想空間におけるユーザの各指（もしくは各指の
各関節）の位置を特定することができ、この位置と、イ
ルカの位置情報から、ユーザの手とイルカとの接触の度
合いが計算できる。その結果、例えば、ユーザが手をだ
んだん握っていくことで、「イルカが苦しがる」とい
う、ユーザとイルカとの新たなコミュニケーションを、
ユーザに提供することができる。

【０１２６】そしてこの「イルカが苦しがる」状態を特
定する状態番号Ｓと、この状態の動きを示すモーショ
ン、このモーションを特定するモーション番号ＭＴを新
たに用意し、モーションのデータを図７に示したペット
状態管理部１１０内の不図示のメモリ内に追加して格納
し、この格納したアドレスと共に、このモーションを特
定するモーション番号ＭＴを図６に示すテーブルに追加
する。また、図８に示すテーブルに、この状態番号Ｓ
と、モーション番号ＭＴを追加して格納する。このよう
にすることで、この状態に遷移する条件を設定すれば、
ユーザがこの条件を満たす行動を行うことで、イルカは
苦しがる。

【０１２７】もちろんこの手の開閉センサを用いた例は
これに限らず、他にもユーザが手を開くと「イルカは喜
ぶ」といった状態を生成することも、上述の説明によ
り、実現可能であることは明白である。

【０１２８】［第３の実施形態］第１の実施形態では、
一人のユーザとこのユーザが有するペット（イルカ）と
のコミュニケーションの為の複合現実感提示装置及びそ
の方法を示した。本実施形態では、複数のユーザが同空
間内に存在し、これら複数のユーザに対して第１の実施
形態で示した複合現実感を提供することができる複合現
実感提供システムを示す。

【０１２９】本実施形態における複合現実感提供システ
ムの概略構成を図１８に示す。同図の通り、本実施形態
における複合現実感提供システムは、１つのサーバ（１
８０１）と４つの複合現実感提示装置（Ａ，Ｂ，Ｃ，
Ｄ）から構成され、サーバと複合現実感提示装置との間
は、イーサネット（登録商標）などのネットワークで接
続されている。

【０１３０】サーバ１８０１には４つのポートがあり、
これら４つのポートＰ１，Ｐ２，Ｐ３，Ｐ４には夫々、
複合現実感提示装置Ａ、Ｂ、Ｃ、Ｄが自身のデータ通信
部１０９を介して接続されている。又、図示していない
が、夫々の複合現実感提示装置Ａ，Ｂ，Ｃ，Ｄを使用し
ているユーザを夫々以下、ユーザＡ、Ｂ、Ｃ、Ｄと呼
ぶ。

【０１３１】サーバ１８０１内の構成を以下に示す。

【０１３２】１８０３はＣＰＵで、ＲＡＭ１８０６、Ｒ
ＯＭ１８０４内に格納されているプログラムコードやデ
ータを用いて、サーバ１８０１全体の制御を行うと共
に、接続された４つの複合現実感提示装置Ａ、Ｂ、Ｃ、
Ｄとの通信制御を行う。

【０１３３】１８０４はＲＯＭで、サーバ１８０１を制
御するプログラムコードやデータが格納されており、ま
た、文字コードなども格納している。

【０１３４】１８０５は外部記憶装置で、ＣＤ−ＲＯＭ
やフロッピーディスクなどの記憶媒体からインストール
された各種のドライバやプログラムコードやデータなど
を保存する。

【０１３５】１８０６はＲＡＭで、後述のテーブル１８
０２を格納すると共に、ＣＰＵ１８０３が後述の各処理
を実行する際のワークエリアとしても用いられている。

【０１３６】１８０７はＮＣＵで、上述の４つの複合現
実感提示装置Ａ、Ｂ、Ｃ、Ｄとの通信を行うためのイン
ターフェースである。

【０１３７】１８０８は上述の各部を繋ぐバスである。

【０１３８】次にテーブル１８０２について説明する。
このテーブル１８０２には、各複合現実感提示装置を使
用しているユーザに関する情報（１８０２ａ〜１８０２
ｄ）と、各ユーザのイルカに関する情報（１８０２ｅ〜
１８０２ｇ）が記載されている。また、所有フラグ１８
０２ｈは、イルカを所有しているユーザには１、所有し
ていないユーザには０が割り当てられる。

【０１３９】ここで、各装置を使用しているユーザに関
する情報として、ユーザの頭部及び手の位置は、全ユー
ザが存在する共通の空間内での絶対座標値であって、こ
の位置の計測のための原点は、第１の実施形態では、位
置姿勢計測部１０３の位置であった。しかし、本実施形
態における原点は全ユーザに共通でなくてはいけない。
よって、所定の１点を設定し、この１点の位置を原点と
する。

【０１４０】又、サーバ１８０１は、このテーブル１８
０２の他にも、第１の実施形態で説明したモーションデ
ータや、発声内容テーブルなどをＲＡＭ１８０２内に格
納している。

【０１４１】つまり、本実施形態における複合現実感提
示装置（複合現実感提示装置Ａ，Ｂ，Ｃ，Ｄ）は、第１
の実施形態において説明した複合現実感提示装置からペ
ット状態管理部１１０を取り外した複合現実感提示装置
であって、各複合現実感提示装置から取り外されたペッ
ト状態管理部１１０内の情報の一部をテーブル化したも
のが、テーブル１８０２である。そして本実施形態にお
ける複合現実感提示装置Ａ，Ｂ，Ｃ，Ｄは、このテーブ
ル１８０２を参照することで、各装置を使用しているユ
ーザの状態、イルカの状態を把握することができ、各装
置のユーザに対して第１の実施形態で説明した複合現実
感を体感させることができる。

【０１４２】また、テーブル１８０２はどの装置からも
参照することができるため、例えば装置Ｂを使用してい
るユーザＢは、他のユーザが操作しているイルカを見る
ことができる。このことは、装置Ｂが、他のユーザのイ
ルカの情報をテーブル１８０２を参照することで把握で
きることに起因する。

【０１４３】＜変形例１＞本実施形態のシステムを用い
ることで、ユーザ同士でペットの交換を行うことができ
る。例えばユーザＢが、ユーザＣに対してペットを譲渡
する行為のことである。ここで、このペット交換を行う
ためのユーザがとるべき動作として、本実施形態では以
下のように規定する。

【０１４４】譲渡動作「交換を行うユーザ同士が互いの
手を２０センチ程近づけ、ペットを譲渡するユーザ（ユ
ーザ甲）の手を、ペットを譲渡されるユーザ（ユーザ
乙）の手よりも５センチ程上に動かす。」 なお、以下のペット交換は、所有フラグが１のユーザか
ら所有フラグか０のユーザに対してのみ行われ得るもの
とする。しかし、テーブル１８０２の構成方法によって
は、個人で複数のイルカを所有することができる（本実
施形態の範疇ではないので、ここではその方法について
は省略する）。よって、その場合、ペット交換は任意の
ユーザ間で行うことができる。

【０１４５】ペット交換を行うユーザ同士が、この譲渡
動作を実行することで、ユーザ甲の手からペットが飛び
出て、ユーザ乙の手に飛び移り、ユーザ甲が所有してい
たペットがユーザ乙に譲渡される。

【０１４６】以下では具体的な説明のため、ユーザ甲を
ユーザＢ、ユーザ乙をユーザＣとするが、これに限らず
に、ユーザ甲、乙がいずれのユーザであっても良いこと
は後述により明白である。。

【０１４７】本実施形態における複合現実感提供システ
ムが、このペット交換を実現する際に行う処理につい
て、図１９Ａ〜図１９Ｄを用いて説明する。

【０１４８】まず、ペット交換を行う準備段階として、
図１９Ａに示すように、ユーザＢ、Ｃが互いの手を２０
センチ程に近づける。互いの手の間の距離の計測方法と
しては、テーブル１８０２にはユーザＢ、Ｃの手の座標
値が記載されており、又常に更新されているので（装置
Ｂ、Ｃで計測された手の座標値をサーバ１８０１が読み
とってテーブル１８０２を更新する）、サーバ１８０１
はこの夫々のユーザＢ、Ｃの手の座標値から、互いの手
の間の距離をＣＰＵ１８０３により計算する。そして、
図１９Ａに示すように、互いの手の間の距離が２０セン
チ程になったら、ユーザＢ、Ｃが使用する装置Ｂ、Ｃに
対して、サーバ１８０１はモード変更信号を出力する。
この信号を受けた装置Ｂ、Ｃは夫々ペット交換のモード
に変更される。詳細は後述する。

【０１４９】図１９Ａに示した状態から、図１９Ｂに示
すように、ユーザＣの手は動かさずに、ユーザＢの手を
５センチ程上に移動させると、図１９Ｃに示すように、
ユーザＢの手の位置から、ユーザＢのイルカがユーザＣ
の手の位置に飛び出す。

【０１５０】このときのユーザＢのイルカの状態番号Ｓ
（ここでは５０とする）と、この状態番号Ｓに応じたイ
ルカのモーションとして「２０センチ前に飛び出す」モ
ーションと、このモーションを特定する番号ＭＴを第２
の実施形態において説明したとおりに各テーブルに登録
し、上述の譲渡動作をＳ＝５０となるための条件とする
ことで、ユーザＢ、Ｃが夫々上述の譲渡動作を行った時
点で、図１９Ｃに示した上述の譲渡が行われる。

【０１５１】また、この譲渡の後（図１９Ｄ）、テーブ
ル１８０２において、ユーザＢの所有フラグは０とな
り、ユーザＣの所有フラグは１となる。又、ユーザＢの
イルカに関する情報はそのままユーザＣのイルカに関す
る情報として、図１８においてユーザＣの行にコピーさ
れる。

【０１５２】以上のペット交換を行う際、サーバ１８０
１が行う処理について、この処理のフローチャートを示
す図２１を用いて説明する。なお同図に示されたフロー
チャートにプログラムコードはＲＡＭ１８０２内に格納
され、ＣＰＵ１８０３により読み出され、実行される。

【０１５３】サーバ１８０１は常に各ユーザに関する情
報（頭部の位置姿勢、手の位置姿勢）を各ユーザの使用
する装置から読み出して、テーブル１８０２を定期的に
更新している（ステップＳ２１０１）。そして上述の通
り、それぞれの手の間隔が２０センチ程となっているユ
ーザ２名をテーブル１８０２（手の状態が記載されてい
る列１８０２ｄ）に基づいて探し、それぞれの手の間隔
が２０センチ程となっているユーザ２名がいた場合（ス
テップＳ２１０２）、これらのユーザが使用している装
置に対して上述のモード変更信号を出力する（ステップ
Ｓ２１０３）。

【０１５４】次に、本実施形態における複合現実感提示
装置（上述の例ではユーザＢが使用する装置）のメイン
の処理のフローチャートとして、図１４に示したフロー
チャートにおいて、ステップＳ１４０１で更に、複合現
実感提示装置の動作モードをノーマルモード（図１４に
示したフローチャートに従った処理を行うモード）に設
定し、ステップＳ１４０２の次の処理で、動作モード
が、ペット交換モードになっていないか否かを判断し、
ペット交換モードの場合には、新たに処理を図２０に示
すフローチャートに移行するフローチャートとなる。な
お同図において、ユーザＢの所有フラグをＦｓ、ユーザ
Ｃの所有フラグをＦｒとする。

【０１５５】同図において、まず、イルカがユーザＣの
手の位置に飛んでいるモーションの最中か否かを判断す
る（ステップＳ２００１）。ここでモーションの最中で
ないならば、次に、イルカがユーザＣの手の位置に飛ん
でいるモーションが終了したところか否かを判断する
（ステップＳ２００２）。ここで、モーションが終了と
ころでない、つまり、イルカの譲渡をまだ行っていなけ
れば、テーブル１８０２を参照し、ユーザＢ、Ｃの所有
フラグを確認する。つまり、Ｆｓ（ユーザＢの所有フラ
グ）が１で、Ｆｒ（ユーザＣの所有フラグ）は０である
か否かを判断する（ステップＳ２００３）。

【０１５６】次に、ユーザＢの手の位置が、ユーザＣの
手の位置よりも５センチ程上か否かを判断し（ステップ
Ｓ２００４）、５センチ程上であった場合には、イルカ
の状態番号Ｓ及びモーション番号ＭＴを設定（上記の例
ではＳ＝５０とそれに応じたモーション番号に設定）し
（ステップＳ２００５）、処理をステップＳ１４０７に
移行する。つまり、設定したモーション番号に応じたモ
ーションを実行する。

【０１５７】なお、ステップＳ２００２において、モー
ションが終了したら、サーバ１８０１に格納されている
テーブル１８０２に記載の所有フラグＦｓ、Ｆｒの書き
換えを行う。つまり、Ｆｓ：１→０、Ｆｒ：０→１とす
る（ステップＳ２００６）。

【０１５８】なお、以上の説明による本実施形態のフロ
ーチャート（図２０を含む）に従ったプログラムコード
は、ＲＡＭ１１２（もしくはＲＯＭ１１１でもよいが）
に格納され、ＣＰＵ１０１により読み出され、実行され
る。

【０１５９】以上の構成により、本実施形態におけるシ
ステムは、複数のユーザがイルカとのコミュニケーショ
ンをとる複合現実感を体感できるだけでなく、ユーザ間
で互いのイルカを見ることができたり、イルカの交換を
行うこともできる。また、テーブルなど比較的メモリの
容量を圧迫しかねないデータをサーバに格納すること
で、各複合現実感提示装置が負担するメモリ容量をより
少なくする事ができる。 ［他の実施形態］本発明の目的は、前述した実施形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体（または記録媒体）を、システムあるいは
装置に供給し、そのシステムあるいは装置のコンピュー
タ（またはCPUやMPU）が記憶媒体に格納されたプログラ
ムコードを読み出し実行することによっても、達成され
ることは言うまでもない。この場合、記憶媒体から読み
出されたプログラムコード自体が前述した実施形態の機
能を実現することになり、そのプログラムコードを記憶
した記憶媒体は本発明を構成することになる。また、コ
ンピュータが読み出したプログラムコードを実行するこ
とにより、前述した実施形態の機能が実現されるだけで
なく、そのプログラムコードの指示に基づき、コンピュ
ータ上で稼働しているオペレーティングシステム(OS)な
どが実際の処理の一部または全部を行い、その処理によ
って前述した実施形態の機能が実現される場合も含まれ
ることは言うまでもない。

【０１６０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１６１】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図１４〜図１７に示
す）フローチャート、及び／又は第３の実施形態で説明
した図２０を含むフローチャートに対応するプログラム
コードが格納されることになる。

【０１６２】

【発明の効果】以上の説明した通り、本発明によれば、
ユーザの所定の部位による所定の動作により、仮想物体
の状態を遷移させることで、この仮想物体の存在感の認
知を容易にすることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における複合現実感提
示装置の内部の概略構成を示すブロック図である。

【図２】世界座標系を示す図である。

【図３Ａ】ユーザの頭部の右側面から見た場合の、ユー
ザの頭部のローカル座標系を示す図である。

【図３Ｂ】ユーザの頭部の頭頂から見た場合の、ユーザ
の頭部のローカル座標系を示す図である。

【図４】ユーザの手のローカル座標系を示す図である。

【図５Ａ】コミュニケーションレベル１において、イル
カを呼び出す状態を示す図である。

【図５Ｂ】コミュニケーションレベル１において、イル
カが顔を出した状態を示す図である。

【図５Ｃ】ユーザが手を上下に振る様子を示す図であ
る。

【図５Ｄ】ユーザが図５Ｃに示した動作を行った結果、
イルカが飛び跳ねる状態を示す図である。

【図６】モーション番号と、この番号に応じたモーショ
ンが格納されたアドレスとが対応して記載されたテーブ
ルを示す図である。

【図７】モーションデータを格納するペット状態管理部
１１０内の不図示のメモリ内のメモリ領域を示す図であ
る。

【図８】状態番号と、モーション番号とが対応して記載
されたテーブルを示す図である。

【図９】一つの状態に対して、複数のモーションが存在
する場合を説明する図である。

【図１０】コミュニケーションレベル１におけるユーザ
の動作に応じたイルカの状態遷移則を示す図である。

【図１１】コミュニケーションレベル２におけるユーザ
の動作に応じたイルカの状態遷移則を示す図である。

【図１２】コミュニケーションレベル３におけるユーザ
の動作に応じたイルカの状態遷移則を示す図である。

【図１３】発声内容テーブルを示す図である。

【図１４】本発明の第１の実施形態における複合現実感
提示装置がメインに行う処理のフローチャートである。

【図１５】本発明の第１の実施形態における複合現実感
提示装置がメインが、コミュニケーションレベル１にお
いて行う処理のフローチャートである。

【図１６】本発明の第１の実施形態における複合現実感
提示装置がメインが、コミュニケーションレベル２にお
いて行う処理のフローチャートである。

【図１７】本発明の第１の実施形態における複合現実感
提示装置がメインが、コミュニケーションレベル３にお
いて行う処理のフローチャートである。

【図１８】本発明の第３の実施形態における複合現実感
提供システムの概略構成を示す図である。

【図１９Ａ】ユーザＢ、Ｃが互いの手を近づけた状態を
示す図である。

【図１９Ｂ】イルカの交換を行う際にユーザＢ、Ｃが行
う動作を示す図である。

【図１９Ｃ】イルカの交換を行っている状態を示す図で
ある。

【図１９Ｄ】イルカの交換を行った後の状態を示す図で
ある。

【図２０】ペット交換を行う際に、ユーザＢの複合現実
感提示装置が行う処理のフローチャートである。

【図２１】ペット交換を行う際に、サーバ１８０１が行
う処理のフローチャートである。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 11/60 - 17/50 H04N 13/00 - 17/06

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 仮想物体の画像を生成し、当該画像を現
   実空間に重畳してユーザに提示する複合現実感提示装置
   であって、 ユーザの所定部位の位置姿勢を計測する第１の計測手段
   と、前記ユーザの頭部の位置・姿勢を計測する第２の計測手
   段と、 前記仮想物体の内部状態を管理する管理手段と、 前記仮想物体の内部状態と前記第１の 計測手段による計
   測結果とに基づいて、前記所定部位による所定動作を検
   知し、前記仮想物体の動作を決定する検知手段と、 前記検知手段による検知結果に応じて、前記仮想物体の
   内部状態を、当該内部状態とは別の内部状態に遷移させ
   る遷移手段と、前記ユーザの頭部の位置・姿勢の計測結果と、前記決定
   された仮想物体の動作に応じて仮想物体の映像を生成
   し、前記現実空間に重畳する生成 手段とを備えることを
   特徴とする複合現実感提示装置。
2. 【請求項２】 更に、現実空間の映像を撮像する撮像手
   段を備え、 前記生成手段は、前記仮想物体の映像を前記撮像された
   現実空間の映像に重畳することを特徴とする請求項１記
   載の複合現実感提示装置。
3. 【請求項３】 前記管理手段は、前記所定部位による前
   記所定動作と、前記仮想物体の状態遷移に関する情報と
   を関連づけて複数管理し、 前記遷移手段は、前記管理手段が管理している、前記所
   定部位による前記所定動作に応じた前記仮想物体の状態
   遷移に関する情報を参照することで、前記仮想物体の状
   態を遷移させることを特徴とする請求項１に記載の複合
   現実感提示装置。
4. 【請求項４】 前記仮想物体が発する内容に関する情報
   は、当該内容を発声する音声のデータ、当該内容を示す
   文字のデータのいずれかを含むことを特徴とする請求項
   １に記載の複合現実感提示装置。
5. 【請求項５】 仮想物体の画像を生成し、当該画像を現
   実空間に重畳してユーザに提示する複合現実感提示方法
   であって、 ユーザの所定部位の位置姿勢を計測する第１の計測工程
   と、前記ユーザの頭部の位置・姿勢を計測する第２の計測工
   程と、 前記仮想物体の内部状態を管理する管理工程と、 前記仮想物体の内部状態と前記第１の 計測工程による計
   測結果とに基づいて、前記所定部位による所定動作を検
   知し、前記仮想物体の動作を決定する検知工程と、 前記検知工程による検知結果に応じて、前記仮想物体の
   内部状態を、当該内部状態とは別の内部状態に遷移させ
   る遷移工程と、前記ユーザの頭部の位置・姿勢の計測結果と、前記決定
   された仮想物体の動作に応じて仮想物体の映像を生成
   し、前記現実空間に重畳する生成 工程とを備えることを
   特徴とする複合現実感提示方法。
6. 【請求項６】 前記管理工程では、前記所定部位による
   前記所定動作と、前記仮想物体の状態遷移に関する情報
   とを関連づけて所定の管理手段に複数管理しており、 前記遷移工程では、前記所定の管理手段で管理されてい
   る、前記所定部位による前記所定動作に応じた前記仮想
   物体の状態遷移に関する情報を参照することで、前記仮
   想物体の状態を遷移させることを特徴とする請求項５に
   記載の複合現実感提示方法。
7. 【請求項７】 更に、複数のユーザについて、前記頭部
   の位置姿勢および前記所定部位の位置姿勢を管理する工
   程を備え、 前記頭部の位置姿勢および前記所定部位の位置姿勢は、
   前記複数のユーザについて共通の空間内での座標値を用
   いて管理されることを特徴とする請求項５に記載の複合
   現実感提示方法。
8. 【請求項８】 更に、複数のユーザについて、前記頭部
   の位置姿勢および前記所定部位の位置姿勢を管理する手
   段を備え、 当該手段は、前記複合現実感提示装置に接続されたサー
   バ装置として機能し、前記手段は、前記頭部の位置姿勢
   および前記所定部位の位置姿勢を、前記複数のユーザに
   ついて共 通の空間内での座標値を用いて管理することを
   特徴とする請求項１に記載の複合現実感提示装置。
9. 【請求項９】 コンピュータに請求項７に記載の複合現
   実感提示方法を実行させる為のプログラムを格納する、
   コンピュータ読み取り可能な記憶媒体。