JP2017086542A - 画像変更システム、方法、及びプログラム - Google Patents

Abstract

【課題】仮想空間内における画像の生成に偶然的な要素を関与させ、即興的な効果を生じさせること。【解決手段】発生音検出手段８０２は現実空間内を移動するオブジェクトの発生音を検出する。位置検出手段８０１は検出音に基づいて現実空間内のオブジェクトの位置を検出する。タイミング取得手段８０３は検出音に基づいて発生音の発生タイミング情報を取得する。テーブルサーチ手段８０４はオブジェクトの発生音に対応する表示態様を出力する。位置指定手段８０５は現実空間内のオブジェクトの位置に対応する仮想現実空間内の位置を指定する。変更態様情報出力手段８０６は、仮想現実空間内の対応位置の近傍領域の表示態様を発生音に対応する表示態様で置き換えるために、仮想現実空間内の位置情報及びタイミング情報に基づいて変更態様情報を画像出力手段８０７に供給する。【選択図】図８Ａ

Description

本発明は、画像変更システム、方法、及びプログラムに関する。

従来より、仮想現実（ＶＲ：Virtual Reality）空間内にオブジェクトを出現させ、仮想現実空間内においてゲームを進行させるようにしたゲームシステムが知られている。当該ゲームシステムは、例えば、頭部装着型ディスプレイ（ＨＭＤ：Head Mounted Display）と、プレイヤーの視点の位置姿勢を検出するための位置姿勢センサと、ＣＧ（Computer Graphics;コンピュータグラフィックス）映像生成手段を備えている。そして、生成されたＣＧ映像をＨＭＤに表示することにより、プレイヤーはあたかも仮想のＣＧ空間の中に没入しているような感覚を得ることができる。

なお、位置姿勢センサとしては、例えば、磁気方式による位置姿勢センサなどが用いられ、これをＨＭＤに取り付けることによってセンサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）をリアルタイムで検出している。

上記のような従来のＶＲ技術を利用したゲームにおいては、ゲームの進行は所定のプログラムに基づいて行われ、仮想現実空間内における画像の生成に偶然的な要素を関与させることはできなかった。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、仮想空間内における画像の生成に偶然的な要素を関与させ、即興的な効果を生じさせるようにした画像変更システム、制御方法、及びプログラムを提供することにある。

上述した課題を解決するための本発明の基本的態様は、ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、前記仮想空間内の位置を指定する位置指定手段と、タイミングを指定するタイミング指定手段と、前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システムに係るものである。

本発明によれば、仮想空間内における画像の生成に偶然的な要素を関与させることにより即興的な効果を生じさせることができ、エンタテイメント性の向上を図ることができる。

図１は、本発明の一実施形態に係る画像変更システム１の概略構成を示すブロック図である。 図２は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図である。 図３は、画像生成装置２００の基本機能の構成を示すブロック図である。 図４は、ユーザの頭の動きを模式的に示す模式図である。 図５Ａは、画像変更システムによる表示態様の変更が実施される前の画面表示の模式図である。 図５Ｂは、画像変更システムによる表示態様の変更が実施された後の画面表示の模式図である。 図６は、画像変更システムの第１実施形態の基本機能の構成を示すブロック図である。 図７Ａは、画像変更システムの第２実施形態の基本機能の構成を示すブロック図である。 図７Ｂは、画像変更システムの第２実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。 図８Ａは、画像変更システムの第３実施形態の基本機能の構成を示すブロック図である。 図８Ｂは、画像変更システムの第３実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。

［本発明の実施形態の説明］
本発明の実施の形態の概要を例示的に列挙すると以下のとおりである。
〔形態１〕
ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、
前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、
前記仮想空間内の位置を指定する位置指定手段と、
タイミングを指定するタイミング指定手段と、
前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、
を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システム。
本形態１によれば、仮想空間内における画像の生成に偶然的な要素を関与させることにより即興的な効果を生じさせることができ、エンタテイメント性の向上を図ることができる。

〔形態２〕
形態１に記載の画像変更システムにおいて、前記表示態様の変更がオブジェクト及び／又はアクションの変更であることを特徴とする画像変更システム。
本形態２によれば、表示態様の変更にリアリティを付与することができる。

〔形態３〕
形態１又は２に記載の画像変更システムにおいて、前記位置指定手段は、前記仮想空間内の位置をランダムに指定し、前記タイミング指定手段はタイミングをランダムに指定することを特徴とする画像変更システム。
本形態３によれば、偶然的な要素の関与の度合いを高めることができ、即興的な効果を増大させることができる。

〔形態４〕
形態１〜３のいずれかに記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から１つをランダムに選択して出力することを特徴とする画像変更システム。
本形態４によれば、偶然的な要素の関与の度合いを高めることができるとともに、表示態様の変更のための構成を簡素化することができる。

〔形態５〕
形態１又は２に記載の画像変更システムにおいて、前記位置指定手段は、現実空間内の位置情報に基づいて仮想空間内の位置を指定することを特徴とする画像変更システム。
本形態５によれば、現実空間と仮想空間との対応関係を有効に利用することができる。

〔形態６〕
形態５に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
本形態６によれば、表示態様の変更のための構成を簡素化することができる。

〔形態７〕
形態６に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更システム。
本形態７によれば、表示態様の変更を確実に行うことができる。

〔形態８〕
形態５に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更システム。
本形態８によれば、表示態様の変更を簡便に行うことができる。

〔形態９〕
形態８に記載の画像変更システムにおいて、前記現実空間内の位置情報は、前記現実空間内を移動する１又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記表示態様変更情報出力手段は、前記１又は複数のオブジェクトの発生する音を解析し該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
本形態９によれば、オブジェクトの発生する音を利用して多様な表示態様の変更を実現することができる。

〔形態１０〕
形態１〜９のいずれかに記載の画像変更システムにおいて、前記仮想空間は仮想現実（Virtual Reality）空間であることを特徴とする画像変更システム。
本形態１０によれば、ＶＲ空間における表示態様の変更を即興的かつ簡便に実施することができる。

本発明の他の実施の形態は、上記各システムと略同様の内容を有する方法、及び、該方法をコンピュータにより実現するためのプログラムに係るものである。
そして、前記方法、及び、プログラムにおいても、前記システムと同様の作用効果を奏するものである。

以下、本発明に係る実施の一形態を図面に基づいて詳細に説明する。なお、本発明は、以下において説明する実施の形態に限定されるべきではなく、特許請求の範囲の記載に基き解釈されるべきである。また、当業者であれば、他の類似する実施形態を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。

〔システムの構成の概要〕
図１は、本発明の実施の一形態に係る画像変更システム１の構成を示すブロック図である。システム１は、位置指定手段２とタイミング指定手段３と表示態様変更情報出力手段４と画像出力手段５を具備している。システム１の各構成要素２〜５の果たす機能の詳細については、以下において詳述する。

〔全体システムのハードウェア構成の概要〕
図２は、本発明の一実施形態を含む全体システムのハードウェア構成の概要を示す概念図であり、全体システム１００のハードウェア構成として、ＨＭＤ１２０と、画像生成装置２００とを含むものである。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。

ＨＭＤ１２０は、ユーザ１０１の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、センサ１２６とを備える。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）を備えてもよい。

ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１０１の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１０１の視界から遮断され、ユーザ１０１の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間、例えば、コンピュータゲームで作り出される世界を画像化した仮想現実空間画像である。

センサ１２６は、ＨＭＤ１２０を装着したユーザ１０１の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１０１の頭の向きが算出される。ユーザ１０１の頭の向きは、ユーザ１０１が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用することができる。例えば、ユーザ１０１が頭を右（又は左、上、下）に向けると、ディスプレイ１２２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されることになる。

なおセンサ１２６として、ＨＭＤ１２０の外部に設けられたセンサを適用することとしてもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを特定することができる。

画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するためのシステムである。画像生成装置２００は、ハードウェア構成として、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０６と、通信インターフェイス２０８とを少なくとも備える。画像生成装置２００は、専用の装置であってもよいが、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、ＰＤＡ（Personal Digital Assistant）、タブレット端末等として実現することが可能である。

メモリ２０４には、少なくともオペレーティングシステムと画像生成用プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。

プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納されたプログラムを実行することによって、画面生成が行われる。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。

ユーザ入力インターフェイス２０６は、画像表示システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。

通信インターフェイス２０８は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。

なお、画像生成用プログラムは、ＳＮＳプラットフォームとは独立したプログラムとして構築してもよいし、ＳＮＳプラットフォーム上で提供されるプログラムとすることもできる。プログラムが、ＳＮＳプラットフォーム上で提供されるプログラムの場合には、プログラム（アプリケーションソフトウェア）がサーバに実装されており、該サーバが、各ユーザの入力操作に応じて画像生成のための演算処理やデータ処理を実行することになる。したがって、このようなケースにおいては、メモリ２０４に画像生成用プログラムを格納しておく必要はない。

〔画像生成装置の基本的動作〕
次に、画像生成装置２００の基本的動作について説明する。なお、以下の説明においては、仮想空間を仮想現実（ＶＲ）空間とするが、あくまで例示であって、仮想空間はＶＲ空間に限られるものではない点に留意されたい。

図３は、画像生成装置２００の基本機能の構成を示すブロック図であり、図２に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される画像生成処理の機能を表す。

画像生成部２３１は、ＨＭＤ１２０に表示するための画像を生成する。例えば、画像生成部２３１は、記憶部２２０から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１は、ＨＭＤ１２０を装着した第２ユーザ１０１がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実空間画像を生成する。仮想現実空間画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１によって生成される仮想現実空間画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバター（自分自身）の体の一部（手や足）やアバターが手で持っている物体（銃や剣）等の様々なオブジェクトを含む。仮想現実空間を構成するこのような各オブジェクトの配置位置、形状、色など、仮想現実空間画像を生成するのに必要なデータは、仮想現実空間構成情報２２１として記憶部２２０に格納されている。画像生成部２３１ｂは、記憶部２２０から取得した仮想現実空間構成情報２２１に基づいて、このようなコンピュータゲームの仮想現実空間画像を生成する。

また、画像生成部２３１は、センサ１２６からの出力値に基づいて画像を変化させている。例えば、画像生成部２３１が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示すユーザ１０１の頭の動きに追従して移り変わっていく様子を表す画像であってよい。一例として、図４は、ユーザの頭の動きを模式的に示す。図示されるように、ユーザ１０１の頭の中心とＨＭＤ１２０の中心（ディスプレイ１２２の画面中心）とを結ぶ軸をＺ軸、ユーザ１０１の頭の中心と頭頂部とを結ぶ軸をＹ軸、ユーザ１０１の頭の中心を通りＹ軸及びＺ軸に直交する軸をＸ軸にとる。センサ１２６が例えば角速度センサである場合、センサ１２６からはＸ軸回りのピッチ角、Ｙ軸回りのヨー角、及びＺ軸回りのロール角のそれぞれの角速度の値が出力される。画像生成部２３１は、これらの角速度の出力値、即ちユーザ１０１の頭の向きに基づいて、仮想現実空間画像を変化させる。例えば、ユーザ１０１が頭を右に向けた場合、Ｙ軸回りのヨー角が変化する。画像生成部２３１は、Ｙ軸の角速度値の変化に合わせて、仮想現実空間内でユーザの右方向にある光景が映し出されるように、仮想現実空間画像を変化させる。同様に、ユーザ１０１が頭を右に傾けた場合、Ｚ軸回りのロール角が変化する。画像生成部２３１は、Ｚ軸の角速度値の変化に合わせて、仮想現実空間内におけるユーザの視界が右に傾くように、仮想現実空間画像を変化させる。

また、画像生成部２３１は、ユーザの位置に基づいて画像を変化させている。例えば、ユーザが仮想現実空間内を歩き回る場合、画像生成部２３１が生成する画像は、仮想現実空間内でユーザが現在立っている位置から見える光景を表す画像であってよい。一例として、仮想現実空間内におけるユーザの経時的な位置情報が記憶部２２０に記憶される。画像生成部２３１は、記憶部２２０から仮想現実空間内におけるユーザの直前の位置情報を取得する。またゲームコントローラなどのユーザ入力インターフェイス２０６からは、ユーザが仮想現実空間内を歩き回るための操作入力として、ユーザの移動方向及び移動速度の指示が入力される。画像生成部２３１は、記憶部２２０から取得したユーザの直前の位置情報と、ユーザ入力インターフェイス２０６から入力されたユーザの移動方向及び移動速度の情報とに基づいて、仮想現実空間内におけるユーザの現在位置を算出する。算出したユーザの現在位置に基づいて、画像生成部２３１は、仮想現実空間内をユーザが歩くのに合わせてユーザの視界が移り変わるように、仮想現実空間画像を変化させる。

このようにして、画像生成部２３１では、仮想現実空間内におけるユーザの位置と頭の向きに応じた仮想現実空間画像が生成される。生成された仮想現実空間画像は、画像出力部２３９を介してＨＭＤ１２０へ出力されて、ディスプレイ１２２に表示される。これによりユーザは、仮想現実空間において、現在自分が立っている場所から頭を向けた方向に存在する仮想的光景を見ることができる。

〔画像変更システム〕
画像変更システムについて詳細を説明するに当たり、画像生成装置に画像変更システムを適用した場合の表示態様例について、図５Ａ及び図５Ｂを用いて説明する。

図５Ａは、画像変更システムによる表示態様の変更が実施される前の画面表示の模式図、図５Ｂは、画像変更システムによる表示態様の変更が実施された後の画面表示の模式図である。両図を比較すれば明らかなように、図５Ａに示されるような仮想現実空間内の指定された位置５０１の近傍を表す破線領域５０２の表示態様が、画像変更システムの作用により、図５Ｂにおいては領域５０２’のように変更されている。このように、画像変更システムは、指定されたタイミングで仮想現実空間内の指定された位置近傍にあるオブジェクト及び／又はアクションを適宜変更し、当該位置近傍の表示態様を変更するという機能を有するものである。

次に、上記のような機能を有する画像変更システムを３つのタイプに大別し、以下、それらをそれぞれ第１、第２、第３実施形態として説明する。

＜第１実施形態＞
図６は、画像変更システムの第１実施形態の基本機能の構成を示すブロック図である。図６に示される手段６０１〜６０７と図１に示される手段２〜４との対応関係は以下のとおりである。図１の位置指定手段２に相当するものは、図６の乱数発生手段６０１、サンプル手段６０２、テーブルサーチ手段６０３である。また、図１のタイミング指定手段３に相当するものは、図６の乱数発生手段６０１、サンプル手段６０２、テーブルサーチ手段６０５、加算手段６０７である。更に、図１の表示態様変更情報出力手段４に相当するものは、図６の乱数発生手段６０１、サンプル手段６０２、テーブルサーチ手段６０４、変更態様情報出力手段６０６である。

上記各手段６０１〜６０７の有する機能について以下説明する。乱数発生手段６０１は、一定範囲の乱数を発生させ、サンプリング手段６０２は、乱数発生手段６０１が発生させた乱数の中から任意の乱数を抽出するものである。テーブルサーチ手段６０３〜６０５は、抽出された乱数をテーブルの読み出しアドレスとして用い、仮想現実空間内の位置が記憶されている位置テーブル（不図示）、変更後の表示態様が記憶されている変更態様テーブル（不図示）、前回のタイミング時刻からの経過時間値が記憶されているタイミングテーブル（不図示）から該当するアドレスに格納されているデータを取得する。

テーブルサーチ手段６０３から出力された位置情報（指定位置情報）とテーブルサーチ手段６０４から出力された変更後の表示態様の情報に基づいて、変更態様情報出力手段６０６が変更指定位置近傍の変更後の表示態様の情報を取得する。そして、タイミングテーブル（不図示）から読み出された経過時間値に前回のタイミング時刻値を加算して、タイミング情報を発生すべき時刻の情報を算出し、タイミング情報を発生すべき時刻が到来したときに、変更態様情報出力手段６０６は、前記取得した指定位置近傍の変更後の表示態様の情報を画像出力手段６０８に供給する。画像出力手段６０８は、画像情報を画像生成部２３１（図３参照）に供給する。

これにより、例えば、図５Ａの領域５０１、５０２の表示態様が図５Ｂの領域５０１’、５０２’のように変更され、画像生成部２３１により図５Ｂに示されるような画像が生成され、画像出力部２３９を経てＨＭＤ１２０のディスプレイ１２２に表示される。

＜第２実施形態＞
図７Ａは、画像変更システムの第２実施形態の基本機能の構成を示すブロック図である。図７Ａに示される手段７０１〜７０６と図１に示される手段２〜４との対応関係は以下のとおりである。図１の位置指定手段２に相当するものは、図７Ａの位置検出手段７０１、位置指定手段７０５である。また、図１のタイミング指定手段３に相当するものは、図７Ａのタイミング取得手段７０３である。更に、図１の表示態様変更情報出力手段４に相当するものは、図７Ａの選択信号検出手段７０２、テーブルサーチ手段７０４、変更態様情報出力手段７０６である。

上記各手段７０１〜７０６の中、特に破線内に示される手段７０１〜７０３の有する機能に関し、図７Ｂを使用して以下説明する。図７Ｂは、図７Ａに示される画像変更システムの第２実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。図７Ｂにおいては、現実空間内（例えば、スタジオ内）を移動するオブジェクト７１１、７１２に、選択操作内容に対応した点滅パターンで発光する選択デバイス７２１、７２２を保持させてデジタルビデオカメラ７３１、７３２で撮像し、撮像されたシーンを解析して選択デバイス７２１、７２２の位置情報を取得するとともに、その点滅パターンから選択操作内容の情報を取得するようにしている。また、点滅パターンの発生時点をタイミング取得手段７０３で取得し、タイミング情報として使用している。なお、必要に応じて、各デバイスごとの固有のＩＤを点滅パターンに含めることもできる。

表示態様変更の指示情報は、例えば、点滅パターンと表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、取得された点滅パターンを用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容（表示態様変更の指示情報）を読み出すことにより取得することができる。

なお、オブジェクト７１１、７１２は、典型的には人物であるが、ランダムに移動するロボット等であってもよい。スタジオ内にモニターを設け、ユーザが視認している仮想的光景を視認できるようにしてもよい。オブジェクトや選択デバイスの数、デジタルビデオカメラの個数等は、図示のものに限られるものではなく、適宜設定することができる。また、図７Ｂに示される選択デバイス７２１、７２２は可視光を発生するものであるが、選択デバイスから赤外光を発生させ、それを赤外デジタルビデオカメラで撮像するように構成してもよい。

また、選択デバイスを使用せず、オブジェクト７１１、７１２のジェスチャを検出することにより選択操作内容の情報を取得こともできる。この場合、表示態様変更の指示情報は、例えば、ジェスチャと表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、検出されたジェスチャを用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容（表示態様変更の指示情報）を読み出すことにより取得することができる。この場合は、ジェスチャの検出時点をタイミング取得手段７０３で取得し、タイミング情報として使用している。

さらに、超音波を利用した次のような構成（不図示）を採用することもできる。即ち、例えば、スタジオの天井に超音波センサを所定間隔でメッシュ状に配置し、スタジオ内を移動するオブジェクトに、選択操作内容に対応したパターンで超音波を発生する選択デバイスを保持させるようにする。選択デバイスから発信された超音波は、天井に配置された超音波センサのいくつかで受信され、伝播遅延時間の差から三角測距の原理で選択デバイスの位置が算出されるとともに、パターン情報から選択操作内容の情報が取得される。なお、必要に応じて、各デバイスごとの固有のＩＤをパターンに含めることもできる。

＜第３実施形態＞
図８Ａは、画像変更システムの第３実施形態の基本機能の構成を示すブロック図である。図８Ａに示される手段８０１〜８０６と図１に示される手段２〜４との対応関係は以下のとおりである。図１の位置指定手段２に相当するものは、図７Ａの位置検出手段８０１、位置指定手段８０５である。また、図１のタイミング指定手段３に相当するものは、図８Ａのタイミング取得手段８０３である。更に、図１の表示態様変更情報出力手段４に相当するものは、図７Ａの発生音検出手段８０２、テーブルサーチ手段８０４、変更態様情報出力手段８０６である。

上記各手段８０１〜８０６の中、特に破線内に示される手段８０１〜８０３の有する機能に関し、図８Ｂを使用して以下説明する。図８Ｂは、図８Ａに示される画像変更システムの第３実施形態を用いて現実空間内のオブジェクトの位置情報や表示態様変更の指示情報を取得するための手法の一例を示す模式図である。図８Ｂにおいては、現実空間内（例えば、スタジオ内）を移動するオブジェクト８１１、８１２（例えば、人物）が発生する音（音声）８３１、８３２を、現実空間内（例えば、スタジオ内）に配置した複数の集音手段８２１〜８２４（例えば、マイクロフォン）で収集して、オブジェクト８１１、８１２の位置（音源位置）を取得するとともに、発生音８３１、８３２の解析結果を利用して表示態様の変更指示情報を取得するようにしている。また、音の発生時点をタイミング取得手段８０３で取得し、タイミング情報として使用している。

発生音８３１、８３２の解析には、例えば、音声認識技術を使用することができる。表示態様変更の指示情報は、例えば、音声と表示態様変更の指示情報との対応関係を予めテーブルに格納しておき、解析された音声情報を用いてテーブルのアドレス指定を行い、当該アドレスで指定される領域に格納されている内容（表示態様変更の指示情報）を読み出すことにより取得することができる。

オブジェクトの数、集音手段の配置や個数等は、図示のものに限られるものではなく、適宜設定することができる。例えば、集音手段をＨＭＤ１２０に設けるように構成してもよい。また、スタジオ内にモニターを設け、ユーザが視認している仮想的光景を視認できるようにしてもよい。

以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱し
ない範囲内において様々な変更が可能である。例えば、所定の条件を満たした場合、例えば、ゲームの進行が特定の段階に至った場合にのみタイミング情報の出力を許容して表示態様の変更を可能にしてもよい。

また、前記システムを構成する各手段は、専用のハードウェアであってもよいが、コンピュータがプログラムを実行することにより各処理段階ごとに実現される仮想的手段（所謂、機能現手段）であってもよい。

さらに、前記システムは、各処理が複数のコンピュータ等によって分散処理されるようなシステムとしても構成できる。

１ 画像変更システム
２ 位置指定手段
３ タイミング指定手段
４ 表示態様変更情報出力手段
５、６０８、７０７、８０７ 画像出力手段
１２０ ヘッドマウントディスプレイ（ＨＭＤ）
１２２ ディスプレイ
１２６ センサ
１５０ 有線ケーブル
２００ 画像生成装置
２０２ プロセッサ
２０４ メモリ
２０６ ユーザ入力インターフェイス
２０８ 通信インターフェイス
２２０ 記憶部
２２１ 仮想現実空間構成情報
２３０ 処理部
２３１ 画像生成部
２３９ 画像出力部
５０１、５０２、５０１’、５０２’ 領域
６０１ 乱数発生手段
６０２ サンプル手段
６０３，６０４、６０５、７０４、８０４ テーブルサーチ手段
６０６、７０６、８０６ 変更態様情報出力手段
６０７ 加算手段
７０３、８０３ タイミング取得手段
７０５、８０５ 位置指定手段
７１１、７１２、８１１、８１２ オブジェクト
７２１、７２２ 選択デバイス
７３１、７３２ デジタルビデオカメラ
８２１〜８２４ 集音手段
８３１、８３２ 発生音

Claims (21)

1. ヘッドマウントディスプレイに画像を出力することによって提供される仮想空間内で、前記画像を変更するための画像変更システムであって、
   前記画像を前記ヘッドマウントディスプレイに出力する画像出力手段と、
   前記仮想空間内の位置を指定する位置指定手段と、
   タイミングを指定するタイミング指定手段と、
   前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力する表示態様変更情報出力手段と、
   を備え、前記表示態様変更情報出力手段の出力に基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更システム。
2. 請求項１に記載の画像変更システムにおいて、前記表示態様の変更がオブジェクト及び／又はアクションの変更であることを特徴とする画像変更システム。
3. 請求項１又は２に記載の画像変更システムにおいて、前記位置指定手段は、前記仮想空間内の位置をランダムに指定し、前記タイミング指定手段はタイミングをランダムに指定することを特徴とする画像変更システム。
4. 請求項１〜３のいずれか１項に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から１つをランダムに選択して出力することを特徴とする画像変更システム。
5. 請求項１又は２に記載の画像変更システムにおいて、前記位置指定手段は、現実空間内を移動する１又は複数のオブジェクトの現実空間内の位置情報に基づいて仮想空間内の位置を指定することを特徴とする画像変更システム。
6. 請求項５に記載の画像変更システムにおいて、前記表示態様変更情報出力手段は、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
7. 請求項６に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更システム。
8. 請求項６に記載の画像変更システムにおいて、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更システム。
9. 請求項５に記載の画像変更システムにおいて、前記現実空間内の位置情報は、前記現実空間内を移動する１又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記表示態様変更情報出力手段は、前記１又は複数のオブジェクトの発生する音を解析し該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報を出力することを特徴とする画像変更システム。
10. 請求項１〜９のいずれか１項に記載の画像変更システムにおいて、前記仮想空間は仮想現実（Virtual Reality）空間であることを特徴とする画像変更システム。
11. 仮想空間内で画像を変更するための画像変更方法であって、
    コンピュータが仮想空間内の位置を指定するステップと、
    コンピュータがタイミングを指定するステップと、
    コンピュータが前記指定されたタイミングで、前記指定された位置近傍の表示態様の変更情報を出力するステップと、
    を備え、前記各ステップに基づいて前記仮想空間内の画像を変更させることを特徴とする画像変更方法。
12. 請求項１１に記載の画像変更方法において、前記表示態様の変更が前記指定された位置近傍のオブジェクト及び／又はアクションの変更であることを特徴とする画像変更方法。
13. 請求項１１又は１２に記載の画像変更方法において、前記仮想空間内の位置及びタイミングがランダムに指定されることを特徴とする画像変更方法。
14. 請求項１１〜１３のいずれか１項に記載の画像変更方法において、前記表示態様の変更情報を出力するステップで、予め用意された複数の表示態様の中から１つがランダムに選択されて出力されることを特徴とする画像変更方法。
15. 請求項１１又は１２に記載の画像変更方法において、現実空間内を移動する１又は複数のオブジェクトの現実空間内の位置情報に基づいて仮想空間内の位置が指定されることを特徴とする画像変更方法。
16. 請求項１５に記載の画像変更方法において、予め用意された複数の表示態様の中から選択された表示態様の情報に基づいて前記指定された位置近傍の表示態様の変更情報が出力されることを特徴とする画像変更方法。
17. 請求項１６に記載の画像変更方法において、前記表示態様の変更情報を出力するステップで、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトとともに移動する選択デバイスにより指定されることを特徴とする画像変更方法。
18. 請求項１６に記載の画像変更方法において、前記予め用意された複数の表示態様の中から選択された表示態様は、前記１又は複数のオブジェクトのジェスチャにより指定されることを特徴とする画像変更方法。
19. 請求項１８に記載の画像変更方法において、前記現実空間内の位置情報は、前記現実空間内を移動する１又は複数のオブジェクトの発生する音を集音手段により収集することにより取得された音源位置の情報であり、前記１又は複数のオブジェクトの発生する音が解析され該解析結果に基づいて前記指定された位置近傍の表示態様の変更情報が出力されることを特徴とする画像変更方法。
20. 請求項１１〜１９のいずれか１項に記載の画像変更方法において、前記仮想空間は仮想現実（Virtual Reality）空間であることを特徴とする画像変更方法。
21. コンピュータに請求項１１〜２０のいずれか１項に記載の方法を実行させるためのプログラム。