JP2016045815A - 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 - Google Patents

仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 Download PDF

Info

Publication number
JP2016045815A
JP2016045815A JP2014171042A JP2014171042A JP2016045815A JP 2016045815 A JP2016045815 A JP 2016045815A JP 2014171042 A JP2014171042 A JP 2014171042A JP 2014171042 A JP2014171042 A JP 2014171042A JP 2016045815 A JP2016045815 A JP 2016045815A
Authority
JP
Japan
Prior art keywords
virtual reality
user
video
virtual
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014171042A
Other languages
English (en)
Inventor
泰章 岩井
Yasuaki Iwai
泰章 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2014171042A priority Critical patent/JP2016045815A/ja
Publication of JP2016045815A publication Critical patent/JP2016045815A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想現実の世界を現実の世界であるとユーザが錯覚して仮想現実の世界に入り込めることを可能とする仮想現実提示システムが求められていた。【解決手段】本発明の仮想現実提示システムは、ユーザの状態を検知するユーザ状態検知手段と、当該ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、生成された仮想現実提示用の映像を表示する映像表示手段と、ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、基準を満たしていると判定された場合に、映像表示手段に仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、を備える。【選択図】図１

Description

本発明は、仮想現実提示システム、仮想現実提示装置、仮想現実提示方法、仮想現実サービス提供システム、仮想現実サービス提供サーバ、仮想現実サービス提供方法、情報処理システム、情報処理サーバ、情報処理方法、情報処理プログラム、ヘッドマウントディスプレイ装置、に関する。
近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。
先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実提示装置が開示されている。
特開２００６−３３８１６３号公報
従来のディスプレイでは、ユーザが視聴したい映像コンテンツを選択してディスプレイに表示させる。例えば、テレビのチャンネルを選択して、当該チャンネルで放送されているコンテンツを表示させたり、マウスやタッチパネル等の操作入力装置を用いて、コンピュータに指示入力を行い、自らが使用を希望するアプリケーション画面をディスプレイに表示させたりする。
これらの従来型のディスプレイでは、ユーザからの入力操作を受けた後、短い時間内に指定されたコンテンツデータを読み出して画面に表示できることが、良好なレスポンスを有する良いディスプレイとされる。これは、従来のディスプレイが、ユーザが指定した映像コンテンツを表示する単なる表示装置であることを示している。
ＨＭＤ装置もディスプレイの一種であるが、仮想現実を提示する仮想現実提示装置として使用する場合には、単なる表示装置とは異なる機能が求められる。仮想現実提示装置として優れたデバイスであるかどうかの基準は、いかに素早く映像を表示できるかではなく、いかにユーザが感知する現実（リアル）と仮想現実（バーチャル）の境界をなくすことができるかである。すなわち、ユーザ自身が現在リアルの景色を見ているのか、仮想現実提示装置が提示するバーチャルな景色を見ているのかを判別できなけれはできない程、良いデバイスと言えることになる。
バーチャルな景色をリアルな景色として認識させる、別の表現ではバーチャルな景色をユーザにリアルな景色であると錯覚させるためには、第１に、ＨＭＤ装置に表示している映像の挙動が、現実の景色の挙動と一致している必要がある。ユーザの頭部が動くことで、背後の景色と表示されている映像との間の挙動に不一致が生じてしまうと、ユーザは、現在見えている風景の一部がバーチャルな映像であることを認識してしまうことになる。従って、ＨＭＤ装置は、ユーザの視線の動き等に連動して、映像表示領域に表示する映像を変化させる制御が必要となる。
しかしながら、バーチャルな映像をリアルな映像と認識させることに失敗する別の要因がある。それは、ＨＭＤ装置の映像表示領域に映像の表示することを開始するタイミングにおいて、実際にユーザが感知する景色がリアルからバーチャルに切り替わる不連続が生じることである。
図３９では、仮想現実提示装置によって仮想現実が提示されているユーザにおいて、仮想現実であることを認識しているレベルの推移を示している。図３９において、閾値Ｔｈ０を下回っている場合は、ユーザは現在見ている景色がバーチャルであることを認識しており、閾値Ｔｈ０を上回っている場合は、ユーザは現在見ている景色がリアルであると錯覚していることを示している。
図３９の上図は、ユーザが提示されている仮想現実を現実であると誤って認識している状態において、時刻Ｔ１でユーザは、バーチャルであると認識する事例を示している。例えば、時刻Ｔ１でユーザの頭部が大きく動いたことにより、映像表示領域に表示されている映像と背景の景色との整合性が崩れ、ユーザが今まで見ていた景色の一部又は全部がバーチャルであったと認識する。
一方、図３９の下図は、時刻Ｔ０のタイミングで仮想現実の提示を開始した場合におけるユーザのバーチャルの認識度合いを示している。図３９では、ユーザは時刻Ｔ０のタイミングで、表示領域に仮想現実用のオブジェクトの表示が開始されたことを明確に認識しており、現在見ている映像がリアルではなく、バーチャルであることを認識している。
このように、仮想現実の提示を開始する段階で、リアルからバーチャルへの不連続が生じ、ユーザは、バーチャルな映像を見せられていると認識してしまう。例えば、ＣＧの犬を景色に溶け込ませるように表示することで仮想現実を提示する場合に、いきなり視野内に犬が現れると、その不連続性、すなわち現実の自然界で物理的に起こりえない瞬間移動という事象による違和感がユーザにバーチャルであることを認識させてしまうことになる。
仮想現実の提示開始時点でユーザがバーチャルであると明確に認識してしまうと、時間が経過しても表示されているオブジェクトがバーチャルであると言う認識が払拭されず、ユーザは仮想現実世界に入り込むことができないと言う問題が生じる。
上記課題を鑑み、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に深く入り込むことを可能とする仮想現実提示装置、ＨＭＤ装置、仮想現実提示システム、仮想現実提示方法を提供することを目的とする。
本発明の一態様である仮想現実提示システムは、ユーザの状態を検知するユーザ状態検知手段と、前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、前記生成された仮想現実提示用の映像を表示する映像表示手段と、前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、を備える。
また、本発明の別の一態様である仮想現実提示装置は、ユーザの状態を検知するユーザ状態検知手段と、映像を表示する映像表示手段と、前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、を備える。
また、本発明の別の一態様である仮想現実提示方法は、ユーザの状態を検知するユーザ状態検知ステップと、前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、を有する。
本発明によれば、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に深く入り込むことを可能とすることができる。
実施形態１に係る仮想現実提示装置の構成を示すブロック図である。 実施形態１に係る仮想現実提示装置における処理の流れを示すフローチャート図である。 実施形態１に係る仮想現実提示装置における処理の詳細な流れを示すフローチャート図である。 実施の形態２に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態２に係る仮想現実提示システムの別構成を示すブロック図である。 表示開始判定を行わない場合の仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。 表示開始判定を行う場合の仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。 ユーザが視界を変更していく場合に仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。 実施形態３に係る仮想現実提示装置の構成を示すブロック図である。 仮想現実サービス提供開始通知情報の一例を示す図である。 実施の形態３に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態４に係る仮想現実提示装置の構成を示すブロック図である。 実施の形態４に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。 実施の形態４に係る仮想現実提示装置の表示パネル付近での断面図である。 実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 登録されたユーザに関する情報を管理するユーザ情報管理ファイルの別の一例である。 実施の形態４に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態５に係る仮想現実提示装置の構成を示すブロック図である。 実施の形態５に係る仮想現実提示システムの構成を示すブロック図である。 仮想現実コンテンツの階層構造の一例である。 仮想現実制御プログラムの階層構造の一例である。 実施の形態６に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態６に係る仮想現実提示システムの別構成を示すブロック図である。 実施の形態６に係る仮想現実提示システムの別構成を示すブロック図である。 仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示す図である。 実施の形態７に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態７に係る仮想現実提示装置の構成を示すブロック図である。 仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示す図である。 実施の形態７に係る仮想現実提示システムの別構成を示すブロック図である。 実施の形態７に係る仮想現実提示装置の別構成を示すブロック図である。 仮想空間のレイヤーと仮想現実オブジェクトの関連付けを管理する管理ファイルの一例である。 実施の形態８に係る仮想現実提示装置の構成を示すブロック図である。 実施の形態８に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態９に係る仮想現実提示装置の構成を示すブロック図である。 錯覚度の時間推移を説明する図である。 実施形態１０に係る仮想現実提示システムの構成を示すブロック図である。 実施形態１０に係る仮想現実提示システムの別構成を示すブロック図である。 実施形態１０に係る仮想現実提示システムの別構成を示すブロック図である。 実施形態１０に係る仮想現実提示システムの別構成を示すブロック図である。 実施形態１１に係る仮想現実提示システムの構成を示すブロック図である。 実施形態１２に係る仮想現実提示システムの構成を示すブロック図である。 仮想現実オブジェクトと仮想現実度との対応関係を管理する管理ファイルの一例である。 実施形態１２に係る仮想現実提示システムの別構成を示すブロック図である。 実施形態１２に係る仮想現実提示システムの別構成を示すブロック図である。 ユーザが利用可能な仮想現実サービスを登録した管理ファイルの一例である。 仮想現実サービスと、当該仮想現実サービスで使用される仮想現実オブジェクトとその仮想現実度とのの対応関係を管理する管理ファイルの一例である。 実施形態１３に係る仮想現実提示システムの構成を示すブロック図である。 仮想現実オブジェクトと周囲状況別の仮想現実度との対応関係を管理する管理ファイルの一例である。 実施形態１３に係る仮想現実提示システムの別構成を示すブロック図である。 物体と周囲状況との対応関係を纏めた管理ファイルである。 実施形態１４に係る仮想現実提示システムの構成を示すブロック図である。 仮想現実サービス提供開始通知情報の一例である。 複数レイヤーに分かれて配置される仮想現実オブジェクトを説明する図である。 ユーザ位置とレイヤー順序との関係を説明する図である。 補正処理前後のレイヤー別の仮想現実提示用映像を示す図である。 実施形態１４に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。 実施形態１４に係る仮想現実提示装置の表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。 実施形態１４に係る仮想現実提示装置の変形例における斜め前方と斜め後方からの外観斜視図である。 仮想現実の世界と現実の世界との相違を説明する図である。 仮想現実の世界の仮想現実度とユーザの錯覚度との相関関係を説明する図である。 実施形態１５に係る仮想現実サービスに関連する人物・組織の全体構成を模式的に示した概念図である。 仮想現実サービス提供会社が管理するユーザ登録情報の一例を示す図である。 実施の形態１に係る仮想現実提示システムの構成を示すブロック図である。 現実の世界と仮想現実の世界との違いを説明する図である。 仮想現実コンテンツの構造を説明する図である。 仮想現実オブジェクトを管理する管理ファイルの一例である。 仮想現実オブジェクトのモデルデータの一例である。 仮想現実オブジェクト制御プログラムの分類を説明する図である。 実施の形態１に係る仮想現実提示システムの変形例の構成を示すブロック図である。 仮想現実サービス履歴情報の一例である。 仮想現実履歴情報の一例である。 実施の形態２に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。。 実施の形態２に係る仮想現実提示装置の表示パネル付近での断面図である。 実施の形態２に係る仮想現実提示システムの構成を示すブロック図である。 実施の形態３に係る仮想現実提示システムの構成を示すブロック図である。 仮想現実サービス提供開始通知情報の一例である。 レイヤー毎に生成されるレイヤー別仮想現実提示用映像の一例である。 レイヤー順序の変更を説明する図である。 映像補正処理前後で仮想現実オブジェクトの表示位置が変更されたレイヤー毎の仮想現実提示用映像を説明する図である。 データベースに記憶保管される仮想現実関連データの組み合わせを示す図である。 仮想現実提示システムの全体構成を示すブロック図である。
以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
＜実施形態１＞
図１は本発明の実施形態１に係る仮想現実提示装置１００の構成を示すブロック図である。仮想現実提示装置１００は、ユーザ状態検知部１１０と、表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、を備える。
ユーザ状態検知部１１０は、当該仮想現実提示装置１００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０は、例えばユーザの移動を検知するために、当該仮想現実提示装置１００に取り付けられる加速度センサや、ユーザの表情を撮影する内部カメラ、その他ユーザの傾きを検知する傾きセンサ、ユーザの位置を検出するＧＰＳ受信機などである。ユーザ状態検知部１１０は、検知結果をユーザの状態を示すユーザ状態情報として表示開始判定処理部１２０に出力する。
表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかを判定する。例えば、ユーザ状態検知部１１０がユーザの顔の一部又は全部を撮影する内部カメラである場合には、表示開始判定処理部１２０は、ユーザの目が所定の時間以上閉じているかを判定する。また、ユーザ状態検知部１１０が、加速度センサである場合は、表示開始判定処理部１２０は、ユーザが向いている方向が所定の角度以上変化したかを判定する。
表示制御部１３０は、表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示部１４０に所定の映像を表示させる制御を行う。例えば、表示制御部１３０は、表示部１４０に表示させる仮想現実提示用の映像の表示位置や表示時間などを制御する。
表示部１４０は、表示制御部１３０の制御に基づいて仮想現実提示用の映像を表示する。表示部１４０に表示される映像は、仮想現実を提示するためのオブジェクトである仮想現実オブジェクトの静止画像や動画像などである。
ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言う。
また、仮想現実オブジェクトとは、人為的に設定される仮想的な空間である仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。当該仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。
各種の仮想現実オブジェクトは、外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどを含むモデルデータで構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。また、テキスチャーデータも複数種類用意されており、各テキスチャーデータは識別番号で識別される。選択されたテキスチャーがポリゴン表面に張り付けられることで、仮想現実オブジェクトの映像が生成される。
当該表示部１４０に表示される映像のデータは、そのまま読み出して表示可能な状態で仮想現実提示装置１００内に別途設けられている記憶部に記憶されていても良いし、当該記憶部に仮想現実オブジェクトのモデルデータとして記憶しておき、当該モデルデータを描画して表示用の映像を生成する構成としても良い。また、装置外部から当該表示部１４０に表示される映像の符号化データを受信する構成としても良い。表示部１４０としては、例えば透過型液晶ディスプレイや、有機ＥＬディスプレイなどを用いることができる。
図２は、仮想現実提示装置１００の動作を示すフローチャート図である。ユーザ状態検知部１１０は、ユーザの状態を検知する（ステップＳ１０１）。例えば、ユーザの表情や目の開閉状態、ユーザの移動速度や加速度その他ユーザの向いている方向などユーザの状態を所定の周期間隔で検知する。検知するユーザの状態の種類にも依存するが、検知周期としては、１０μｓ〜１秒に一度の周期で、より好ましくは、１００μｓ〜１００ｍｓに一度の周期で、更に好ましくは１ｍｓ〜１０ｍｓに一度の周期でサンプリングする構成とすると、ユーザの状態をリアルタイムに検知できるため好ましい。
ステップＳ１０１で、ユーザの状態が新たに検知されると、表示開始判定処理部１２０は、検知されたユーザの状態が所定の基準を満たしているかを判定する（ステップＳ１０２）。なお、表示開始判定処理部１２０は、ステップＳ１０１で検知された１つのタイミングにおけるユーザの状態だけではなく、複数のタイミングにおける検知結果に基づいて特定されるユーザの状態に基づいて所定の基準を満たしているかを判定しても良い。
ステップＳ１０２における判定の結果、現在のユーザの状態が、仮想現実提示用の映像の表示を開始するための基準を満たしていないと判定された場合は、ステップＳ１０１に戻り、ユーザの状態の検知処理を行う次のタイミングまで待機する。一方、ステップＳ１０２における判定の結果、ユーザの現在の状態が映像の表示を開始するために予め設定されている基準を満たしている場合に、表示制御部１３０は、表示部１４０に所定の映像を表示させる制御を行う（ステップＳ１０３）。
例えば、ユーザの目が所定の時間以上閉じていることが、映像表示開始条件として設定されているとする。図３は、当該判定基準が設けられている場合における仮想現実提示装置１００の動作の流れを示すフローチャート図である。
ユーザ状態検知部１１０は、ユーザの状態を検知する（ステップＳ１０１）。表示開始判定処理部１２０は、現在のモードが第１モードであるか第２モードであるかを確認する（ステップＳ１０２ａ）。
現在のモードが第１モードである場合、表示開始判定処理部１２０は、ステップＳ１０１における検知結果に基づいて、ユーザの目が閉じているかを判定する（ステップＳ１０２ｂ）。目が閉じていない場合、ステップＳ１０１に戻る。一方、目が閉じている場合、表示開始判定処理部１２０は、現在のモードを第２モードに設定する（ステップＳ１０２ｃ）。続いて、表示開始判定処理部１２０は、タイマをセットすることで所定の時間計測を開始し、ステップＳ１０１に戻る（ステップＳ１０２ｄ）。
一方、ステップＳ１０２ａにおける判定の結果、現在のモードが第２モードである場合、表示開始判定処理部１２０は、ユーザの目が閉じているかを判定する（ステップＳ１０２ｅ）。当該判定の結果、ユーザの目が閉じていない場合は、映像表示開始による景色の不連続な変化から、表示される映像がバーチャルであることをユーザが容易に認識してしまうため、ステップＳ１０３には進まず、現在のモードを第１モードに戻してステップＳ１０１に戻る（ステップＳ１０２ｆ）。
一方、ステップＳ１０２ｅにおける判定の結果、ユーザの目が閉じていると判定された場合、表示開始判定処理部１２０は、ステップＳ１０２ｄで開始している時間計測が完了しているかを判定する（ステップＳ１０２ｇ）。当該判定の結果、時間計測が完了していない場合は、まだ映像表示を開始する条件が整っていないとしてステップＳ１０１に戻る。
一方、ステップＳ１０２ｇにおける判定の結果、時間計測が完了している場合は、映像表示を開始する条件が整ったとして、表示開始判定処理部１２０は、現在のモードを第１モードに戻した後（ステップＳ１０２ｈ）、表示制御部１３０へ映像の表示開始を指示する。
このように、ステップＳ１０２ａ〜１０２ｈにおける処理によって、ユーザの状態が映像表示開始のための基準を満たしているかの判定となる。なお、所定の時間を計測する理由は、単に目が閉じているだけだと、瞬きによって目が閉じられている可能性があり、このタイミングで映像表示を開始することがユーザにバーチャルをリアルと刷り込ませる上で好ましくないためである。瞬き程度の一瞬の間に見える景色が異なると、景色の不連続性から違和感を生じ、バーチャルをリアルと認識させることは難しい。一方、所定の時間以上目を閉じていると、先ほどまで見ていた景色が脳内から薄れていくため、リアルの景色に溶け込ませる形で映像が多重されていても、ユーザはそれがバーチャルであると認識する可能性は下がり、ユーザは自然に仮想現実の世界に入っていくことができる。
表示制御部１３０は、表示開始判定処理部１２０における判定結果に基づいて、表示する映像を読み込み、表示部１４０に読み込んだ映像を表示させる（ステップＳ１０３）。
以上説明したように、本実施形態１に係る仮想現実提示装置１００は、ユーザの状態を検知するユーザ状態検知手段と、映像を表示する表示手段と、ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記表示手段に所定の映像を表示させる制御を行う表示制御手段と、を備える。
当該構成とすることで、、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に無意識の内に入り込むことを実現することができる。
すなわち、従来は表示した映像の挙動が現実の風景と一致するようにリアルタイム制御することで、不自然さを無くし、リアルとバーチャルを融合するように映像をユーザに表示させる技術の開発は進められていた。しかしながら、映像表示を開始する際に生じる不連続性に伴う不自然さを抑える技術開発は十分に進められておらず、仮想現実用の映像が表示された時点でその映像がバーチャルであるとユーザは直ちに認識してしまい、当該映像がバーチャルであるものとして意識されてしまっていた。このことは、仮想現実の世界に入り込むことを妨げ、その後の表示されている映像の挙動が現実の風景に溶け込んでいても、ユーザに対してバーチャルをリアルであると完全に誤認させるには障害となっていた。
一方、本実施形態１に記載の仮想現実提示装置によれば、バーチャルな映像を表示する時点でユーザがバーチャルであると明確に認識しないように、ユーザの状態に基づいて映像を表示するタイミングが制御される。ユーザが不自然さを感じにくい状況で映像の表示が開始されるため、映像が表示されたことでユーザが少々の違和感を持ったとしても、ユーザは、その映像がバーチャルであるという確信を持っていない。そのため、その後の表示制御によって現実の風景と一致させることで、ユーザの警戒心が徐々に薄れていき、仮想現実の世界にユーザを引き込むことが可能となる。
なお、上述した仮想現実提示装置の構成は１つの装置で構成されていても良いし、複数の装置によって仮想現実提示システムとして構成されていても良い。
＜実施形態２＞
図４は、本実施形態２に係る仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、仮想現実提示制御部２０１０と、表示映像生成処理部２０２０と、を備える。
ユーザ状態検知部１１０は、内部カメラ１１１と、傾きセンサ１１２と、加速度センサ１１３と、を備える。内部カメラ１１１は、ユーザの顔の一部又は全部を撮影する。傾きセンサ１１２は、ユーザの頭部の傾きを検知するセンサである。また、加速度センサ１１３は、ユーザの頭部に加わる加速度を検知するセンサである。
ユーザ状態検知部１１０で検知される一部又は全部の情報は、ユーザ状態情報として映像表示開始判定処理部１２０に送られる。また、ユーザ状態検知部１１０で検知される一部又は全部の情報は、ユーザ状態情報として表示映像生成処理部２０２０に送られる。
仮想現実提示制御部２０１０は、ユーザに対して提示する仮想現実に関する全体制御を行う。仮想現実提示制御部２０１０は、ユーザに対する仮想現実の提示を開始すると決定した場合に、映像表示開始判定処理部１２０に映像表示開始判定を指示し、表示映像生成処理部２０２０に、表示映像の生成を指示する。
映像表示開始判定処理部１２０は、仮想現実提示制御部２０１０より仮想現実提示用の映像表示判定指示を受けた場合に、ユーザ状態検知部１１０で検知されたユーザ状態に基づいて、映像表示を開始できるかどうかを判定する。具体的には、映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかを判定する。例えば、内部カメラ１１１で撮影されたユーザの顔の映像に基づいて、ユーザの目が所定の時間以上閉じているかを判定する。また、例えば、傾きセンサ１１２や加速度センサ１１３における検知結果に基づいて、ユーザが向いている方向が所定の角度以上変化したかを判定する。
表示映像生成処理部２０２０は、仮想現実提示制御部２０１０からの仮想現実用の映像生成開始指示に基づいて、表示部１４０で表示する映像を生成する処理を開始する。表示映像生成処理部２０２０は、ユーザ状態検知部１１０における検知結果に基づいて制御された仮想現実用の映像を順次生成して表示制御部１３０に出力する。仮想現実用の映像としては、例えば仮想現実オブジェクトの映像がある。
表示制御部１３０は、映像表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示映像生成処理部２０２０で生成される仮想現実提示用の映像を表示部１４０に表示させる制御を行う。
以上のように、本実施形態２に係る仮想現実提示システムによれば、表示映像生成処理部２０２０によって生成されるユーザ状態に基づいて制御された仮想現実提示用の映像が、表示制御部１３０における制御に基づいて表示部１４０に表示される。仮想現実提示制御部２０１０が行う仮想現実提示の開始制御に基づいて、表示映像生成処理部２０２０は仮想現実用の映像を生成して表示制御部１３０に当該生成した映像を出力するが、表示制御部１３０は、表示映像生成処理部２０２０で生成された映像を直ちには表示部１４０に表示させず、表示開始判定処理部１２０からの判定結果に基づいて表示部１４０への表示を開始する。
このように構成することで、表示用映像は、いつでも表示可能なように表示映像生成処理部２０２０で生成されているため、映像表示開始判定処理部１２０において、ユーザの状態が予め設定されている所定の基準を満たしていると判定された場合に直ちに仮想現実用の映像を表示部１４０に表示することができる。
なお、上述した仮想現実提示システム２０００を構成する各機能は、ユーザが装着する仮想現実提示装置内に組み込まれても良いし、一部の機能が外部の情報処理サーバに組み込まれ、仮想現実提示装置と通信を行うことで仮想現実提示装置において仮想現実提示用の映像が表示部１４０に表示される構成としても良い。
図５は、仮想現実の提示に必要となる処理の一部を外部情報処理サーバが行う場合における仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、ユーザが装着する装置であって、仮想現実をユーザに直接提示する仮想現実提示装置２００と、仮想現実を提示するためサービスである仮想現実サービスを提供する仮想現実サービス提供サーバ２１００と、仮想現実提示装置２００で入力される音声を解析する音声解析サーバ２２００と、仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベース２３００と、を備える。
図５に示す仮想現実提示装置２００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、映像データ一時記憶部２４０と、を備える。
音声入力部２１０は、所謂マイクロフォンであり、仮想現実提示装置２００を装着しているユーザが発する音声やユーザの周囲環境からの音声を集音して音声データとして入力する。音声入力部２１０は、入力した音声データを通信部２３０に出力する。
装置側仮想現実提示制御部２２０は、仮想現実提示装置２００側で必要となる仮想現実提示用の各種制御を行う。装置側仮想現実提示制御部２２０は、仮想現実サービス提供サーバ２１００より送信される仮想現実サービスの提供開始の通知である仮想現実サービス提供開始通知情報が通信部２３０で受信された場合に、仮想現実提示開始用の制御を行う。具体的には、装置側仮想現実提示制御部２２０は、仮想現実サービス提供開始通知情報を受け取った場合に、少なくともユーザ状態検知部１１０及び映像表示開始判定処理部１２０にそれぞれ仮想現実提示用処理開始指示を行う。
ユーザ状態検知部１１０は、装置側仮想現実提示制御部２２０からの仮想現実提示用処理開始指示に基づいてユーザ状態の検知処理を開始し、検知結果をユーザ状態情報として映像表示開始判定処理部１２０と通信部２３０に出力する。
映像表示開始判定処理部１２０は、装置側仮想現実提示制御部２２０からの仮想現実提示用処理開始指示に基づいて、映像表示開始判定処理を開始する。具体的には、映像表示開始判定処理部１２０は、仮想現実提示用処理開始指示を受けると、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかの判定処理を開始する。
通信部２３０は、インターネット等の通信網１０を介して仮想現実サービス提供サーバ２１００と通信を行う。通信部２３０は、装置２００内で生成された各種情報を装置外部へ無線送信する無線送信部２３１と、装置外部より送信された各種情報を無線受信する無線受信部２３２とを備える。
無線送信部２３１は、少なくともユーザ状態検知部１１０で生成されるユーザ状態情報と音声入力部２１０で入力された音声データとを仮想現実サービス提供サーバ２１００へ無線送信する。また、装置側仮想現実提示制御部２２０で生成される一部の制御情報を仮想現実サービス提供サーバ２１００へ無線送信する。
無線受信部２３２は、少なくとも仮想現実サービス提供サーバ２１００で生成された仮想現実用の映像の符号化データを無線受信する。無線受信部２３２は、当該無線受信した映像符号化データを映像データ一時記憶部２４０に出力する。
映像データ一時記憶部２４０は、無線受信部２３２で無線受信された映像符号化データを仮想現実提示用の記憶領域に記憶する。映像データ一時記憶部２４０は、順次送られてくる映像符号化データに基づいて過去に記憶した映像符号化データを上書きすることで、最新の生成された映像符号化データを記憶していく。
映像表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示映像生成処理部２１４０で生成される仮想現実提示用の映像を表示部１４０に表示させる制御を行う。
表示制御部１３０は、映像表示開始判定処理部１２０からの判定結果に基づいて、映像データ一時記憶部２４０に一時記憶されている仮想現実提示用の映像符号化データを読み出し、復号化処理を行った上で得られた映像データによる映像を表示部１４０で表示するための制御を行う。表示部１４０は、表示制御部１３０が行う表示制御に従って仮想現実提示用の映像を表示する。
仮想現実サービス提供サーバ２１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、を備える。
通信部２１１０は、インターネット等の通信網１０を介して仮想現実提示装置２００と通信を行う。通信部２１１０は、仮想現実提示装置２００より通信網１０を介して送信されたユーザ状態情報と音声データを少なくとも受信する受信部２１１１と、表示映像生成処理部２１４０で生成される仮想現実提示用の映像符号化データを、通信網１０を介して仮想現実提示装置２００に送信する送信部２１１２とを、備える。受信部２１１１は、受信した音声データを音声コンテキスト取得部２１２０へ出力し、ユーザ状態情報を表示映像生成処理部２１４０へ出力する。
音声コンテキスト取得部２１２０は、入力された音声データのコンテキストを取得する。具体的に、音声コンテキスト取得部２１２０は、音声解析サーバ２２００に音声データを転送し、音声解析サーバ２２００における音声解析処理の結果抽出された音声コンテキストを受信することで仮想現実提示装置２００の音声入力部２１０で入力された音声のコンテキストを取得し、取得したコンテキストをサーバ側仮想現実提示制御部２１３０へ出力する。
音声解析サーバ２２００は、入力した音声データが示しているコンテキストを特定するためのサーバであり、音声解析処理部２２１０と、コンテキスト抽出部２２２０と、を備える。
音声解析処理部２２１０は、仮想現実サービス提供サーバ２１００より転送されてきた音声データに対して所定の音声解析アルゴリズムに従って解析を行い、当該音声データを複数の音声単位に分割する。
例えば、音声解析処理部２２１０は、複数の音声単位を記憶する音声データベースに含まれる音声単位データと、入力した音声データとのマッチング処理を行うことで、音声データを単位音声に分割する。当該音声データベースに含まれる音声単位データは、例えば「い」の単位音声がコードＮｏ００４、「こ」の単位音声がコードＮｏ０２１というように、コードが割り当てられている。音声解析処理部２２１０は、入力した音声データを単位音声に分割することで、当該入力した音声データをコードの羅列に変換する。なお、上記音声データベースの図示は省略している。
コンテキスト抽出部２２２０は、情報処理サーバ２２００より転送されてきた上記音声データ、すなわち仮想現実提示装置２００の音声入力部２１０で入力された音声が示すコンテキストを抽出する。
例えば、コンテキスト抽出部２２２０は、複数の単語データや文法構造を規定する文法データを記憶している単語・文法データベースにアクセスし、音声解析処理部２２１０における解析処理で得られた一連のコードのいくつかと、上記データベースに記憶される単語データとのマッチングを行うことで、意味のある部分を抽出していく。コンテキスト抽出部２２２０は、当該一連の処理に基づいて、入力された音声データが示すコンテキストを抽出する。
例えば、入力された音声データが「ねことたわむれたいな」と言う音声であった場合、音声解析処理部２２１０は、「ね」、「こ」、「と」、「た」、「わ」、「む」、「れ」、「た」、「い」、「な」と単位音声に分割する。各単位音声にはコードが割り当てられているため、音声解析処理部２２１０は、当該音声データを「０７２／０２１／０４１／０３６／１２４／０８５／０９９／０３６／００４／０４３」といったコードの羅列に変換する。
コンテキスト抽出部２２２０は、入力された音声データから変換された当該コードと単語・文法データベースの単語を示すコードとのマッチング処理を行うことで単語の羅列に変換する。例えば、コンテキスト抽出部２２２０は、当該マッチング処理を行うことで、「０７２０２１」、「０３４」、「０３６１２４０８５０９９」、「０３６００４０４３」と纏まり毎に抽出し、「Ｏｂ：ねこ、Ｏｆ：と、Ｖａ：たわむれ、Ｖｃ：たいな」と言う形で主語、目的語、述語、助詞、などに整理する。コンテキスト抽出部２２２０は、当該処理により、入力された音声は、「猫と戯れたい」というコンテキストを示していると判定する。コンテキスト抽出部２２２０は抽出したコンテキストデータを、仮想現実サービス提供サーバ２１００の音声コンテキスト取得部２１２０に送信する。
サーバ側仮想現実提示制御部２１３０は、音声解析サーバ２２００で抽出されたコンテキストが仮想現実サービスの開始を要求するものであった場合に、仮想現実サービスの提供を開始する。具体的には、サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。またサーバ側仮想現実提示制御部２１３０は、仮想現実コンテンツ記憶データベース２３００より提供する仮想現実サービスに係る仮想現実コンテンツを読み出して表示映像生成処理部２１４０に出力する。
表示映像生成処理部２１４０は、サーバ側仮想現実提示制御部２１３０で読み出された仮想現実コンテンツに基づいて、仮想現実提示装置２００で表示する仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、ユーザ状態情報に基づいて、仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、読み出された当該仮想現実コンテンツからユーザ状態検知部１１０における検知結果に基づいて制御された仮想現実用の映像を順次生成し、符号化処理を行って映像符号化データを生成する。表示映像生成処理部２１４０は、生成した映像符号化データを通信部２１１０に出力する。
このように、比較的処理性能の高い仮想現実サービス提供サーバ側で仮想現実提示用の映像の生成処理を行う構成とすることで、より精細な仮想現実提示用の映像を仮想現実提示装置側で表示することが可能となる。
図６は、映像表示開始判定処理部１２０を備えない従来の仮想現実提示装置において提示される仮想現実の世界を示している。図６のＴ０のタイミングにおいて、現実の景色はソファーの置かれた部屋の景色であり仮想現実提示装置の表示部である透過型のフロントパネルを通して当該景色が見えている。表示部１４０には、何も表示されていないため、ユーザには、現実の風景だけが見えている。
Ｔ１のタイミングにおいて「犬がいてくれたらいいのに」、という要求をユーザが言ったとする。当該音声が仮想現実提示装置に入力される。仮想現実提示装置は、映像コンテンツ記憶データベースより当該犬の映像コンテンツを読み出し、Ｔ２のタイミングで表示部に表示することで仮想現実の提示が開始される。
ここで、仮想現実提示装置は映像コンテンツの読み出しが完了した段階ですぐに当該犬の映像を表示部に表示するが、この時ユーザは目を開いていると、急に犬がソファー上に現れることになる。現実の世界において、瞬間移動するように物体が現れることは非現実的度合いが高く、人生において経験的に認識している物理現象からかけ離れている。そのため、当該犬が現実の犬ではなく、表示部に表示された犬であるとユーザは明確に認識してしまうことになる。一度、バーチャルであると認識してしまうと、その後、時間が経過してもユーザの警戒心が抜けず、ユーザは仮想現実の世界に入り込むことは困難となる。すなわち、目の前に見えている犬を現実の世界の犬であると錯覚することができなくなる。
次に、本実施形態２に係る仮想現実提示装置２００が提示する仮想現実について図７を用いて説明する。Ｔ０、Ｔ１のタイミングについては図６と同様であるため説明を省略する。仮想現実提示装置２００は、映像表示開始判定処理部１２０が映像の表示を開始するかどうかの判定処理を行うため、Ｔ１のタイミングで仮想現実オブジェクトである犬の映像が表示映像生成処理部２１４０で仮想現実用の映像として生成されて映像データ一時記憶部２４０に格納されても、直ぐには表示部１４０には表示されない。
内部カメラ１１１で撮影されたユーザの目の映像に基づいてユーザが所定の基準値以上の時間目を閉じていたと映像表示開始判定処理部１２０が判定したタイミングＴ３で表示部１４０に仮想現実用の映像として読み出された仮想現実オブジェクトである犬の映像が表示される。
ユーザは、目を開いたタイミングＴ４で犬が見えているが、目を閉じていた間に犬が迷い込んできたと錯覚することができる。そのような物理現象は現実的に十分生じ得る現象であり、ユーザには目の前に現れている事実が優先される。従って、少々の違和感を持ったとしても、時間の経過と共に違和感が薄れていき、当該表示されているバーチャルな犬がリアルな犬であると認識するようになり、仮想現実の世界に入り込むことができる。
また、上記説明では映像表示開始判定処理部１２０は、内部カメラ１１１で撮影されたユーザの顔の一部又は全部の画像データに基づいて、ユーザの目が所定の時間以上閉じているかを判定し、当該判定結果に基づいて映像の表示を開始するかどうかを決定する場合について説明したが、これに限定されるものではない。
例えば、映像表示開始判定処理部１２０は、ユーザの視界が変化した場合に、仮想現実提示用の映像を表示する構成としても良い。例えば映像表示開始判定処理部１２０は、ユーザが顔を回転させて所定の角度以上顔を回転させた場合に映像の表示を開始する構成としても良い。
図８において、Ｔ１のタイミングで映像コンテンツの読み込みが行われているが、ユーザの向きが所定の角度以上回転しておらず、この状態で映像の表示を開始すると不自然であるため表示部１４０に映像は表示されていない。
Ｔ３のタイミングにおいて、ユーザの向きは当初より４５度回転し、表示パネルの右下に映像コンテンツである犬の足が表示され始めている。すなわち、仮想現実用の映像表示を開始するための条件として、ユーザの向きが右へ４５度回転することを、映像表示を開始するための条件として設定されている。映像表示開始判定処理部１２０は、傾きセンサ１１２で検知される傾き及び加速度センサ１１３で検知される加速度に基づいて、ユーザの現在の方向を特定する。映像表示開始判定処理部１２０は、ユーザの方向が基準値である４５度超えた場合に、表示開始条件を満たしたとして、表示制御部１３０に仮想現実用の映像の表示開始を指示する。
更にＴ４のタイミングにおいてユーザの向きは当初より６０度回転しており、表示制御部１３０は、当該ユーザの回転に応じてリアルタイムに算出される表示位置・表示角度・表示サイズに基づいて表示部１４０に仮想現実オブジェクトである犬の映像を表示させる。
Ｔ５、Ｔ６のタイミングでは、ユーザの向きが当初よりそれぞれ９０度、１２０度回転しており、仮想現実オブジェクトである犬の全体の映像が表示部１４０に表示されている。
当該構成とすることで、ユーザが視界を変更したことにより、映像が見えるようになるため、ユーザに見える景色は、現実に犬がいている場合と変わらずリアルとバーチャルの接点に不連続性がなくなっている。従って、ユーザは、表示されている犬の映像がバーチャルなものであると認識せず、リアルな犬であると認識することになる。従って、ユーザは、仮想現実の世界に入り込むことが可能となる。
なお、上述した映像表示開始判定処理部１２０は、仮想現実サービス提供サーバ２１００側に配置されていても良い。
＜実施形態３＞
ユーザに提示される仮想現実は様々な種類がある。仮想現実提示用の映像の表示開始タイミングについても、ユーザに提示される仮想現実の種類に応じて決定されることが好ましい。
図９は、本実施形態３に係る仮想現実提示装置３００の機能構成を示すブロック図である。仮想現実提示装置３００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、映像データ一時記憶部２４０と、周囲状況検知部３１０と、映像表示開始条件設定部３２０と、を備える。
ユーザの状態を検知するユーザ状態検知部１１０として、仮想現実提示装置３００は、装着しているユーザの顔の一部又は全部を撮影する内部カメラ１１１と、ユーザの頭部の傾きを検知する傾きセンサ１１２と、ユーザの頭部の加速度を検知する加速度センサ１１３と、を備える。
内部カメラ１１１で撮影されたユーザの顔の映像データや傾きセンサ１１２で検知された傾きを示す傾き情報、加速度センサ１１３で検知された加速度を示す加速度情報は、映像表示開始判定処理のために映像表示開始判定処理部１２０に送られる。
また、傾きセンサ１１２で生成された傾き情報及び加速度センサ１１３で生成された加速度情報は、それぞれ仮想現実用の映像生成処理に利用するために通信部２３０に出力される。
音声入力部２１０は、装置を装着しているユーザが発する音声を集音してユーザ音声データを入力するユーザマイク２１１と、ユーザの外部環境からの音声を集音して周囲音声データを入力する周囲マイク２１２と、を備える。各マイクで集音された音声は、ＡＤ変換処理によってアナログ電気信号からデジタル信号の音声データにそれぞれ変換され、通信部２３０へ出力される。
周囲状況検知部３１０は、ユーザの周囲の状況を検知し、ユーザの周囲の状況を示す周囲状況情報を生成する。仮想現実提示装置３００において、周囲状況検知部３１０は、具体的に視線カメラ３１１と、周辺カメラ３１２とを備える。
視線カメラ３１１は、仮想現実提示装置３００の前方に設置されるカメラであって、ユーザの視線に対応するユーザの前方の景色を撮影することで前方景色画像（視線景色画像）を取得する。視線カメラ３１１で取得された前方景色画像は、通信部２３０に出力される。
周辺カメラ３１２は、仮想現実提示装置３００の側部や後方部分に設置されるカメラであって、視線カメラ３１１では撮影できないユーザの周辺の範囲の景色を撮影することで周辺景色画像を取得する。周辺カメラ３１２で取得された周辺景色画像は、通信部２３０に出力される。
通信部２３０は、傾きセンサ１１２及び加速度センサ１１３よりそれぞれ出力された傾き情報及び加速度情報をユーザ状態情報として外部の仮想現実サービス提供サーバに送信する。また、通信部２３０は、ユーザマイク２１１及び周囲マイク２１２よりそれぞれ入力されたユーザ音声データ及び周囲音声データをそれぞれ入力音声データとして仮想現実サービス提供サーバに送信する。また、通信部２３０は、視線カメラ３１１及び周辺カメラ３１２でそれぞれ取得された視線景色画像及び周辺景色画像を周囲状況情報として仮想現実サービス提供サーバに送信する。
また、通信部２３０は、仮想現実サービス提供サーバで生成されて順次送信される送信される仮想現実提示用の映像符号化データを受信し、映像データ一時記憶部２４０に出力する。また、通信部２３０は、仮想現実サービス提供サーバで生成されて送信されてくる仮想現実サービス提供開始通知情報を装置側仮想現実提示制御部２２０に出力する。
図１０は、仮想現実提示装置３００が受信する仮想現実サービス提供開始通知情報の一例を示す図である。仮想現実サービス提供開始通知情報には、送信元である仮想現実サービス提供サーバのアドレスである送信元アドレス、送信先である仮想現実提示装置３００のアドレスである送信先アドレス、当該情報が仮想現実サービス提供開始通知情報であることを識別する情報種別、仮想現実提示装置３００と仮想現実サービス提供サーバとの間で当該仮想現実の提示に伴って生じる通信を他の通信と区別するための仮想現実識別番号と、仮想現実の提示を開始するための条件である仮想現実提示開始条件情報と、が含まれている。
仮想現実提示装置３００と仮想現実サービス提供サーバとの間で発生する当該仮想現実の提示に関する通信には、仮想現実識別番号が付されることで、他の仮想現実提示装置との通信や、自装置３００における他の仮想現実の提示に関する通信と区別される。
また、仮想現実提示開始条件は、仮想現実の提示を開始するための条件であって、本実施形態においては、具体的に仮想現実用の映像表示を開始するための条件である映像表示開始条件が少なくとも含まれる。
装置側仮想現実提示制御部２２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に基づいて、映像表示開始判定処理部１２０と映像表示開始条件設定部３２０に仮想現実提示用の処理の開始を指示する。
映像表示開始条件設定部３２０は、装置側仮想現実提示制御部２２０からの指示に基づいて、仮想現実提示開始条件として、映像表示開始条件を設定する。映像表示開始条件設定部３２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件に従って、映像表示開始判定処理部１２０における判定処理における基準となる映像表示開始条件を設定する。
映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が、映像表示開始条件設定部３２０で設定された映像表示開始条件を満たしているかの判定処理を行う。
例えば、映像表示開始条件Ｘ１として「ユーザが目を５秒以上閉じていること」という条件が映像表示開始条件設定部３２０によって設定されているとする。この場合、映像表示開始判定処理部１２０は、内部カメラ１１１で撮影されるユーザの目を含む範囲の映像を入力し、例えば、マッチング処理等に基づいてユーザの目が閉じているかを判定する。例えば、予め、開いた状態や閉じた状態のユーザの目の画像データを記憶しておき、内部カメラ１１１で撮像された画像と閉じた状態のユーザの目の画像データとを比較し、所定の相関値以上の相関が検出された場合に、ユーザの目が閉じていると判定する構成とすることができる。
映像表示開始判定処理部１２０は、ユーザの目が閉じていると判定した場合、内部タイマを作動し、映像表示開始条件として設定されている５秒間、目が閉じた状態が維持されているかを判定する。５秒経過前にユーザが目を開いた場合は、タイマをリセットし、再び５秒間目が閉じた状態が維持されるかの判定処理を行う。
映像表示開始判定処理部１２０は、上記判定処理の結果、５秒間目が閉じていたと判定した場合に、表示制御部１３０に映像の表示開始指示を行う。
表示制御部１３０は、表示部１４０に仮想現実用の映像を表示する制御を行う。表示制御部１３０は、映像データ読み出し部１３１と、映像復号化処理部１３２と、を備える。
映像データ読み出し部１３１は、映像表示開始判定処理部１２０において、映像表示開始条件を満たしたと判定された場合に、映像データ一時記憶部２４０に記憶されている仮想現実提示用の映像符号化データを読み出して、映像復号化処理部１３２に出力する。本実施形態３において、仮想現実提示用の映像としては具体的に仮想現実オブジェクトの映像であるとして説明する。
映像復号化処理部１３２は、映像データ読み出し部１３１で読み出された映像符号化データを復号し、復号処理後の映像を表示部１４０に表示する制御を行う。表示部１４０は、表示制御部１３０からの制御に従って、仮想現実提示用の映像である仮想現実オブジェクトの映像を表示する。
次に、本実施形態３に係る仮想現実提示システムについて説明する。図１１は、本実施形態３に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、仮想現実提示装置３００と、仮想現実サービス提供サーバ３１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶データベース２３００と、契約者情報記憶データベース３２００とを備える。
仮想現実サービス提供サーバ３１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部（映像解析処理部）３１１０と、仮想現実オブジェクト読み出し部３１２０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、を備える。
通信部２１１０は、インターネット等の通信網１０を介して仮想現実提示装置３００と通信を行う。通信部２１１０は、仮想現実提示装置３００より送信されるユーザ状態情報、音声データ、周囲状況情報を受信し、ユーザ状態情報を表示映像生成処理部２１４０に、音声データを音声コンテキスト取得部２１２０に、周囲状況情報を画像解析処理部３１１０にそれぞれ出力する。
また、通信部２１１０は、サーバ側仮想現実提示制御部２１３０で生成された仮想現実サービス提供開始通知情報と、表示映像生成処理部２１４０で生成された映像符号化データとをそれぞれ仮想現実提示装置３００に通信網１０を介して送信する。
画像解析処理部３１１０は、通信部２１１０で入力された周囲状況情報に含まれる映像を解析して所定のパラメータを抽出する。本実施形態３に係る仮想現実サービス提供サーバ３１００において、画像解析処理部３１１０は、物***置検出部３１１１と、光学成分抽出部３１１２とを備える。
物***置検出部３１１１は、周囲状況情報に含まれる前方景色画像や周辺景色画像に写っている物体の位置を特定する。物***置検出部３１１１は、特定した各物体の位置座標を示す現実物***置情報を仮想現実オブジェクト配置部３１４０と、表示映像生成処理部２１４０の描画処理部２１４３に出力する。
例えば、物***置検出部３１１１は、左目と右目の位置に対応する場所に配置された複数の視線カメラ３１１で取得された前方景色画像や、複数の周辺カメラ３１２で撮影された周辺景色画像を入力し、各画像において、隣接する画素やブロックとの間で色差信号や輝度信号との差分を算出することで境界判定処理を行う。物***置特定部３１１１は、当該境界判定処理に基づいて、当該画像に写っている各物体や壁、床、空などを特定し、特定した各物体等をラべリングする。物***置特定部３１１１は、各カメラで取得された画像においてそれぞれ同一のラべルが張られた各物体の画素位置を比較することで、当該物体までの距離を求め、ユーザの周囲に存在する物体等の位置関係を特定する。
好ましくは、物***置特定部３１１１は、入力した画像に基づいて大きさやユーザまでの距離を特定した各物体をモデリングすることで、ユーザの周囲の物理的環境を示すモデルデータを生成すると良い。すなわち、物***置特定部３１１１は、現実の世界におけるユーザの周囲の物理的環境を３Ｄポリゴンデータでモデル化する。物***置特定部３１１１は、生成した現実世界の物体のモデルデータを仮想現実オブジェクト配置位置決定部３１４０と、表示映像生成処理部２１４０の描画処理部２１４３にそれぞれ出力する。
光学成分抽出部３１１２は、入力した前方景色画像の中から光学成分を抽出する。例えば、光学成分抽出部３１１２は、前方景色画像の各画素における輝度信号の平均値を算出することで、ユーザの周囲の全体的な明るさ（照度）を示す情報を取得する。また、光学成分抽出部３１１２は、各画素の色差信号の平均値を求めることで、ユーザの周囲の全体的な色を示す情報を取得する。これらの情報は、後述する光源制御部２１４２で制御される無限遠方光源の明るさ（照度）や色に対応する。
また、光学成分抽出部３１１２は、前方景色画像の各画素又はブロックにおける明るさを比較する比較処理や、影となる部分を特定することで、ユーザの周囲にある光源の位置や光源の明るさに関する情報を取得する。
光学成分抽出部３１１２は、周囲状況情報として入力された前方景色画像の中から抽出した光学成分に関する情報を光源制御部２１４２に出力する。なお、光学成分抽出部３１１２は、周囲状況情報として入力される周囲景色画像に対して同様の処理を行い、仮想空間における光源の位置や強さに関連する光学成分の情報を抽出し、光源制御部２１４２に出力する構成としても良い。
音声コンテキスト取得部２１２０は、通信部２１１０で受信された音声データからコンテキストを取得する。音声コンテキスト取得部２１２０は、当該音声データを音声解析サーバ２２００に転送し、音声解析サーバ２２００における音声解析処理に基づいて抽出されたコンテキストを受信することで当該音声データのコンテキストを取得する。
サーバ側仮想現実提示制御部２１３０は、音声コンテキスト取得部２１２０で取得されたコンテキストが仮想現実サービスの提供開始を要求するものであった場合に、ユーザに対して仮想現実サービスの提供を開始する処理を行う。
サーバ側仮想現実提示制御部２１３０は、仮想現実サービスの提供開始要求を受けた場合に、契約者情報記憶データベース３２００に記憶されている契約者情報を参照して当該ユーザに対して提供可能な仮想現実サービスを特定し、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。サーバ側仮想現実提示制御部２１３０は、提供する仮想現実サービスに応じた仮想現実提示開始条件を含めて仮想現実サービス提供開始通知情報を生成する。
仮想現実サービスの利用を希望するユーザは、当該仮想現実サービスを提供する仮想現実サービス提供会社と契約しており、契約者情報記憶データベース３２００は、当該ユーザの契約内容に関する情報を契約情報として記憶する。契約者情報には、ユーザの個人情報や利用可能な仮想現実サービスの種類などの情報が記憶されている。
サーバ側仮想現実提示制御部２１３０は、当該契約者情報に基づいて、音声コンテキスト取得部２１２０で取得されたコンテキストで要求されている仮想現実サービスについてユーザが利用可能であるかを判定する。当該判定の結果、要求されている仮想現実サービスが、契約内に含まれる仮想現実サービスであった場合に、サーバ側仮想現実提示制御部２１３０は、仮想現実サービスの提供が可能であるとして、仮想現実サービスの提供開始処理に移行する。
サーバ側仮想現実提示制御部２１３０は、仮想現実オブジェクト読み出し部３１２０に提供する仮想現実サービスに使用する仮想現実コンテンツの読み出し指示を出す。また、サーバ側仮想現実提示制御部２１３０は、仮想空間設定部３１３０に新たな仮想空間の設定指示を出す。
仮想現実オブジェクト読み出し部３１２０は、仮想現実コンテンツ記憶部２３００に記憶されている仮想現実コンテンツの中から、提供する仮想現実サービスに係る仮想現実オブジェクトのデータを読み出し、仮想現実オブジェクトデータを仮想現実オブジェクト配置部３１４０に出力する。
仮想現実コンテンツ記憶データベース３２００は、仮想現実コンテンツを記憶する。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、少なくとも仮想現実オブジェクトの外観を規定するモデルデータを含む。当該モデルデータは、外観形状を規定するポリゴンデータや、外観形状表面に張り付けるテキスチャーデータなどから構成される。
仮想現実オブジェクトのモデルデータは、当該仮想現実オブジェクトの形状を規定するポリゴンデータと、当該ポリゴンデータで規定される形状の表面に張り付けられるテキスチャーデータと、を含む。
仮想空間設定部３１３０は、サーバ側仮想現実提示制御部２１３０からの仮想空間設定指示に基づいて、当該仮想現実サービス用に新たな仮想空間を設定する。具体的には、仮想空間設定部３１３０は、仮想現実オブジェクトを配置する座標空間を仮想空間として設定する。内部処理的には、仮想空間設定部３１３０は仮想空間用のメモリー領域を確保する処理を行う。
ここで、仮想空間設定部３１３０は、仮想現実サービスに応じた広さの仮想空間を設定することが好ましい。室内に少数の仮想現実オブジェクトを配置する場合は、仮想空間は狭くても問題がない一方、屋外で大掛かりな仮想現実の世界を実現するためには、ユーザから遠い位置にも仮想現実オブジェクトを配置できるように広い仮想空間を設定することが好ましいためである。
そこで、仮想空間設定部３１３０は、サーバ側仮想現実提示制御部２１３０からの指示に従って、提供する仮想現実サービスに応じた広さを有する仮想空間を新たに設定する。仮想空間設定部３１３０は、仮想空間として縦Ｙ・横Ｘ・高さＺの直交座標空間を設定しても良いし、原点（０，０，０）と距離Ｒ、角度θ、角度φによる極座標空間を設定しても良い。
仮想現実オブジェクト配置部３１４０は、仮想空間設定部３１３０が設定した仮想空間に、仮想現実オブジェクト読み出し部３１２０で読み出された仮想現実サービス用の仮想現実オブジェクトを配置する。仮想現実オブジェクト配置部３１４０は、読み出した仮想現実オブジェクトを仮想空間の所定の位置に配置しても良いし、物***置特定部３１１１が特定した現実の世界の物体と重なり合わない位置に配置しても良い。例えば、物***置特定部３１１１で生成された現実世界の物体のモデルデータを予め仮想空間に配置し、当該現実世界の物体のモデルデータと重複する領域がでないか所定の重なり量以下となるように、仮想現実オブジェクトを仮想空間に配置する。
表示映像生成処理部２１４０は、仮想現実オブジェクト配置部３１４０が仮想空間に配置している仮想現実オブジェクトの映像を生成する。表示映像生成処理部２１４０は、視点制御部２１４１と、光源制御部２１４２と、描画処理部２１４３と、映像符号化処理部２１４４と、を備える。
視点制御部２１４１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向と対応している。
なお、ユーザ状態情報の中にはユーザの方向を示す方位情報やユーザの移動速度を示す移動速度情報などが含まれていると更に好ましい。視点制御部２１４１は、ユーザ状態情報に含まれるこれら各情報に基づいてユーザの頭部の姿勢を算出し、ユーザの左目と右目の位置及びユーザの頭部が向いている方向を特定する。視点制御部２１４１は、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置座標及び視線の方向を算出する。
光源制御部２１４２は、画像解析処理部３１１０の光学成分抽出部３１１２で抽出された光学成分に基づいて、仮想空間における光源の位置座標及び光源の照度（明るさ）を算出する。例えば、光源制御部２１４２は、光学成分抽出部３１１２で抽出された画像の各画素の輝度の平均値を算出することで、無限遠方の光源の強さを算出し、当該画像の画素間の輝度の差分に基づいて、他の光源の位置座標及び照度をそれぞれ算出する。また、光源制御部２１４２は、解析処理が行われた画像における画素の色差信号に基づいて光源の色を算出しても良い。
描画処理部２１４３は、仮想現実オブジェクトをリアルタイムにレンダリングして２次元画像を生成する。一例として、描画処理部２１４３は、以下に示す投影処理、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理等の一部又は複数の処理を組み合わせてレンダリングを行い、仮想現実オブジェクトの映像を生成する。
描画処理部２１４３は、視点制御部２１４１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置にイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部２１４３は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、仮想現実提示装置３００における表示部１４０で表示される範囲を選択する。
描画処理部２１４３は、物***置特定部３１１１で特定された現実の世界の物体のモデルに基づいて隠面処理を行う。描画処理部２１４３は、イメージプレーンに投影された仮想現実オブジェクトの画像を構成する画素の中から、視点制御部２１４１で算出された視点位置と仮想現実オブジェクトの間に位置している現実の世界の物体のモデルの投影画像と重複する画素のデータを消去することで隠面処理を行う。
描画処理部２１４３は、光源制御部２１４２で算出された光源の位置及び強さに基づいてシェーディング処理を行い、仮想現実オブジェクトの表面の輝度や光の上がり具合、光の透過の状態を調整する。描画処理部２１４３は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に仮想現実提示装置３００の表示部１４０で表示する映像を生成する。
なお、描画処理部２１４３は、視点制御部２１４１が制御する左目に対応する視点と右目に対応する視点に基づいて、左目用の映像と右目用の映像の２枚の映像を生成する。描画処理部２１４３は、生成した映像を映像符号化処理部２１４４に出力する。
映像符号化処理部２１４４は、描画処理部２１４３におけるリアルタイムレンダリング処理で順次生成される映像を所定の符号化方式に基づいて圧縮符号化処理を行う。映像符号化処理部２１４４は、符号化処理後の映像符号化データを通信部２１１０に出力する。通信部２１１０は、映像符号化処理部２１４４より出力される映像符号化データを仮想現実提示装置３００に送信し、仮想現実提示装置３００の表示制御部１３０で復号処理が行われ、復号処理後の映像が表示部１４０に表示される。
以上のように、本実施形態３に係る仮想現実提示システムによれば、提供される仮想現実サービスに応じた条件が設定され、当該条件を満たしている場合に仮想現実の提示が開始される。従って、ユーザが感知する世界が、現実の世界から仮想現実の世界へ切り替わるタイミングでの不連続性を無くすようにより適切な制御がなされることとなり、ユーザは自然に仮想現実の世界に入り込むことが可能となる。
＜実施形態４＞
人間は、五感、すなわち、味覚、触覚、視覚、聴覚、嗅覚を用いて外界で生じる事象を検知し、検知した情報を脳で処理して次の行動を行う生物である。リアルとは異なるバーチャルな世界をリアルな世界であるとユーザに誤認させることは、ユーザと外界とのインターフェースである五感を欺くことに他ならない。従って、五感の中からより多くの感覚を欺けば欺くほど、バーチャルな世界をリアルな世界と認識し、仮想現実が深まっていくことになる。
五感のうち、最も情報量が多く、主センサとして働く感覚は視覚である。従って、視覚を欺くことができれば、人間は仮想現実に入りやすくなるという点から、本発明の仮想現実提示装置は出発している。しかしながら、提示する仮想現実が映像のみに依存すると現実との乖離が起こる場合がある。例えば、吠えている犬の映像を現実の犬であるとして表示パネルに表示している場合に、犬の鳴き声が聞こえてこないことは、現実の世界で起こり得る事象から乖離しているため、ユーザは現在見ている犬が現実の犬ではなく、作り出された映像の犬ではないかという疑念を抱くきっかけになる。
仮想現実提示装置をより高度に昇華させるためには、現実と仮想現実との間に不整合性を持たせないことである。本実施形態４に係る仮想現実提示装置は、人間が生まれながら備えている感覚の中から複数の感覚を欺くことで、仮想現実と現実との境界を縮小し、ユーザが仮想現実の世界に深く入り込むことを可能とする点を特徴とする。
図１２は、本実施形態４に係る仮想現実提示装置４００の機能構成を示すブロック図である。仮想現実提示装置４００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、仮想現実提示開始条件設定部４２０と、音声再生開始判定処理部４３０と、音声再生処理部４４０と、音声出力部４５０と、を備える。
仮想現実提示装置４００において、ユーザ状態検知部１１０は、内部カメラ１１１と、傾きセンサ１１２と、加速度センサ１１３と、を備える。音声入力部２１０は、ユーザマイク２１１と、周囲マイク２１２とを備える。周囲状況検知部３１０は、視線カメラ３１１と、周辺カメラ３１２とを備える。これらの構成については既に説明しているため、説明を省略する。
仮想現実提示用データ記憶部４１０は、通信部２３０で受信された仮想現実提示用のデータを記憶する。仮想現実提示用のデータとしては、仮想現実提示用の映像データや仮想現実提示用の音声データが含まれる。仮想現実提示用の映像データは、例えば仮想現実の世界で現される仮想現実オブジェクトの映像データなどである。また、仮想現実提示用の音声データは、当該仮想現実オブジェクトが発する音声データや、仮想現実の世界を創り出す背景音楽データなどである。これらの映像データや音声データは符号化されており、映像符号化データ及び音声符号化データという形で仮想現実提示用データ記憶部４１０に一時的に記憶される。
仮想現実提示開始条件設定部４２０は、仮想現実の提示を開始するための条件を設定する。通信部２３０で受信された仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件が装置側仮想現実提示制御部２２０によって仮想現実提示開始条件設定部４２０に送られ、仮想現実提示開始条件設定部４２０は、当該仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件に従って、仮想現実提示開始条件を設定する。仮想現実提示開始条件は、具体的に、仮想現実提示用の映像表示を開始するための条件である映像表示開始条件や、仮想現実提示用の音声再生を開始するための条件である音声再生開始条件が必要に応じて含まれる。
映像表示開始判定処理部１２０は、装置側仮想現実提示制御部２２０より仮想現実提示用の映像表示判定指示を受けた場合に、ユーザ状態検知部１１０で検知されたユーザ状態に基づいて、仮想現実提示開始条件設定部４２０によって設定されている映像表示開始条件を満たしているかを判定する。
なお、映像表示開始判定処理部１２０は、周囲状況検知部３１０で検知される周囲状況に基づいて当該判定を行う構成としても良い。例えば、映像表示開始条件として「ユーザの周囲に他の人間がいないこと」という条件が設定されている場合、映像表示開始判定処理部１２０は、周囲状況検知部３１０である視線カメラ３１１や周辺カメラ３１２で撮影された映像の中に人間が写っていないかを判定する。当該判定をクリアした場合に、映像表示開始判定処理部１２０は、表示制御部１３０に仮想現実提示用の映像表示開始を指示する。
音声再生開始判定処理部４３０は、装置側仮想現実提示制御部２２０より仮想現実提示用の音声再生判定指示を受けた場合に、仮想現実提示開始条件設定部４２０によって設定されている音声再生開始条件を満たしているかを判定する。音声再生開始判定処理部４３０は、映像表示開始判定処理部１２０と連動しても良いし、他の条件によって判定されていても良い。音声再生開始判定処理部４３０は、仮想現実用の音声再生を開始すると判定した場合に、音声再生制御部４４０に音声再生の開始を指示する。
音声再生制御部４４０は、仮想現実提示用の音声の再生制御を行う。音声再生制御部４４０は、音声データ読み出し部４４１と、音声復号化処理部４４２とを備える。
音声データ読み出し部４４１は、音声再生開始判定処理部４３０からの音声再生開始指示に基づいて、仮想現実提示用データ記憶部４１０より仮想現実提示用の音声符号化データを読み出して音声復号化処理部４４２に出力する。
音声復号化処理部４４２は、音声データ読み出し部４４１で読み出された音声符号化データに対する復号化して各チャンネルの音声データを生成し、復号化後の音声データを音声出力部４５０に出力する。
音声出力部４５０は、仮想現実提示用の音声を出力する。音声出力部４５０は、ライトスピーカ４５１ａとレフトスピーカ４５１ｂとを備え、各スピーカは、音声復号化処理部４４２で復号化された各チャンネルの音声データにＤＡ変換処理を行ってアナログ音声信号に変換し更に空気振動に変換して音声を外部へ放音する。
図１３は、当該仮想現実提示装置４００の斜め前方と斜め後方からの外観斜視図を示している。図１３に示すように、仮想現実提示装置４００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Head mount Display）装置の形態を取る。仮想現実提示装置４００は、フレーム４０１と、フロントパネル４０２と、を少なくとも備える。
フレーム４０１は、仮想現実提示装置４００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム４０１は、大きく分けてライトフレーム４０１ａ、レフトフレーム４０１ｂ、センターフレーム４０１ｃから構成される。
ライトフレーム４０１ａ及び４０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ４５１ａ、４５１ｂが配置され、他端がセンターフレーム４０１ｃと接続されている。
また、ライトフレーム４０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン２１１が配置され、ライトフレーム４０１ａ及びレフトフレーム４０１ｂの一端の外側に周囲の音声を集音する周囲マイクロフォン２１２ａ、２１２ｂが配置されている。ユーザマイクロフォン２１１や周囲マイクロフォン２１２ａ、２１２ｂで集音された音声は、ＡＤ変換でデジタル音声信号に変換され、情報処理プロセッサに出力される。
ライトフレーム４０１ａ及び４０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１２ａ、１１２ｂと、加速度を検知する加速度センサ１１３ａ、１１３ｂが配置されている。また、ライトフレーム４０１ａ及びレフトフレーム４０１ｂの外側には、周囲の景色を撮影する周辺カメラ３１２ａ、３１２ｂがそれぞれ配置されている。
センターフレーム４０１ｃは、両端がそれぞれライトフレーム４０１ａ、レフトフレーム４０１ｂに接続されており、センターフレーム４０１ｃの下方にフロントパネル４０２が接続されている。
センターフレーム４０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１２ｃ、１１２ｄ、１１２ｅと、加速度を検知する加速度センサ１１３ｃ、１１３ｄ、１１３ｅがそれぞれ配置されている。
センターフレーム４０１ｃのユーザ側であって、ユーザの左右の目の位置には、ユーザの顔の一部又は全部の表情を撮影する内部カメラ１１１ａ、１１１ｂが配置されている。内部カメラ１１１ａ、１１１ｂは、少なくともユーザの目の位置を含む領域を撮影してユーザ表情映像をユーザ状態情報として生成する。
センターフレーム４０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ３１１ａ、３１１ｂが配置されている。視線カメラ３１１ａ、３１１ｂは、センターフレーム４０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
フロントパネル４０２は、仮想現実提示装置４００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。仮想現実提示装置４００において、フロントパネル４０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル１４１ａとレフト表示パネル１４１ｂとが配置される。
図１４は、仮想現実提示装置４００のライト表示パネル１４１ａ付近の断面図を示している。センターフレーム４０１ｃの下方には、フロントパネル４０２が配置されており、センターフレーム４０１ｃの下部には光源１４２が配置されている。
光源１４２より放射された可視光はフロントパネル４０２側へ照射される。フロントパネル４０２は、導光板１４３とＬＣＤ１４４とが合わさった構成であり、光源１４２より放射された可視光が導光板１４３でユーザ側へ反射され、表示制御されたＬＣＤ１４４を透過することで仮想現実提示用の映像が表示される。
なお、仮想現実提示装置４００は図１５に示す構成としても良い。図１５に示す仮想現実提示装置４００は、光源１４２と導光板１４３との間にＬＣＤ１４４が配置されている。従って、外部からの光は、ＬＣＤ１４４を透過することなくユーザの目に照射されるため、外部の景色の明るさが暗くなることを防ぐことができる。
また、図１６に示すように外界からの光である外部光の照射量を制御するＬＣＤ１４５が配置されていても良い。ＬＣＤ１４４で仮想現実オブジェクトの映像を表示しても、外界からの光が混ざってしまい、仮想現実オブジェクトの像が透けてしまうため、ＬＣＤ１４５において仮想現実オブジェクトの位置における外部光を遮断することで、仮想現実オブジェクトが透けて見えると言ったことを防ぐことができる。
なお、導光板１４３の位置は、図１７に示すように、ユーザの目に入射される外部光が通過しない位置に配置されていると更に良好である。図１７の構成では、外部光のコントラストを更に向上させることが可能である。
また、図１８に示すように、外部光を制御するＬＣＤ１４５が配置されていても良い。外部光は、ＬＣＤ１４５を透過してユーザの目に到達する一方、光源１４２から出た光は、ＬＣＤ１４４を透過し、導光板１４３で反射されてユーザの目に到達する。
なお、ＬＣＤ１４５は、電圧制御によって外部から透過してくる光量を制御できるものであればどのようなものを用いても良い。例えば、電圧を印加することで結晶方向を変化させて乱反射を増加させるディスプレイを用いることも可能である。
また、図１９に示すようにプロジェクション機構を表示部１４０として使用することも可能である。フロントパネル４０２の上部に位置するセンターフレーム４０１ｃの内部にプロジェクション機構が表示部１４０として配置されている。
センターフレーム４０１ｃの内部上方に配置されている光源１４２より照射された白色光は、レンズ群１４６ａによって集光された後、ポラライジングコンバータ（ＰＬＣ）１４６ｂによって偏光成分が一方向に整えられたのち、第１反射ミラー１４６ｃによって垂直方向に反射される。第１反射ミラー１４６ｃで反射された白色光は、Ｒ反射ダイクロイックミラー１４６ｄによって赤色の光成分（Ｒ成分）だけが水平方向へ反射され、他の成分の光は、Ｒ反射ダイクロイックミラー１４６ｄを透過する。
Ｒ反射ダイクロイックミラー１４６ｄを透過した光は、Ｇ反射ダイクロイックミラー１４６ｅで緑色の光成分（Ｇ成分）だけが水平方向に反射され、残りの青色の光成分（Ｂ成分）はＧ反射ダイクロイックミラー１４６ｅを透過する。
Ｇ反射ダイクロイックミラー１４６ｅを透過したＢ成分の光は、第２反射ミラー１４６ｆで水平方向に反射され、更に第３反射ミラー１４６ｇで垂直上方へ反射され、第１液晶パネル１４６ｈを透過した後にクロスダイクロプリズム１４６ｊに入射される。
一方、Ｒ反射ダイクロイックミラー１４６ｄで反射されたＲ成分の光は、第４反射ミラー１４６ｋによって垂直方向に反射され、第２液晶パネル１４６ｍを透過した後にクロスダイクロプリズム１４６ｊに入射される。また、Ｇ反射ダイクロイックミラー１４６ｅで反射されたＧ成分の光は、第３液晶パネル１４６ｎを透過した後にクロスダイクロプリズム１４６ｊに入射される。
クロスダイクロプリズム１４６ｊは、分離されてそれぞれ液晶パネルを通過したＲ成分、Ｇ成分、Ｂ成分の３つの光を合成して水平方向に反射する。クロスダイクロプリズム１４６ｊより出力された合成光は、ガルバノミラー１４６ｐによって垂直方向に反射され、照射窓１４６ｑよりフロントパネル４０２へ照射される。ガルバノミラー１４６ｐは、クロスダイクロプリズム１４６ｊより出力された合成光を水平方向（ｙ方向）に走査しながら反射する。
フロントパネル４０２のうち、照射窓１４６ｑの下方には導光板１４３が配置されており、当該導光板１４３によってユーザ方向に反射された光がフロントパネル４０２で屈折して平行光となってユーザの目の中へ入射される。ガルバノミラー１４６ｐによって水平方向に光が操作されているため、導光板１４３で反射される光は垂直方向（ｚ方向）に走査される。
なお、図１９における各部材は、ｘ方向すなわち紙面垂直方向に長細い構成をとっており、右目用の映像におけるｘ方向の一列を纏めて表示する。当該一列の映像がガルバノミラー１４６ｐによってｙ方向に走査されて順次表示されることで、ｘｚ平面の２次元画像がフロントパネル４０２に映し出されることになる。同様に、左目の上部にも同一のプロジェクション機構が配置されており、フロントパネル４０２の左目前方に左目用の映像が映し出される。このように、右目用プロジェクション機構と左目用プロジェクション機構によって表示部が形成される。なお、左目用プロジェクション機構と右目用プロジェクション機構は共通化されていても良い。
また、図２０のように、仮想現実提示装置４００は、非透過型ＨＭＤ装置であっても良い。この場合、視線カメラ３１１で撮影された映像に仮想現実提示用の映像を合成した映像を表示パネル１４０に表示する。
この場合、仮想現実オブジェクトの表示位置では、視線カメラで撮影された映像を下位レイヤー、仮想現実オブジェクトの映像を上位レイヤーとして２つの映像を合成して映像が表示パネルで表示される。
例えば、仮想現実オブジェクトが表示される所定の座標（ｘ、ｙ）において、映像生成処理部２１４０で生成される仮想現実オブジェクトの映像の画素データが（Ｙ１、Ｕ１、Ｖ１）であり、当該座標における視線カメラ３１１で撮影された映像の画素データが（Ｙ２、Ｕ２、Ｖ２）であったとする。仮想現実オブジェクトの配置位置が視線カメラ３１１で撮影された映像に写る物体よりもユーザ側にある場合は、表示パネル１４１ａ、１４１ｂにおける当該座標で表される画素データは（Ｙ１，Ｕ１、Ｖ１）となり、一方、視線カメラ３１１で撮影された映像に写る物体が、仮想現実オブジェクトの配置位置よりもユーザ側になる場合は、表示パネル１４１ａ、１４１ｂにおける当該座標で表される画素データは（Ｙ２，Ｕ２，Ｖ２）となる。
以上のように、本実施形態４に係る仮想現実提示装置４００は、仮想現実を提示するための手段として、映像表示手段と音声再生手段とを備える。ユーザの視覚と聴覚を錯覚させるように仮想現実の世界が提示されるため、ユーザはより深く仮想現実の世界に入り込むことができる。
なお、視界に突如物体や人物が現れた場合には、ユーザには多大な違和感を生じるものの、突如前方から音声が聞こえてくる場合には、ユーザにはそれほど違和感を生じることが無い。そのため、音声再生開始判定処理部４３０は、ユーザの状態に基づかない判定処理によって音声再生開始の判定を行う構成としても良い。
図２１は、本実施形態４に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は上述の仮想現実提示装置４００と、仮想現実サービス提供サーバ４１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
仮想現実コンテンツ記憶データベース２３００は、仮想現実コンテンツとして仮想現実オブジェクトのモデルデータに加えて、仮想現実提示用の音声データを記憶する。仮想現実提示用の音声データとしては、各仮想現実オブジェクトに対応付けられた当該仮想現実オブジェクトが発する音声や、仮想現実の世界を創り出すための効果音や背景音楽などが含まれる。
仮想現実サービス提供サーバ４１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、を備える。
再生音声生成処理部４１２０は、仮想現実提示装置４００の音声再生処理部４４０で再生する仮想現実提示用の音声データを生成する。再生音声生成処理部４１２０は、聴覚点制御部４１２１と、音声分配処理部４１２２と、音声符号化処理部４１２３と、を備える。
聴覚点制御部４１２１は、通信部２１１０で受信されたユーザ状態情報に基づいて、ユーザの左右の耳の位置に対応する仮想空間内の聴覚点を制御する。
音声分配処理部４１２２は、仮想現実提示用の音声データを複数のチャンネルに分配してチャンネル別音声データを生成する。音声分配処理部４１２２は、仮想現実オブジェクト配置位置情報取得部４１２２ａと、相対位置関係算出部４１２２ｂと、チャンネル別音声データ生成処理部４１２２ｃと、を備える。
仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実用の音声データが仮想空間に配置されている仮想現実オブジェクトから発せられる音声である場合に、当該仮想現実オブジェクトが配置されている位置を音声発生源として当該位置座標を仮想現実オブジェクト配置部３１４０より取得する。
仮想現実コンテンツ読み出し部４１１０で読み出される音声データには、対応する仮想現実オブジェクトを識別する識別番号が付与されている。仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実コンテンツ読み出し部４１１０で読み出された音声データに対応付けられている仮想現実オブジェクトの識別番号に基づいて、当該識別番号で識別される仮想現実オブジェクトの配置位置を示す情報を仮想現実オブジェクト配置部３１３０より取得する。仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実オブジェクト配置部３１４０より取得した仮想現実オブジェクトの位置座標を示す位置情報を相対位置関係算出部４１２２ｂに出力する。
相対位置関係算出部４１２２ｂは、聴覚点制御部４１２１で求められたユーザの耳の位置に対応する聴覚点の位置座標と、仮想現実オブジェクト配置位置情報取得部４１２２ａで取得された仮想現実オブジェクトの配置位置を示す位置座標とに基づいて、相対位置関係を算出する。具体的に、相対位置関係算出部４１２２ｂは、音声発生源である仮想現実オブジェクトの位置座標から音声集音点である聴覚点の位置座標までのベクトルＰを算出する。相対位置関係算出部４１２２ｂは、算出した相対位置関係であるベクトルＰをチャンネル別音声データ生成処理部４１２２ｃに出力する。
チャンネル別音声データ生成処理部４１２２ｃは、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実提示用の音声データを、相対位置関係算出部４１２２ｂで算出された相対位置であるベクトル情報に基づいて、複数の音声チャンネルに分配することで各チャンネルの音声データを生成する。
仮想現実提示装置４００の音声再生処理部４４０は、５．１Ｃｈ、６．１Ｃｈ、７．１Ｃｈ等の複数チャンネルで音声を再生可能な構成を取っており、チャンネル別音声データ生成処理部４１２２ｃは、仮想現実コンテンツ読み出し部４１１０で読み出された音声データを、仮想現実提示装置４００が対応しているＣｈ数に合わせた各チャンネルの音声データを生成する。チャンネル別音声データ生成処理部４１２２ｃは、仮想現実オブジェクトに対応付けられた音声が、当該仮想現実オブジェクトの位置から発せられたようにするために、読み出された音声データの各チャンネルの音声レベルを調整することで、音声に指向性を持たせ、各チャンネルの音声データを生成する。
音声符号化処理部４１２３は、音声分配処理部４１２２で各チャンネルに分配されたチャンネル別の音声データをＣＳ−ＡＣＥＬＰ（Conjugate-Structure Algebraic Code Excited Linear Prediction）等の所定の音声符号化方式で符号化して符号化音声データに変換する。音声符号化処理部４１２３で符号化された音声データは、通信部２１１０より仮想現実提示装置４００に送信される。
以上のように、本実施形態４に係る仮想現実提示システムによれば、ユーザの視覚と聴覚に対して錯覚を起こさせるように仮想現実コンテンツを再生することで、ユーザを自然に仮想現実の世界に入り込ませることが可能となる。
なお、上記説明では、仮想現実として聴覚と視覚に対するコンテンツの再生を行う構成としたが、嗅覚や触覚を刺激する手段を備える構成であっても良い。例えば、仮想現実提示装置４００に複数の臭気の元となる物質を密封して格納する臭気格納部と、仮想現実管理制御部４６０からの制御に基づいて臭気格納部のいくつかを開放して臭気を混合する臭気混合部と、混合した臭気を放出する臭気放出部が備えられる構成であっても良い。
＜実施形態５＞
実施形態１〜４に係る仮想現実提示システムでは、仮想現実の提示の開始のタイミングを制御することで、現実の世界から仮想現実の世界へ移り変わる際の不連続性を緩和することができ、ユーザは現実の世界から仮想現実の世界に切り替わったことを知覚することなく仮想現実の世界に入り込むことができる。
ここで、仮想現実の世界の提示が終了して現実の世界に戻る場合に、仮想現実の世界と現実の世界へ移り変わる際の不連続性からユーザは今まで仮想現実の世界を感知していたことを認識することになる。ここで、ユーザに提供される仮想現実サービスの種類によっては、仮想現実の世界から現実の世界に戻る際の不連続性を抑え、ユーザが仮想現実の世界に一時的にいたと言うことを認識できないように制御することが好ましい場合がある。例えば、時系列状に複数回に渡って仮想現実の世界を提示する仮想現実サービスである場合には、ストーリー性があるために、仮想現実の世界から連続的に現実の世界へ移り変わることが好ましい。本実施形態５に係る仮想現実提示システムでは、仮想現実の提示終了タイミングを制御することを特徴とする。
図２２は、本実施形態５に係る仮想現実提示装置５００の構成を示すブロック図である。仮想現実提示装置５００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、仮想現実提示開始条件設定部４２０と、音声再生開始判定処理部４３０と、音声再生処理部４４０と、音声出力部４５０と、映像表示終了判定処理部５１０と、仮想現実提示終了条件設定部５２０と、音声再生終了判定処理部５３０と、を備える。
通信部２３０は、仮想現実サービスの提供開始を通知する仮想現実サービス提供開始通知情報に加えて、仮想現実サービスの提供終了を通知する仮想現実サービス提供終了通知情報を受信し、装置側仮想現実提示制御部２２０に出力する。
装置側仮想現実提示制御部２２０は、仮想現実サービス提供終了通知情報を受け取ると、仮想現実提示終了条件設定部５２０に仮想現実提示終了条件の設定を指示する。具体的には、仮想現実サービス提供終了通知情報に含まれる仮想現実提示終了条件に基づいて、当該仮想現実提示終了条件を設定する。また、映像表示終了判定処理部５１０と音声再生終了判定処理部５３０にそれぞれ対応する判定処理の開始を指示する。
仮想現実提示終了条件設定部５２０は、装置側仮想現実提示制御部２２０からの指示に基づいて、仮想現実提示終了条件を設定する。仮想現実提示終了条件には、映像表示を終了するための映像表示終了条件と、音声再生を終了するための音声再生終了条件とを含む。
映像表示終了判定処理部５１０は、装置側仮想現実提示制御部２２０からの指示に従って、現在表示部１４０で表示されている仮想現実用の映像の表示を終了するかどうかの判定処理を開始する。映像表示終了判定処理部５１０は、ユーザ状態検知部１１０で検知されるユーザ状態や、周囲状況検知部３１０で検知される周囲状況が仮想現実提示終了条件を満たしているかの判定処理を行う。当該判定処理の結果、仮想現実提示終了条件を満たしている場合に、映像表示終了判定処理部５１０は、表示制御部１３０に仮想現実用の映像の表示を終了させる指示を行う。表示制御部１３０は、当該指示に基づいて表示部１４０に仮想現実提示用の映像を表示することを終了する制御を行う。
音声再生終了判定処理部５３０は、装置側仮想現実提示制御部２２０からの指示に従って、現在音声出力部１４０より出力されている仮想現実用の音声の再生を終了するかどうかの判定処理を開始する。音声再生終了判定処理部５３０は、ユーザ状態検知部１１０で検知されるユーザ状態や、周囲状況検知部３１０で検知される周囲状況が仮想現実提示終了条件を満たしているかの判定処理を行う。当該判定処理の結果、仮想現実提示終了条件を満たしている場合に、音声再生終了判定処理部５３０は、音声再生制御部４４０に仮想現実用の映像の表示を終了させる指示を行う。音声再生制御部４４０は、当該指示に基づいて仮想現実提示用の音声再生処理を終了する制御を行う。
なお、上記音声再生に関する制御は行われない構成としても良い。この場合、音声再生開始判定処理部４３０及び音声再生終了判定処理部５３０は、構成から外される。
図２３は、本実施形態５に係る仮想現実提示システム５０００の構成を示すブロック図である。仮想現実提示システム５０００は、上述の仮想現実提示装置５００と、仮想現実サービス提供サーバ５１００と、セーブデータ記憶データベース５２００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
仮想現実コンテンツ記憶ＤＢ２３００は、複数種類の仮想現実サービスにそれぞれ用いられる仮想現実コンテンツを記憶する。仮想現実コンテンツには、図２４に示すように、仮想現実オブジェクトのモデルデータや音声データの他、仮想現実の提示のために実行される仮想現実制御プログラムが含まれる。
仮想現実制御プログラムは、大きく分けて、仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図２５は、仮想現実制御プログラムの階層構造を示している。
仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。
仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。
仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。
仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。
仮想現実サービス提供サーバ５１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、を備える。
サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供可否判定部２１３１と、仮想現実サービス決定部２１３２と、仮想現実サービス制御部２１３３と、通知情報生成処理部２１３４と、を備える。
仮想現実サービス提供可否判定部２１３１は、音声コンテキスト取得部２１２０で取得される音声コンテキストが仮想現実サービスの提供開始を要求するものであった場合に、契約者情報記憶ＤＢ３２００に記憶されている契約者情報を参照して、要求されている仮想現実サービスを提供可能であるかを判定する。仮想現実サービス提供可否判定部２１３１は、仮想現実サービスの提供が可能であると判定した場合に、仮想現実サービス決定処理部２１３２に提供する仮想現実サービスの決定指示を出すと共に、通知情報生成処理部２１３４に仮想現実サービス提供開始通知情報の生成指示を出す。
仮想現実サービス決定処理部２１３２は、仮想現実サービス提供可否判定部２１３１からの指示に基づいて、ユーザに提供する仮想現実サービスを決定する。ここで、仮想現実サービス決定処理部２１３２は、セーブデータ記憶データベース５２００に記憶されている当該ユーザの当該仮想現実サービスのセーブデータに基づいて、どの位置からの仮想現実サービスを提供するかを決定する。例えば、仮想現実サービスがストーリー性を有する仮想現実サービスである場合は、既に提供済みの部分を示すセーブデータがセーブデータ記憶データベース５２００に記憶されており、前回提供が終了した位置から再開する必要があるためである。仮想現実サービス決定処理部２１３２は、決定した仮想現実サービス及びセーブデータで示される当該仮想現実サービスにおける再開位置を示す情報を仮想現実サービス制御部２１３３に出力する。
仮想現実サービス制御部２１３３は、仮想現実サービス決定処理部２１３２からの出力を受けて、仮想現実サービスの提供を行うための各種制御を実行する。仮想現実サービス制御部２１３３は、仮想現実サービス決定処理部２１３２で決定された仮想現実サービスであってセーブデータで示される再開位置に係る仮想現実コンテンツの読み出し指示を仮想現実コンテンツ読み出し部４１１０に出力する。また、仮想現実サービス制御部２１３３は、当該仮想現実サービスに対応する広さの仮想空間の設定指示を仮想空間設定部３１３０に出力する。
また、仮想現実サービス制御部２１３３は、音声コンテキスト取得部２１２０で取得される音声コンテキストや、画像解析処理部３３１０で得られる画像解析結果に基づいて、当該仮想現実サービスに係る仮想現実メイン制御プログラムや仮想現実サービスサブ制御プログラムを実行することで、仮想現実サービスの提供を継続する。
また、仮想現実サービス制御部２１３３は、音声コンテキスト取得部２１２０で取得される音声コンテキストや、画像解析処理部３３１０で得られる画像解析結果、ユーザが現在提供中の仮想現実サービスの終了を要求している場合や、その他終了条件を満たした場合に、通知情報生成処理部２１３４に仮想現実サービス提供終了通知情報の生成指示を出す。
通知情報生成処理部２１３４は、仮想現実サービス提供可否判定部２１３１からの指示や仮想現実サービス制御部２１３３からの指示に基づいて、それぞれ仮想現実サービス提供開始情報や仮想現実サービス提供終了情報を生成し、通信部２１１０に出力する。通信部２１１０は、当該出力された各通知情報を仮想現実提示装置５００に送信する。
仮想現実オブジェクト挙動制御部５１１０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部５１１０は、仮想現実コンテンツ読み出し部４１１０によって仮想現実コンテンツ記憶データベース２３００より読み出された仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。当該仮想現実オブジェクト挙動制御部５１１０によって、仮想空間内で外観形状が変化していく仮想現実オブジェクトの二次元映像を映像生成処理部２１４０が生成し、最終的に仮想現実提示装置５００の表示部１４０に表示される。
以上のように、本実施形態５に係る仮想現実提示システムによれば、仮想現実の提示の終了タイミングがユーザの状態に基づいて制御されることで、ユーザが仮想現実の世界から現実の世界に移行したことを認知しないようにできるため、仮想現実の世界が仮想現実の世界であったことをユーザに悟られることを防ぐことができる。
なお、仮想現実提示開始条件と仮想現実提示終了条件は、同一の条件が設けられていても良い。例えば、ユーザの目が３秒以上閉じている場合に仮想現実の提示を終了すると判定されても良いし、ユーザの向いている方角が９０度以上変化した場合に仮想現実の提示を終了すると判定されても良い。また、ユーザの向いている角度が４５度以上変化した場合に、仮想現実の提示を終了すると判定されても良い。
＜実施形態６＞
実施形態１〜５に係る仮想現実提示システムでは、仮想現実提示装置側において既に生成されて提示可能な状態となっている映像や音声の提示を開始するか同化の判定を行っている。しかしながら、当該構成では、順次生成されながらも提示開始判定条件を満たさずに破棄される映像や音声を生じてしまうため、リソースの消費が大きくなってしまうと言った問題が生じていた。本実施形態６に係る構成は、リソースの消費を抑えつつ、ユーザが感知する現実の世界から仮想現実の世界への切り替わりにおける不連続性を制御することでユーザが仮想現実の世界に自然に入り込めることを可能としている。
図２６は、本実施形態６に係る仮想現実提示システム６０００の構成を示すブロック図である。仮想現実提示システム６０００は、仮想現実提示装置６００と、音声解析サーバ２２００と、契約者情報記憶ＤＢ３２００と、仮想現実コンテンツ記憶ＤＢ２３００と、仮想現実サービス提供サーバ６１００と、を備える。
仮想現実提示装置６００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、を備える。
ユーザ状態検知部１１０における検知結果であるユーザ状態情報や、音声入力部２１０で入力されるユーザ音声データ、周囲状況検知部３１０における検知結果である周囲状況情報等は、通信部２３０より仮想現実サービス提供サーバ６１００に送信される。
仮想現実サービス提供サーバ６１００で生成される仮想現実提示用の映像データや音声データは、仮想現実提示用データ記憶部４１０に一時的に記憶され、順次通信部２３０で受信される最新の仮想現実提示用の映像データや音声データによって上書きされる。
装置側仮想現実提示制御部２２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に基づいて、表示制御部１３０及び音声再生制御部４４０にそれぞれ仮想現実の提示開始指示を出す。
仮想現実の提示開始指示を受け取ると、表示制御部１３０は、仮想現実提示用データ記憶部４１０における仮想現実提示用映像データの記憶領域から仮想現実提示用の映像データを順次読み出し、符号化されている場合は復号化処理を行った上で復号処理後の映像を表示部１４０に表示する制御を行う。表示部１４０は、表示制御部１３０で復号された仮想現実提示用の映像を表示する。
仮想現実の提示開始指示を受け取ると、音声再生制御部４４０は、仮想現実用データ記憶部４１０における仮想現実提示用音声データの記憶領域から仮想現実提示用の音声データを順次読み出し、符号化されている場合は復号化処理を行った上で復号処理後の音声を再生する制御を行う。音声出力部４５０は、音声再生制御部４４０で再生された音声データをアナログ電気信号に変換し、更に空気振動に変換して外部に放音することで音声を出力する。
仮想現実サービス提供サーバ６１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、仮想現実提示開始判定処理部６１１０と、を備える。
サーバ側仮想現実提示制御部２１３０は、音声コンテキスト取得部２１２０で取得される音声コンテキスト等に基づいて、仮想現実サービスの提供を開始する処理を行う。サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。また、サーバ側仮想現実提示制御部２１３０は、仮想空間設定部３１３０に当該仮想現実サービス用の仮想空間の設定を指示し、仮想現実コンテンツ読み出し部４１１０に提供する仮想現実サービスに係る仮想現実コンテンツの読み出し指示を出し、仮想現実提示開始判定処理部６１１０に仮想現実の提示を開始するかの判定指示を出す。
サーバ側仮想現実提示制御部２１３０からの指示を受けた仮想現実提示開始判定処理部６１１０は、通信部２１１０で受信されたユーザ状態情報や周囲状況情報に基づいて、仮想現実提示装置６００で仮想現実の提示を開始することが可能な状態であるかを判定する。すなわち、仮想現実提示開始判定処理部６１１０は、仮想現実の提示を開始するための条件である仮想現実提示開始条件とユーザ状態情報等で示されるユーザの状態を比較することで、現在のタイミングで仮想現実の提示をユーザに対して行っても、ユーザが感知する現実の世界から仮想現実の世界への移行における不連続性が所定の基準値以下に抑えられるかを判定する。
例えば、仮想現実提示開始条件として「ユーザの目が４秒以上閉じていること」という条件が設定されている場合、仮想現実提示開始判定処理部６１１０は、入力したユーザ状態情報に含まれる内部カメラ１１１で撮影された映像に基づいて、ユーザの目が４秒以上継続して閉じているかを判定する。仮想現実提示開始判定処理部部６１１０は、ユーザの状態が当該判定条件を満たしている場合に、仮想現実オブジェクト配置部３１４０に仮想現実オブジェクトの配置を指示する。なお、仮想現実提示開始条件としては、周囲状況検知部３１０で検知される周囲の明るさ（照度）が所定の基準値以下であると言った条件や、ユーザの頭部が４５度以上回転したと言う条件などが設定されていても良い。
仮想現実提示開始判定処理部６１１０は、上記判定の結果、仮想現実の提示を開始すると判定した場合に、仮想現実オブジェクト配置部３１４０に仮想現実オブジェクトの配置指示を出す。
仮想現実オブジェクト配置部３１４０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを、仮想現実提示開始判定処理部６１１０からの配置指示に基づいて仮想空間設定部３１３０が設定した（生成した）仮想空間に配置する。すなわち、仮想現実コンテンツ読み出し部４１１０より仮想現実サービスに使用する仮想現実オブジェクトが読み出されても、仮想現実オブジェクト配置部３１４０は、仮想現実提示開始判定処理部６１１０において仮想現実の提示を開始すると判定されるまで仮想現実オブジェクトを仮想空間に配置しない。
表示映像生成処理部２１４０は、ユーザ状態情報で示される視点位置及び視線方向から仮想空間に配置されている仮想現実オブジェクトを描画することで仮想現実提示用の映像を生成する。ここで、仮想現実提示開始判定処理部６１１０で仮想現実の提示を開始すると判定されるまでは仮想空間に仮想現実オブジェクトが配置されていないため、表示映像生成処理部２１４０で生成される映像は空の映像である。すなわち、仮想現実提示装置６００の表示部１４０には、仮想現実オブジェクトの映像は表示されない。
以上のように、仮想現実の提示開始を判定する機能が仮想現実サービス提供サーバ側に設けられることで、実際には表示されない仮想現実オブジェクトの映像データが仮想現実提示装置側に送信されることはない。従って、仮想現実提示装置と仮想現実サービス提供サーバ間の無線リソースの不要な消費を抑え、また、仮想現実提示装置における不要な処理を抑えることでバッテリー消費電力を抑えることができる。
なお、本実施形態６に係る仮想現実提示システム６０００は、図２７の構成としても良い。図２７に示す仮想現実提示システム６０００において、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０からの判定指示に基づいて、仮想現実の提示を開始するかどうかの判定処理を行う。
仮想現実提示開始判定処理部６１１０で仮想現実の提示を開始すると判定された場合、すなわち、仮想現実提示条件を対象となるユーザ状態等が満たしていると判定された場合に、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０に、仮想現実の提示開始を指示する。サーバ側仮想現実提示制御部１２３０は、当該仮想現実提示開始判定処理部６１１０からの指示に基づいて、仮想現実コンテンツ読み出し部４１１０に、提供する仮想現実サービスに係る仮想現実コンテンツの読み出し指示を出す。
仮想現実コンテンツ読み出し部４１１０は、当該読み出し指示に基づいて、仮想現実コンテンツ記憶ＤＢ２３００より仮想現実オブジェクトと仮想現実提示用音声データとを読み出す。仮想現実コンテンツ読み出し部４１１０は、読み出した仮想現実オブジェクトを仮想現実オブジェクト配置部３１４０に出力し、仮想現実提示用音声データを再生音声生成処理部４１２０に出力する。仮想現実オブジェクト配置部３１４０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを、仮想空間設定部３１３０が設定した仮想空間に配置する。表示映像生成処理部２１４０は、仮想空間に配置されている仮想現実オブジェクトの映像をユーザ状態に基づいて描画し、仮想現実提示用の映像データを生成する。再生音声生成処理部４１２０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実提示用音声データに基づいて仮想現実提示装置６００で再生するための音声データを生成する。
このように、仮想現実提示開始判定の結果に基づいて、仮想現実オブジェクトがデータベースより読み出されて仮想空間に配置される構成とすることで、当該判定をクリアするまでは表示映像生成処理部２１４０で空の映像が生成されるため、仮想現実提示装置６００の表示部１４０には仮想現実オブジェクトの映像が表示されない。従って、同様の効果を生み出すことができる。
また、本実施形態６に係る仮想現実提示システム６０００は、図２８の構成としても良い。図２８に示す仮想現実提示システム６０００において、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０からの判定指示に基づいて、仮想現実の提示を開始するかどうかの判定処理を行う。仮想現実提示開始判定処理部６１１０は、仮想現実の提示を開始すると判定した場合、表示映像生成処理部２１４０と再生音生成処理部４１２０に、仮想現実の提示開始を指示する。
表示映像生成処理部２１４０は、仮想現実提示開始判定処理部６１１０からの仮想現実提示開始指示に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画して仮想現実提示用の映像を生成する。再生音声生成処理部４１２０は、仮想現実提示開始判定処理部６１１０からの仮想現実提示開始指示に基づいて、仮想現実提示用の音声を生成する。
このように、仮想現実の提示を受けるユーザの状態等が仮想現実の提示を受けるための条件である仮想現実提示条件を満たした場合に、仮想現実提示用の映像や音声が生成されるため、仮想現実サービス提供サーバにおける不要な処理を削減し、リソース消費を抑えることができる。
＜実施形態７＞
実施形態６に係る仮想現実提示システムでは、仮想現実の提示が開始される条件を制御することで、ユーザが仮想現実の世界に違和感なく入れることを特徴としている。ここで、ユーザに提供される仮想現実サービスによっては、単一の仮想現実オブジェクトが表示されるだけではなく、複数の仮想現実オブジェクトが時間の進行に伴って順次仮想空間に読み出されて配置される形態を取る場合がある。
この場合に、新たな仮想現実オブジェクトがユーザの視界にいきなり現れると、ユーザには当該仮想現実オブジェクトが瞬間移動して目の前に現れたように感知されることになる。しかしながら、このような瞬間移動は現実の世界においては物理的に最も起こりえない現象であるため、当該目の前に現れた物体（人物）が現実の世界のものではなく、仮想現実オブジェクトであることを認識してしまい、仮想現実の世界に入り込めなくなる。
図２９は、仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示している。仮想現実を提示する前のユーザの視線先にある景色は、２つのソファーが置かれた部屋の景色である（ａ）。ここで、ユーザは「お部屋で手軽にサファリ体験」と言う仮想現実サービスの提供を要求し、仮想現実オブジェクトであるライオンの映像が仮想現実サービス提供サーバで生成され、映像表示開始条件（仮想現実提示条件）を満たした場合に、当該ライオンの映像が表示部である表示パネルに表示される（ｂ）。
ここで、時間の経過に伴って、第２の動物である犬の仮想現実オブジェクトが追加されたとする。ここで、既に仮想空間に配置しているライオンの仮想現実オブジェクトと、新たに追加される犬の仮想現実オブジェクトを同一に描画して１つの映像データを生成されたとする（ｃ）。この場合、ユーザには、ライオンは連続的にそこに居続けるように感知される一方で、犬は瞬間移動して現れたように感知されてしまい、当該犬は現実の犬ではなく、仮想現実の映像であることを明確に認識してしまうことになる。
本実施形態７に係る仮想現実提示システムでは、このように新たな仮想現実オブジェクトの映像を表示する場合において、仮想現実の世界と現実の世界との不連続性を抑えつつ表示することを特徴とする。
図２９は、本実施形態７に係る仮想現実提示システム７０００の構成を示すブロック図である。仮想現実提示システム７０００は、仮想現実提示装置７００と、仮想現実サービス提供サーバ７１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
仮想現実サービス提供サーバ７１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、を備える。仮想空間設定部３１３０は、仮想空間生成部３１３１と、仮想空間更新管理部３１３２とを備える。
仮想空間生成部３１３１は、新たな仮想現実サービスを開始するとサーバ側仮想現実提示制御部２１２０で決定された場合に、当該仮想現実サービス用の仮想空間を生成する。ここで、仮想空間生成部３１３１は、仮想空間における複数のレイヤーを生成する。
仮想空間更新管理部３１３２は、仮想現実オブジェクト配置部３１４０が行う新たな仮想現実オブジェクトの配置処理や、仮想現実オブジェクト挙動制御部５１１０が行う仮想現実オブジェクトの挙動制御処理に応じて、仮想空間に配置されている仮想現実オブジェクトの位置や配置関係を更新する。
仮想空間管理部３１３２は、仮想空間に配置される仮想現実オブジェクトを複数のレイヤーに分けて管理する。例えば、仮想空間に、ＶＯ００１、ＶＯ００２、ＶＯ００３の識別番号で識別される３つの仮想現実オブジェクトが配置されているとする。例えば仮想空間管理部３１３２は、ＶＯ００１とＶＯ００２を仮想空間のレイヤーＬ０１に関連付け、ＶＯ００３をレイヤー００２に関連付ける。
仮想現実オブジェクト配置部３１４０は、新たに仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを仮想空間に設定されている新規仮想現実オブジェクト用のレイヤーに関連付けて仮想空間に配置する。
表示映像生成処理部２１４０は、仮想空間に配置されている仮想現実オブジェクトをレイヤー毎に分離してそれぞれ描画処理を行い、レイヤー毎の映像データを生成する。表示映像生成処理部２１４０は、当該生成したレイヤー毎の映像データを符号化して通信部２１１０に出力する。通信部２１１０は、表示映像生成処理部２１４０で生成されたレイヤー毎の映像符号化データを仮想現実提示装置７００へ送信する。
図３１は、仮想現実提示装置７００の構成を示すブロック図である。仮想現実提示装置７００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、映像表示開始条件設定部７１０と、映像表示判定処理部７２０と、を備える。
映像表示条件設定部７１０は、仮想空間におけるレイヤー毎の映像を表示するための条件を設定する。例えば、映像表示開始条件設定部７１０は、新たに仮想空間に配置される仮想現実オブジェクトが含まれるレイヤーに対する表示開始条件や表示終了条件を設定する。
映像表示判定処理部７２０は、ユーザ状態検知部１１０で検知されるユーザ状態や周囲状況検知部３１０で検知される周囲状況に基づいて、各レイヤーの映像を表示するかを判定する。映像表示判定処理部７２０は、各レイヤーに設定された映像表示条件をユーザ状態や周囲状況などのパラメータが満たしているかを比較判定し、判定の結果を表示制御部１３０に出力する。
表示制御部１３０は、映像データ読み出し部１３１と、映像復号化処理部１３２と、映像合成処理部１３３と、を備える。映像データ読み出し部１３１は、映像表示判定処理部７２０における判定結果に基づいて、表示すると判定されたレイヤーの映像符号化データを仮想現実提示用データ記憶部４１０より読み出す。
映像復号化処理部１３２は、映像データ読み出し部１３１で読み出された各レイヤーの映像符号化データに対して復号化処理を行い、復号化後の各レイヤーの映像データを取得する。
映像合成処理部１３３は、復号された各レイヤーの映像を合成して、表示用映像を取得し、表示部１４０に出力する。表示部１４０は、映像合成処理部１３３で合成された映像を表示する。
以上のように、本実施形態７に係る仮想現実提示システムでは、仮想現実オブジェクトが、仮想空間生成処理部３１３１が生成する複数のレイヤーの仮想空間の中からいずれかのレイヤーの仮想空間に配置され、レイヤー毎に仮想現実提示用映像が生成される。更に、新たに仮想現実オブジェクトが配置されたレイヤーの仮想現実提示用映像を表示するかどうかの判定処理が行われ、当該判定をクリアした場合に、他のレイヤーの仮想現実提示用映像と合成された上で表示される。当該構成とすることで、既に表示中の仮想現実オブジェクトの映像に加えて新たに仮想現実オブジェクトをユーザに提示する場合に、ユーザの状態等に応じて所定の条件を満たした場合に表示部１４０に表示されるため、ユーザは、当該追加された仮想現実オブジェクトが現実の物体（人物）であると錯覚しやすくなり、現実の世界と仮想現実の世界の不連続性を抑えることができる。
図３２は、仮想現実提示用の映像と、ソファーが２つ置かれている現実の世界においてユーザが感知する仮想現実の世界とを示している。仮想空間のレイヤー０１にライオンの仮想現実オブジェクトが配置され、当該仮想現実オブジェクトを描画したレイヤー０１の映像が生成されて表示部１４０に表示されている（ｂ）。
ここで、新たに犬の仮想現実オブジェクトを仮想空間に配置する場合に、既に仮想現実オブジェクトが配置されているレイヤー０１とは異なるレイヤー０２に当該犬の仮想現実オブジェクトが配置され、レイヤー毎に仮想現実提示用の映像が生成される（ｃ）。レイヤー０２について、表示開始条件を満たしている場合に、レイヤー０１とレイヤー０２とが合成された映像が表示部１４０に表示される。
このようにレイヤー毎に映像を生成して表示するため、仮想現実の提示を制御することが容易となる。
なお、図３３、３４の構成とすると更に好ましい。図３３に係る仮想現実サービス提供サーバ７１００において、仮想現実更新管理部３１３２は、各レイヤーの順序を示すレイヤー順序情報を生成する。仮想現実更新管理部３１３２は、通信部２１１０で受信されたユーザ状態情報に基づいて特定される仮想空間におけるユーザの目の位置に対応する視点位置と、仮想現実オブジェクト配置部３１４０が配置して仮想現実オブジェクト挙動制御部５１１０が制御する仮想現実オブジェクトの仮想空間内での位置とに基づいて、各仮想現実オブジェクトが含まれているレイヤーの順序を求めてレイヤー順序情報を生成する。レイヤー順序情報は、通信部２１１０より仮想現実提示装置７００に送信される。
仮想現実提示装置７００において、表示制御部１３０は、レイヤー順序管理部１３４を備える。通信部２３０で受信されたレイヤー順序情報はレイヤー順序管理部１３４に出力される。レイヤー順序管理部１３４は、通信部２３０で受信されたレイヤー順序情報に基づいて、レイヤーの順序を管理する。映像合成処理部１３３は、レイヤー順序管理部１３４が管理するレイヤーの順序に基づいて複数のレイヤーの映像を合成し、表示部１４０に表示させる制御を行う。
このように、レイヤーの順序を示すレイヤー順序情報が仮想現実提示装置７００へ送信されて、当該レイヤー順序情報で示されるレイヤー順序に従って、各レイヤーの映像を合成して仮想現実提示用の合成映像を生成することで、適切に仮想現実オブジェクトの映像をユーザに提示することが可能となる。
なお、当該レイヤー間で仮想現実オブジェクトを移動させる機能を備える構成とすると更に良好である。仮想空間更新管理部３１３２は、複数のレイヤーにそれぞれ配置している仮想現実オブジェクトを他のレイヤーに移動させる処理を行う。当該処理を行うことで、複数のレイヤーにばらばらに配置されている仮想現実オブジェクトを少数のレイヤーに纏めて再配置したり、複数の仮想現実オブジェクトが配置されているレイヤーから一部の仮想現実オブジェクトを抽出して他のレイヤーに配置する構成としても良い。
表示映像生成処理部２１４０は、レイヤー毎に描画処理を行って仮想現実提示用の映像を生成するため、レイヤー数が増えると描画処理に必要となるリソースが増加する。従って、一纏めにできる仮想現実オブジェクトを同一のレイヤー内に纏める処理を行うことで、不要なレイヤーを削除し、レイヤー数を抑えることができる。
なお、この場合、映像表示判定処理部７２０における判定結果を仮想現実サービス提供サーバ７１００に送信する構成としても良い。仮想空間更新管理部３１３２は、当該判定結果に基づいて仮想現実オブジェクトを他のレイヤーに移動する更新処理を行う。例えば、仮想空間更新管理部３１３２は、映像表示判定処理部７２０で、新たに仮想空間に配置された仮想現実オブジェクトの映像の表示を開始すると判定された場合に、新規仮想現実オブジェクト用のレイヤーに配置されている当該仮想現実オブジェクトを既存の仮想現実オブジェクトが配置されているレイヤーに移動する処理を行う。当該構成とすることで、表示が開始された仮想現実オブジェクトは、それまでの仮想現実オブジェクトと一緒に纏めて描画されることになる。
なお、仮想空間更新管理部３１３２は、仮想現実の提示の終了に係る仮想現実オブジェクトを、終了用レイヤーに移し替える構成とすると、当該仮想現実オブジェクトだけをユーザの状態に応じて終了させることが可能となるため更に好ましい。このような場合も、仮想空間更新管理部３１３２は、レイヤー順序情報を生成して仮想現実提示装置７００へ送信する。また、仮想空間更新管理部３１３２は、当該レイヤーに関する表示終了条件を送信し、映像表示条件設定部７１０は、当該表示終了条件を設定する。映像表示判定処理部７２０は、当該映像表示条件設定部７１０に設定されている当該終了用のレイヤーの映像表示終了条件と、検知されたユーザ状態等を比較することで、当該レイヤーの表示を終了するかを判定する。当該判定の結果、ユーザ状態等が映像表示終了条件を満たしている、すなわち、当該レイヤーの表示を終了すると判定した場合に、映像合成処理部１３３は、合成する複数のレイヤーの中から当該終了すると判定されたレイヤーについては合成を行わず、他のレイヤーの映像を合成して表示部１４０に表示する制御を行う。また、映像表示判定処理部７２０は、当該レイヤーの表示を終了したことを示す表示終了通知情報を生成する。通信部２３０は、当該表示終了通知情報を仮想現実サービス提供サーバ７１００に送信する。
当該表示終了通知情報を受信した仮想現実サービス提供サーバ７１００において、仮想空間更新管理部３１３２は、当該表示終了通知情報で示される表示が終了したレイヤーに配置されている仮想現実オブジェクトを仮想空間内から消去する処理を行う。当該処理によって、仮想空間に配置されていた仮想現実オブジェクトの消去が完了する。
なお、上記説明では、仮想空間に配置される仮想現実オブジェクトが通常用レイヤー、新規配置用レイヤー、表示終了用レイヤー、の３つのレイヤーのいずれかのレイヤーに関連付けられる構成について説明したがこれに限定されるものではない。すなわち、上記説明では、仮想現実オブジェクト配置部３１４０は、新たに仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを新規配置用レイヤーに配置し、仮想現実提示装置７００側で当該レイヤーの映像が通常用レイヤーの映像と合成されて表示が開始された場合に、仮想空間更新管理部３１３２は、通常用レイヤーに配置されている仮想現実オブジェクトを通常用レイヤーに移し替える処理を行う。また、表示終了に係る仮想現実オブジェクトがある場合は、仮想空間更新管理部３１３２は、通常用レイヤーに配置されている終了に係る仮想現実オブジェクトを終了用レイヤーに移動する処理を行う。当該状態において仮想現実提示装置７００より表示終了通知情報が受信された場合に、当該終了用レイヤーに配置している終了に係る仮想現実オブジェクトを仮想空間から消去する。
これに対し、新たに追加される各仮想現実オブジェクトをそれぞれ異なるレイヤーに配置する構成としても良いし、ユーザからの距離に応じてレイヤーを管理する構成としても良い。例えば、ユーザからの距離Ｌが０ｍ＜Ｌ≦５ｍの位置にある仮想現実オブジェクトをレイヤー０１と関連付け、５ｍ＜Ｌ≦１０ｍの位置にある仮想現実オブジェクトをレイヤー０２と関連付け、１０ｍ＜Ｌ≦３０ｍの位置にある仮想現実オブジェクトをレイヤー０３と関連付け、３０ｍ＜Ｌ≦１００ｍの位置にある仮想現実オブジェクトをレイヤー０４と関連付け、１００ｍ＜Ｌの位置にある仮想現実オブジェクトをレイヤー０５と関連付ける。
ここで、ユーザ自身の移動や仮想現実オブジェクト挙動制御部５１１０による挙動制御によって仮想現実オブジェクトが仮想空間内を移動することで、ユーザと各仮想現実オブジェクトの位置関係は変化していく。従って、仮想空間更新管理部３１３２は、所定の周期で各レイヤーと各仮想現実オブジェクトとの関連付けを変更する処理を行う。
図３５は、当該各レイヤーと仮想現実オブジェクトとの関連付けを管理する管理ファイルの一例である。仮想空間更新管理部３１３２は、当該管理ファイルにおいて、各レイヤーに関連付けられた仮想現実オブジェクトをレイヤー間で移動させることでレイヤーに関連付けられた仮想現実オブジェクトを更新する。表示映像生成処理部２１４０は、各レイヤー毎に当該レイヤーに含まれる仮想現実オブジェクトだけを描画したレイヤー別映像を生成する。
なお、上記説明では、１つの仮想空間内に複数のレイヤーを設定する場合について説明したが、本実施形態はこれに限定されるものではない。仮想空間生成部３１３１は、レイヤー毎に仮想空間を生成し、仮想現実オブジェクト配置部３１４０は、新しいレイヤーの仮想空間に仮想現実オブジェクトを配置する。すなわち、各レイヤーが独立した仮想空間を表しており、従って仮想空間生成部３１３１は、新たに仮想現実オブジェクトが読み出されて配置される場合に新たな仮想空間を生成する。従って、仮想空間生成部３１３１は、複数の仮想空間を生成し、各仮想空間をレイヤーで識別する。表示映像生成処理部２１４０は、現在生成されている各レイヤーの仮想空間をそれぞれ独立して描画することでレイヤー毎の仮想現実オブジェクトの映像を生成する。
複数の仮想空間をレイヤーとしてそれぞれ仮想現実オブジェクトが配置され、仮想空間毎に描画処理を行うため、複数の描画処理部を用意しておくことで、同時に複数レイヤーの映像を生成することができる。
＜実施形態８＞
実施形態７では、仮想現実サービス提供サーバにおいて、仮想現実提示用の映像がユーザの状態に基づいて生成され、仮想現実提示装置に送信されて表示される形態を取る。通常、ユーザ状態は仮想現実提示装置で生成され、無線ネットワークを介して仮想現実サービス提供サーバに送信され、当該ユーザ状態に基づいて制御される視点位置や視線方向に従って仮想現実提示用の映像が生成される。従って、仮想現実提示装置でユーザ状態が検知されてから、当該ユーザ状態に基づいて生成された仮想現実提示用の映像が表示部で表示されるまでにはタイムラグが発生する。
このタイムラグの間にユーザ状態に大きな変更がなければ特に問題はないが、ユーザが大きく頭を傾けたり移動したりした場合に、映像生成に用いられるユーザ状態と、表示時点のユーザ状態とに乖離が生じてしまう。従って、生成された仮想現実提示用の映像をそのまま表示した場合に、現実の世界との融合がうまく機能しない場合がある。本実施形態８に係る仮想現実提示システムでは、ユーザ状態の変化に伴う仮想現実用の映像と現実の世界との乖離を抑える制御をおこなうことを特徴としている。
図３５は、本実施形態８に係る仮想現実提示装置８００の構成を示すブロック図である。仮想現実提示装置８００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、映像表示開始条件設定部７１０と、映像表示判定処理部７２０と、ユーザ状態記憶部８１０と、を備える。表示制御部１３０は、新たに映像補正処理部１３５を備える。
ユーザ状態検知部１１０は、検知したユーザ状態の検知タイミングを示す検知タイミング情報を含めてユーザ状態情報を生成する。ユーザ状態記憶部８１０は、ユーザ状態検知部１１０で検知されたユーザ状態を時系列状に記憶管理する。
通信部２３０は、当該検知時刻情報を含むユーザ状態情報を仮想現実サービス提供サーバへ送信する。また、通信部２３０は、当該ユーザ状態情報に基づいて生成された映像データや音声データを受信する。当該映像データや音声データには、どの検知タイミングで検知されたユーザ状態に基づいて生成された映像データ又は音声データであるかを示す使用検知タイミング識別情報が含まれる。
映像補正処理部１３５は、映像復号化処理部１３２で復号化された映像に対する補正処理を行う。具体的に、当該映像生成に用いられたユーザ状態を使用検知タイミング識別情報から特定し、最新の検知タイミングにおけるユーザ状態との差分を算出する。映像補正処理部１３５は、復号化された映像に対して、当該映像生成に用いられたユーザ状態と最新のユーザ状態の変化に対応する映像補正処理を行う。
例えば、ユーザが右方向に動いている場合、全体の景色は相対的に左側に流れていく。従って、表示部１４０に表示する映像も現実の景色の流れに合わせて左側に動いていかなければ現実の世界と仮想現実提示用の映像との調和がとれない。映像補正処理部１３５は、上記ユーザ状態の変化に伴って、復号化された映像の表示位置を補正する処理を行う。
映像補正処理部１３５は、映像生成に用いられたユーザ状態と最新のユーザ状態の差分に基づいて、表示部１４０における表示領域の変更量を算出する。具体的には、映像補正処理部１３５は、上記ユーザ状態の差分に基づいて表示部１４０における表示領域のずれを示す補正ベクトルを算出する。映像補正処理部１３５は、復号化された映像の各画素座標に当該補正ベクトルを加算することで表示位置を変更した補正後映像を生成する。
なお、ユーザの動きに連動して、仮想現実オブジェクトの表示位置がどの程度どの方向に移動するかはユーザの位置と仮想現実オブジェクトとの相対位置関係に応じて異なる。例えば、ユーザから遠い位置に配置されている仮想現実オブジェクトは、現実の景色と融合させるためにはユーザの移動に対して大きく表示位置が変更されないのに対し、ユーザの近くにいる仮想現実オブジェクトは、相対的に表示位置が大きく変更されることになる。従って、映像補正処理部１３５は、各レイヤーに含まれる仮想現実オブジェクトまでの距離を示す情報である仮想現実オブジェクト距離情報を入力し、当該仮想現実オブジェクト距離情報に基づいて表示位置の変更ベクトルを算出する構成とすることが好ましい。当該仮想現実オブジェクト距離情報は、映像データと共に仮想現実サービス提供サーバより送信される。
なお、映像補正はレイヤー毎の映像に対して行われるため、ユーザの現在位置から当該レイヤーまでの距離を示すレイヤー距離情報を入力する構成としても良い。１つのレイヤーに複数の仮想現実オブジェクトが含まれている場合、仮想現実オブジェクト毎に表示位置補正を行うことができず、レイヤー単位で補正を行うことになるため、仮想現実オブジェクトまでの個々の距離ではなく、レイヤーまでの距離とする方が適切な場合があるためである。レイヤーまでの距離は、例えば当該レイヤーに含まれる仮想現実オブジェクトの平均距離としても良いし、レイヤーに含まれる複数の仮想現実オブジェクトの中から代表仮想現実オブジェクトを設定しておき、当該代表仮想現実オブジェクトまでの距離をレイヤーまでの距離としても良い。
なお、レイヤーまでの距離ではなく、レイヤーの代表位置座標に関する情報を入力し、ユーザ状態の変化に伴う補正量を算出して表示位置の変更を行っても良いし、仮想現実オブジェクトまでの距離ではなく、当該仮想現実オブジェクトの位置座標に関する情報を入力し、ユーザ状態の変化に伴う補正量を算出して表示位置の変更を行っても良い。
なお、表示位置を算出した補正ベクトルに従って全体的にスライドすることで、表示部１４０で表示される範囲の映像を生成することに加えて、より高度な補正を行っても良い。例えば、ユーザ状態の変化に伴って仮想現実オブジェクトの縦横比を変更したり、大きさを拡大・縮小する補正処理を行う構成としても良い。
図３７は、本実施形態８に係る仮想現実提示システム８０００の構成を示すブロック図である。仮想現実提示システム８０００は、仮想現実提示装置８００と、仮想現実サービス提供サーバ８１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
仮想現実サービス提供サーバ８１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、付随情報生成処理部８１１０と、を備える。
表示映像生成処理部２１４０は、通信部２１１０で受信されたユーザ状態情報に基づいて仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、ユーザ状態情報で示されるユーザ状態に基づいて視点位置や視線方向を特定し、当該特定した視点位置や視線方向に基づいて、仮想空間に配置されている仮想現実オブジェクトをレイヤー毎に描画することで仮想現実提示用の映像をレイヤー毎に生成する。
ここで、表示映像生成処理部２１４０は、仮想現実提示装置８００が備える表示部１４０の表示領域よりも大きめの映像を生成する。例えば、表示部１４０が１９２０ピクセル×１０８０ピクセルの表示領域を有する表示パネルであった場合に、仮想現実提示装置８００は、２１１０ピクセル×１２６０ピクセルの映像を生成する。具体的には、表示映像生成処理部２１４０は、イメージプレーンに投影した映像の中から、表示部１４０における表示領域よりも所定のサイズ大きい映像を切り取るクリッピング処理を実行する。このように大き目の映像を生成することで、仮想現実提示装置８００における映像補正処理で発生する補正ベクトルに沿った映像のスライド処理に対応可能となる。
表示映像生成処理部２１４０は、映像生成に用いたユーザ状態情報に含まれる検知タイミング識別情報を付与して映像データを生成する。すなわち、表示映像生成処理部２１４０は、映像生成に用いたユーザ状態情報を判別可能な状態で仮想現実提示用の映像を生成する。
再生音声生成処理部４１２０は、通信部２１１０で受信されたユーザ状態情報に基づいて仮想現実提示用の音声を生成する。ここで、再生音声生成処理部４１２０は、音声生成に用いたユーザ状態情報に含まれる検知タイミング識別情報を付与して音声データを生成する。すなわち、再生音声生成処理部４１２０は、音声生成に用いたユーザ状態情報を判別可能な状態で仮想現実提示用の音声を生成する。
付随情報生成処理部８１１０は、仮想現実提示装置８１００における映像補正処理に用いる各種付随情報を生成する。付随情報生成処理部８１１０は、表示映像生成処理部２１４０で生成される各レイヤーの映像について、当該レイヤーの順序を示すレイヤー順序情報、各レイヤーまでの距離や代表位置座標を示すレイヤー情報、各レイヤーに含まれる仮想現実オブジェクトまでの距離や位置座標を示す仮想現実オブジェクト情報を、当該付随情報として生成する。通信部２１１０は、当該生成された付随情報を仮想現実提示装置８００に送信する。
仮想現実提示装置８００において通信部２３０は当該付随情報を受信する。付随情報にレイヤー順序情報が含まれている場合は、通信部２３０はレイヤー順序情報をレイヤー順序管理部１３４へ出力する。付随情報にレイヤー情報や仮想現実オブジェクト情報が含まれている場合は、通信部２３０は、これらの情報を映像補正処理部１３５に出力する。
以上のように、本実施形態８に係る仮想現実提示システムでは、仮想現実サービス提供サーバ側で仮想現実提示用の映像が生成され、仮想現実提示装置側で所定の補正処理が行われた上でユーザに提示される。
一般的に、ユーザ状態の検知レートと、映像生成レート、映像表示レートは異なる。また、ユーザ状態が検知されてから、当該ユーザ状態に基づく映像が表示されるまでに映像生成処理や通信処理に伴うタイムラグが発生する。当該タイムラグの間にユーザの状態が変化すると、過去のユーザ状態に基づいて生成された映像が現実の景色と融合できなくなる可能性がある。そのため、生成された映像が受信された後に、ユーザ状態の変化に対応する補正処理を行って現実の景色との融合を維持する表示制御を行った上で表示部に表示する。当該構成とすることで、例えばユーザの頭部が動いても、表示部に表示される仮想現実オブジェクトは、仮想現実の世界の中で同一の位置を保つように表示されるため、ユーザは仮想現実の世界を疑うことなく感知し続けることができる。
なお、上記説明では映像について補正処理を行う場合について説明したが、音声についても同様の処理を行っても良い。すなわち、音声再生制御部４４０内に音声補正処理部を別途備え、当該ユーザ状態変化に伴って、各チャンネルに分配する音声を補正する処理を行う。但し、聴覚に対する人間の位置分解能はそれほど高くなく、ユーザ状態を検知してから音声が再生されるまでにおけるユーザ状態の変化程度では、問題となることは少ないため、音声再生に関しては当該補正を行わない構成とすることも可能である。ユーザ状態が更新されて通信部２３０より仮想現実サービス提供サーバ８１００に送信された場合に、仮想現実サービス提供サーバ８１００の再生音声生成処理部４１２０で最新のユーザ状態に基づいて各チャンネルの音声データが生成される。そのため聴覚における位置分解能に対して十分追随することができる。一方、視覚における位置分解能は遥かに精細であるため、僅かなユーザ状態の変化であっても、仮想現実オブジェクトの揺れがユーザに感知されてしまうため、より高いレートで補正処理を行う。
＜実施形態９＞
私達人間は、五感で感知する現実の世界における客観的な情報に基づいて行動しながらも、希望や欲望と言った感情によって現実の世界を歪曲して認識することがある。例えば、現実的にはあり得ないことであっても願うことでそれが実現することを心の中で期待する。
仮想現実の世界とは、現実の世界では起こりえない出来事を現実の世界で起こりえたように再現することを特徴としている。従って、人間が持つ祈りや願いと言った行動に対応する形で仮想現実の世界を提示することで、ユーザは自身の祈りや願いが通じたと感じることになり、自然と仮想現実の世界に入り込むことができる。
例えば、あるユーザが、既に亡くなってしまった祖父にもう一度会いたいという願いを持っていたとしよう。死人が生き返らないという残酷的な事実を私達人間は皆、客観的に認識しつつも、心のどこかで蘇ることを期待している。このような場合、ユーザは目を閉じ心の中で「もう一度祖父に会いたい」と呟き、願い、祈る。そして目の前に祖父が現れたとき、ユーザは祈りが通じたと感じるため、その祖父の姿が例え仮想的に創られた姿であったとしても、それが現実の世界に現れた真実のものであると錯覚しやすくなる。本実施形態９にかかる仮想現実提示システムは、このような人間の心の隙間を利用することで、仮想現実の世界をユーザに提示することを特徴とする。
本実施形態９に係る仮想現実提示装置は、図１２を援用して説明する。ユーザ状態検知部１１０は、少なくともユーザの顔の一部又は全部を撮影する内部カメラ１１１を備え、当該内部カメラ１１１で撮影された映像に基づいて、映像表示判定処理部１２０は、仮想現実提示用の映像の表示を開始するかどうかの判定処理を行う。
ここで、映像表示判定処理部１２０は、ユーザが深く目を閉じているかどうかを判定基準として判定処理を行う。すなわち、映像表示開始条件設定部４２０は、ユーザが所定の基準よりも深く目を所定の時間閉じていることを映像表示開始条件として設定する。
通常人間が祈ったり願ったりするときは、目を深く瞑って眉間にしわを寄せ、頭部前方に意識を集中させる。従って、映像表示判定処理部１２０は、内部カメラ１１１で撮影されたユーザの顔の映像に基づいて、単に目が開いているか閉じているかだけではなく、ユーザが所定の基準以上深く目を瞑っているかを判定する。例えば、映像表示判定処理部１２０は、内部カメラ１１１で撮影されたユーザの目の領域の画像と深く目を瞑った状態の目の画像とのマッチング処理を行い、所定の相関値以上の相関が得られているかを判定する。当該判定の結果、所定の基準値以上の相関が得られている場合に、ユーザは深く目を瞑っていると判定する。
当該判定の結果、所定の期間以上ユーザが深く目を瞑っていると判定された場合に、表示制御部１３０は、仮想現実提示用の映像表示を開始する制御を行い、表示部１４０は、仮想現実提示用の映像を表示する。
同様に、音声再生判定処理部４３０も同様の判定処理を行い、音声再生制御部４４０が当該判定の結果に基づいて仮想現実提示用の音声の再生を開始する制御を行い、音声出力部４５０より仮想現実提示用の音声が出力される。
以上のように、本実施形態９に係る仮想現実提示装置において、映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、表示制御部１３０は、ユーザが深く目を閉じていると判定された場合に、表示部１４０に仮想現実提示用の映像を表示することを開始する。
当該構成とすることで、ユーザの祈りや願いが通じたと言う形で仮想現実の世界を提示することが可能となる。なお、音声入力部２１０で入力された音声のコンテキストに基づいて、仮想現実サービス提供サーバ側で適切な仮想現実コンテンツが選択されてユーザに仮想現実の世界が提示される構成とすると良い。
例えば、音声入力部２１０で「祖父に会いたい」と言った音声が入力されたとする。この場合、契約者情報記憶ＤＢに記憶されている当該ユーザの契約者情報に基づいて、予め仮想現実オブジェクト化して仮想現実コンテンツ記憶ＤＢに記憶されている当該ユーザの祖父の姿を現した仮想現実オブジェクトを読み出して仮想空間に配置する。また、仮想現実コンテンツ記憶ＤＢには、当該祖父の肉声データを予め記憶しておくと良い。当該祖父の姿を示す仮想現実オブジェクトの映像が描画されて仮想現実提示用映像データが生成され、また、当該祖父の音声データを読み出して各チャンネルに分配されることで仮想現実提示用音声データが生成される。これらのデータは仮想現実提示装置に送信され、映像表示開始判定処理部１２０や音声再生開始判定処理部４３０における判定処理に従って、当判定基準をクリアした場合にユーザに対する提示が開始される。
なお、上記構成では、ユーザ状態検知部１１０である内部カメラ１１１が少なくともユーザの目を含む領域を撮影することでユーザ状態を検知する場合について説明したがこれに限定されるものではない。例えば、図３８に示す仮想現実提示装置９００のように、ユーザの脳波を検知する脳波センサ１１４やユーザの脈拍数や血流量、血圧、発汗等の状態を検知する生体センサ１１５を備える構成としても良い。
通常、ユーザが祈る場合は、目を閉じ、頭の前頭部に意識を集中する。当該行動によって、前頭葉部分の血流量が増加し、アルファー波が放出される。脳波センサ−１１４は、当該アルファー波を検知することでユーザが祈りや願いを行っていると判定する。また、これらのセンサからの検知結果と内部カメラ１１１による目の閉じ具合などとを複合して映像表示開始判定を行っても良い。
なお、ユーザが深く目を閉じているかを検知する検知手段としては、ユーザの目の周囲部分の高さを図るレーザ干渉計を用いることも可能である。深く目を閉じる場合は、目の周囲に深い皺ができるため、当該皺を検出することでユーザが深く目を閉じているかどうかを検知することができる。また、目の周囲の皺の数や深さを検知することでユーザが深く目を閉じているかを検知する構成としても良い。内部カメラ１１１で撮影されたユーザの目を含む領域の画像の中で、マッチング処理によって皺の部分を検知し、当該皺の数や皺の長さ、皺の部分と隣接する部分との間の輝度の違いなどから皺の深さを検知する。映像表示開始判定処理部１２０は、当該皺の数や皺の長さ、皺の深さなどを、基準となる皺の数や皺の長さ、皺の深さと比較することで、ユーザの状態が仮想現実の提示を開始するための条件を満たしているかを判定する。当該構成としても良い。
＜実施形態１０＞
私達人間は、生まれながらに有している感覚器官を用いて現実の世界で生じる様々な事象を感知し、現実の世界で行動を行うことでこの現実の世界を生きている。すなわち、人間は、五感を使って外部より情報を入力し、入力した情報を脳で処理し、処理結果を行動と言う形で出力する生物であると言える。
このことは、人間が有する視覚や聴覚を欺くことで、人工的に創り出した仮想現実の世界を現実の世界であるように錯覚させることができることを意味している。仮想現実提示装置は、このようなユーザインタフェース装置である。
仮想現実提示装置によって、ユーザに提示される人工的な世界である仮想現実の世界と現実の世界とは一部が共通している。従って、仮想現実の世界に対する現実の世界からの乖離度を表すパラメータを新たに導入することが可能となる。本明細書では当該パラメータを仮想現実度と称する。仮想現実度は０〜１００の数値で表され、仮想現実度０は、ユーザに何も提示されておらず、ユーザが感知する世界が現実の世界そのものであることを示しており、仮想現実度１００は、ユーザが感知する世界が現実の世界から完全に乖離している理想的な状態を示している。すなわち、仮想現実度１００は、仮想現実提示装置が現実の世界からの情報を完全に遮断し、ユーザが感知する全ての情報が人工的に創り出された情報によるものであることを示している。
図６８は、当該仮想現実度を説明する図である。ユーザはソファーが２つ置かれている部屋にいるとする。仮想現実提示装置が何も表示しない場合、ユーザが感知する景色は現実世界Ａの景色である（ａ）。ここで、仮想現実提示装置が犬の映像を表示した場合（ｂ）、ユーザが感知する景色はソファーに犬が寝ている景色であり、現実の世界Ａとは異なる仮想現実の世界Ｂの世界を見ていることになる。仮想現実提示装置がライオンの映像を表示した場合（ｃ）、ユーザが感知する景色はソファーにライオンが寝ている景色であり、現実の世界Ａとは異なる仮想現実の世界Ｃの世界を見ていることになる。
仮想現実の世界Ｂは現実の世界とは異なる人工的な世界であるが、現実の世界において、犬がソファーに寝ていると言う事象は比較的起こりえることである。これに対し、自宅のソファーにライオンが寝ていると言う事象は比較的起こりえないことであり、仮想現実の世界Ｃは仮想現実の世界Ｂよりも仮想現実度が高いと言うことになる。
私達人間が生きる現実の世界は、物理的、社会的制約を受けている。例えば、質量のある物質は光速を超えることができないという物理的制約から惑星間旅行は実現が困難であるし、エネルギー保存の法則が支配すると言った物理的制約から生身の体で空を自由に飛ぶことはできない。
また、物理的には可能な事象であっても、現実の人間社会に平穏と秩序を与えるために設定されている倫理規範や各法律などにより、人間の行動は社会的な制約を受けている。このように、人間は自由を謳歌する立場でありながら、現実の世界では様々な制約を受ける条件的自由を享受しているに過ぎない。
仮想現実提示装置は、このように私達が常識として捉えている制約を取り外し、現実の世界では体験できない世界をユーザに提示させることにその存在価値が見い出せる。従って、現実の世界より大きく乖離している仮想現実度の高い仮想現実の世界をユーザに提示させることができるほど、その存在価値が高いと言う指標が成り立つ。
その一方で、仮想現実提示装置が提示する仮想現実の世界をユーザが現実の世界であると錯覚できなければ、例え仮想現実度の高い仮想現実の世界をユーザに提示したところでそれは単なる映像や音声でしかなく、仮想現実の世界の構築に寄与するものではない。従って、仮想現実提示装置がユーザに仮想現実の世界を提示している場合において、自身が感知している仮想現実の世界が現実の世界であると錯覚している度合いを示すパラメータを新たに導入することが可能となる。本明細書では、当該錯覚している度合いを錯覚度と称する。
図６９は、仮想現実提示装置がユーザに仮想現実の世界を提示している場合において、ユーザの錯覚度の時間変化を示す図である。錯覚度には閾値Ｔ０を設定することができ、錯覚度が閾値Ｔｈ０を超えている場合は、ユーザは現在自身が感知している世界が現実の世界であると錯覚していることを示しており、閾値Ｔｈ０を下回っている場合は、ユーザは現在自身が感知している世界が現実の世界ではない人工的な世界であると認識していることを示している。
図６９において、Ｔ１のタイミングまでは仮想現実提示装置が犬の映像を表示しており、ユーザは犬がソファーに座っているという仮想現実の世界を感知している。ユーザの錯覚度は閾値Ｔｈ０を超えているためユーザは自身が見ている景色が現実の世界であると錯覚している。ここでＴ１のタイミングで仮想現実提示装置が象の映像に切り替えたとする。ユーザは象がソファーに立っているという仮想現実の世界を感知しているが、錯覚度が閾値Ｔｈ０を下回っているため、ユーザは当該見えている象が現実の世界にいる象ではなく、映像の象であると認識している。
このように、一般的に仮想現実度が高いほどユーザの錯覚度は下がる傾向にある。しかしながら、仮想現実度が高い仮想現実の世界であっても、段階的に仮想現実度を上げていくことでユーザの錯覚度を落とさずに提示することが可能となる。
例えば、「恐竜のいる世界ツアー」という仮想現実サービスをユーザに提供する場合において、目の前に大型恐竜の映像を急に表示するとユーザはそれが偽物の映像であると直ちに認識してしまう。一方、遠く離れた場所に見えるように恐竜の映像を表示しておき、徐々にユーザに近づいていくように表示させたり、最初はトカゲの映像を表示しておき、時間をかけてゆっくりと恐竜に連続的に変化させたりすることで、錯覚度を高く維持することが可能となる。
このように、ユーザが仮想現実の世界に入り込むためには、錯覚度を高く維持しつつ、仮想現実の世界をユーザに提示する必要があるが、従来の技術ではこのような観点についての制御がなされておらず、一方的に人工的な映像を表示するに留まっていた。従って、ユーザは、現実の世界に表された映像を楽しむことができる一方で、それを作り物であると認識した上で楽しんでいるにすぎず、提示された仮想現実の世界を現実の世界であると錯覚し、仮想現実の世界に入り込むと言った体験をすることができなかった。
本実施形態では上記課題を鑑み、仮想現実の世界を現実の世界であるように錯覚するように仮想現実の世界の提示を制御することを特徴とする。以下、図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
図４０は本発明の実施形態１０に係る仮想現実提示システム１０００の構成を示すブロック図である。仮想現実提示システム１０００は、ユーザ状態検知部１０１０と、提示可能仮想現実度算出部１０２０と、映像生成処理部１０３０と、映像表示部１０４０とを備える。
ユーザ状態検知部１０１０は、当該仮想現実提示システム１０００からの仮想現実の提示を受けているユーザの状態を検知する。ユーザ状態検知部１０１０は、例えばユーザの加速度を検知する加速度センサや、ユーザの傾きを検知する傾きセンサ、ユーザの位置を検出するＧＰＳ受信機などで構成される。
提示可能仮想現実度算出部１０２０は、ユーザに提示可能な仮想現実の仮想現実度を算出する。ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言う。仮想現実度は、ユーザが存在する現実の世界と、仮想現実提示システム１０００が提示する仮想現実の世界との乖離度を示しており、実施形態１０では０〜１００のいずれかの値で示される。
映像生成処理部１０３０は、ユーザ状態検知部１０１０で検知されたユーザの状態に基づいて、提示可能仮想現実度算出部１０２０で算出された仮想現実度に収まるように仮想現実提示用の映像を生成する。
仮想現実提示用の映像とは、例えば仮想現実オブジェクトを含む映像である。仮想現実オブジェクトとは、人為的に設定される仮想的な空間である仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。当該仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。
各種の仮想現実オブジェクトは、外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどを含むモデルデータで構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。また、テキスチャーデータも複数種類用意されており、各テキスチャーデータは識別番号で識別される。選択されたテキスチャーがポリゴン表面に張り付けられることで、仮想現実オブジェクトの映像が生成される。
映像生成処理部１０３０は、ユーザ状態検知部１０１０で検知されたユーザの状態に基づいて、現実の世界の景色と適合するように仮想現実提示用の映像を生成する。
映像表示部１０４０は、映像生成処理部１０３０で生成された仮想現実提示用の映像を表示する。
以上のように、本実施形態１０に係る仮想現実提示システムによれば、ユーザに提示される仮想現実の世界における現実の世界との乖離度合を制御しながら仮想現実の世界を提示することで、自身が見ている景色は現実の世界の景色であるとユーザが錯覚した状態を維持することを特徴としている。従って、ユーザは、仮想現実の世界に入り込んで現実の世界では物理的・社会的に不可能な世界を体験することが可能となる。
なお、本実施形態１０に係る仮想現実提示システム１０００は、図４１に示す構成とすると更に良好である。図４１に示す仮想現実提示システム１０００ｂは、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、を更に備える。
仮想現実コンテンツ記憶部１０５０は、仮想現実コンテンツを記憶する。仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、少なくとも仮想現実オブジェクトの外観を規定するモデルデータを含む。当該モデルデータは、外観形状を規定するポリゴンデータや、外観形状表面に張り付けるテキスチャーデータなどから構成される。また、仮想現実コンテンツには、仮想現実の世界を創り出すために用いられる背景音楽データ、仮想現実オブジェクトが発する音声データ、仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラム、仮想現実の世界の時間的変化（ストーリー性）を制御する仮想現実制御プログラムなどが含まれる。
提示中仮想現実度算出部１０６０は、現在提示中である仮想現実の世界に係る仮想現実度を算出する。例えば、提示中仮想現実度算出部１０６０は、映像生成処理部１０３０が生成する仮想現実提示用の映像として映し出される仮想現実オブジェクトの種類や、当該映像に含まれる仮想現実オブジェクトの数、当該仮想現実提示用の映像の情報量などに基づいて、現在提示中である仮想現実の世界の仮想現実度を算出する。
例えば、提示中仮想現実度算出部１０６０は、映像生成処理部１０３０が生成する仮想現実提示用の映像として映し出されている各仮想現実オブジェクトにそれぞれ割り当てられた仮想現実度の総和を取ることで現在提示中である仮想現実の世界の仮想現実度を算出する。
また、例えば、提示中仮想現実度算出部１０６０は、映像表示部１４０が備える表示領域（表示総画素数）に対して、映像生成処理部１０３０が生成する仮想現実提示用の映像の画素数の割合によって現在提示中の仮想現実の世界の仮想現実度を算出する。
提示可能仮想現実度算出部１０２０は、提示中仮想現実度算出部１０６０で算出された現在提示中の仮想現実の世界に係る仮想現実度を基準として、所定の値を加算・減算・乗算・除算する所定の計算式に基づいて提示可能な仮想現実の世界に係る仮想現実度を算出する。映像生成処理部１０３０は、生成する仮想現実提示用の映像の仮想現実度が、当該算出された提示可能な仮想現実の世界に係る仮想現実度以下となるように、仮想現実提示用の映像を生成する。
人間の脳は、緩やかな変化には鈍感であるという特徴がある。一部が異なる２つの画像を切り替えた場合に、人間はその違いを適切に認識することができるが、数十秒程度の時間をかけて緩やかに２つの画像を変化させていく場合は、その違いを認識することができないという特徴がある。
これは、生物の脳は、生存競争に生き残るために状況判断を行うことを特徴として進化してきたからである。人間は、五感、すなわち、味覚、触覚、視覚、聴覚、嗅覚を用いて外界で生じる事象を検知し、検知した情報を脳で処理して次の行動を行う生物である。人間の脳は、現在見聞きして感知している状況と、直近の過去に感知した状況との差分から状況判断をするように構成されている。従って、時間が経過するほど感知した周囲状況の細部が記憶から外れていくため、緩やかに変化させることで、最初の状況から大きな違いを生じていたとしても、その違いを人間の脳は適切に捕捉できないと言う特徴を有する。
言うまでもなく、人間は地球が誕生したから３８億年に渡る長い生存競争の現代における最終勝者である。生存競争において最も大切なことは、次にどのように行動するかを適切に特定することであり、私達人間は地球上の生物の中で、私達人間が考えるよりも遥かにこの状況判断能力に特化してきた生物である。
状況判断において、１０秒前の状況と1秒前の状況とでは、後者の方が圧倒的に重要な情報を持っている。その一方で、状況の時間的な移り変わりを適切に把握することも重要となる。そこで、人間の脳は、感知した情報の細部を時間と共に忘却し、その状況をコンセプトと言う形に情報圧縮して時系列変化に対応する。従って、仮想現実の世界についても時系列変化を緩やかにすることで、現在感知している仮想現実の世界に対する心理的障害を生ずることなく仮想現実の世界に入り込むことができる。このことは、およそ非現実的な夢を見ていながらも、夢を見ている当人にとってはその夢の世界が、現実の世界ではなく夢の世界であると認識できないと言うことと共通である。従って、本発明は、素晴らしい夢の世界の体験をよりリアルな現実の世界に重ねた仮想現実の世界として実現することが可能となる。
仮想現実提示システム１０００ｂは、このような人間の脳が本質的に持つ特徴を利用している。すなわち、仮想現実度の高い世界であって現実の世界からの乖離が激しい仮想現実の世界をユーザに提示する場合においても、現実の世界から緩やかに変化させて仮想現実の世界を形作って行くことでユーザは自身が感知している世界が現実の世界から仮想現実の世界へ移っていることを認識させないようにすることを特徴としている。
すなわち、長い進化の過程を経て、現実の世界で起こり得る状況変化に適切に対応できるように進化した人間の脳に対して、その高い判断能力を生み出す原理の逆手を取って、ユーザの判断能力が適切に機能しないように仮想現実の世界を提示する。
現在提示中の仮想現実の世界に係る仮想現実度を基準として、当該提示中の仮想現実度から所定の差分を与えることで仮想現実度を現在提示可能な仮想現実度であるとして求める。そして、当該求めた提示可能な仮想現実度に収まる様に仮想現実提示用の映像を生成することで、ユーザが感知する世界は現実の世界から緩やかに仮想現実の世界へと移行していく。
当該仮想現実度に基づく制御が行われることで、一見すると現実的にはあり得ないように思われる仮想現実の世界であっても、現実の世界から仮想現実の世界への移行の不連続性を抑えることができる。従って、現実の世界における状況判断に特化した人間の脳の処理機構の盲点に入り込むことにより、顕在的な意識下において仮想現実の世界をバーチャルであるとユーザが認識することを妨げる効果を奏することができる。
また、本実施形態１０に係る仮想現実提示システム１０００は、図４２に示す構成とすると更に良好である。図４２に示す仮想現実提示システム１０００ｃは、音声生成処理部１０７０と、音声出力部１０８０と、を更に備える。
音声生成処理部１０７０は、仮想現実コンテンツ記憶部１０５０より仮想現実提示用の音声データを読み出して、当該音声出力部１０８０より出力する仮想現実提示用の音声を生成する。より好ましくは、音声生成処理部１０７０は、ユーザ状態検知部１０１０で検知されたユーザの状態に基づいて、提示可能仮想現実度算出部１０２０で算出された仮想現実度に収まるように仮想現実提示用の音声を生成する。
例えば、音声生成処理部１０７０は、仮想現実コンテンツ記憶部１０５０より読み出した仮想現実提示用の音声データを、ユーザ状態検知部１０１０で検知されたユーザ状態に基づいて、複数のチャンネルの音声データに分配する。
音声出力部１０８０は、音声生成処理部１０７０で生成された音声を出力する。音声出力部１０８０は、具体的には複数チャンネルを有するスピーカであり、音声生成処理部１０７０で生成された各チャンネルのデジタル音声信号にＤＡ変換処理を行ってアナログ音声信号に変換し、空気振動に変換して外部へ放音する。
仮想現実提示用の映像とリンクする形で仮想現実提示用の音声が出力されることで、ユーザが外界の状況を感知する視覚と聴覚の両方に対して錯覚を起こさせることで、ユーザが容易に仮想現実の世界に入り込むことを可能とする。
なお、提示可能仮想現実度算出部１０２０や提示中仮想現実度算出部１０６０は、映像生成処理部１０３０が生成する仮想現実提示用の映像と音声生成処理部１０７０が生成する仮想現実提示用の音声のそれぞれに仮想現実度を割り当てても良いし、両方を纏めて仮想現実度を割り当てても良い。
例えば、提示可能仮想現実度算出部１０２０は、提示可能な仮想現実提示用の映像に係る仮想現実度に対して仮想現実度７０を割り当て、提示可能な仮想現実提示用の音声に係る仮想現実度に対して仮想現実度２０を割り当てる。映像生成処理部１０３０は、生成する映像に係る仮想現実度が７０以下となるように仮想現実提示用の映像を生成し、音声生成処理部１０７０は、生成する音声に係る仮想現実度が２０以下となるように、仮想現実提示用の音声を生成する。
また、例えば、提示可能仮想現実度算出部１０２０は、提示可能な仮想現実の世界に係る仮想現実度として纏めて仮想現実度８０を割り当てる。映像生成処理部１０３０と音声生成処理部１０７０は、これら２つの生成部で生成される仮想現実提示用の映像と音声で形作られる仮想現実の世界の仮想現実度が８０以下となるように、仮想現実用の映像や音声をそれぞれ生成する。
図４３は、当該仮想現実度を纏めて割り当てる場合における仮想現実提示システムの構成を示すブロック図である。仮想現実提示システム１０００ｄは、ユーザ状態検知部１０１０と、提示可能仮想現実度算出部１０２０と、提示中仮想現実度算出部１０６０と、仮想現実提示用データ生成処理部１０９０と、仮想現実提示部１１００とを備える。
仮想現実提示用データ生成処理部１０９０は、映像生成処理部１０３０と音声生成処理部１０７０とを備える。仮想現実提示用データ生成処理部１０９０は、仮想現実提示部１１００で提示される仮想現実の世界に係る仮想現実度が、提示可能仮想現実度算出部１０２０で算出された提示可能な仮想現実の世界に係る仮想現実度に収まるように、仮想現実コンテンツ記憶部１０５０に記憶されている仮想現実コンテンツを読み出して、仮想現実提示用の映像や音声を生成する。
このように、提示可能仮想現実度算出部１０２０は、仮想現実提示用の映像データや音声データを生成する仮想現実提示用データ生成処理部１０９０に対して現在割当可能な仮想現実度を提示可能な仮想現実の世界に係る仮想現実度として算出する。
提示中仮想現実度算出部１０６０は、仮想現実提示用データ生成処理部１０９０で生成された仮想現実提示用のデータに基づいて、現在提示中の仮想現実の世界に係る仮想現実度を算出する。
仮想現実提示部１１００は、仮想現実提示用データ生成処理部１０９０で生成された各種データを所定の出力形式で出力することで仮想現実の世界をユーザに提示する。仮想現実提示部１１００は、映像表示部１０４０と、音声出力部１０８０とを備えるが、ユーザの触覚を錯覚させるように構成する場合は振動出力部などの別途機構が設けられていても良い。
また、提示される仮想現実の世界において映像と音声は連動していることが多いため、音声については仮想現実度を考慮せず、音声出力部１０８０は、仮想現実度を考慮して生成される仮想現実提示用の映像と関連付けられた音声を出力する構成としても良い。
なお、上述した仮想現実提示システム１０００を構成する全ての機能が、ユーザが装着する仮想現実提示装置に備えられていても良いし、一部の機能が外部に設けられた情報処理サーバによって備えられていても良い。その場合、仮想現実提示装置と情報処理サーバは、通信部をそれぞれ備え、映像データやユーザ状態情報等の送受信を行う。
ユーザの状態を検知するユーザ状態検知手段と、
＜実施形態１１＞
本発明は、ユーザに提示される仮想現実の世界について、仮想現実度と言う第１のパラメータを導入し、当該仮想現実度の時間変化が所定の値以内に収まる様に仮想現実の世界の提示を制御することで、自らが感知している世界がリアルではなくバーチャルであることをユーザが認識することを防いでいる。
ここで、仮想現実度の時間変化をどの程度急激に行うかが新たな問題となる。仮想現実提示システムに対する評価指標を考察した場合、未来都市や幻想都市と言った現実からより乖離した仮想現実の世界をユーザにそれがバーチャルであることを悟らせることなく提示できることがより優れた仮想現実提示システムとなる。
従って、可能ならば、仮想現実度０である現実の世界から始まって、できるだけ早く高い仮想現実度の仮想現実の世界をユーザに提示できることが好ましい。その一方で、仮想現実度の上昇比が大きすぎると、ユーザは感知している世界が現実の世界ではなくバーチャルである仮想現実の世界であることを認識してしまう可能性が高くなる。すなわち、ユーザが錯覚している仮想現実の世界が破断してしまう。
本実施形態１１に係る仮想現実提示システムは、仮想現実度の時間変化を適切に管理することで、最適な仮想現実の世界をユーザに提示できることを特徴としている。
図４４は、本実施形態１１に係る仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、ユーザ状態検知部１０１０と、映像生成処理部１０２０と、提示可能仮想現実度算出部１０３０と、映像表示部１０４０と、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、錯覚度算出部２０１０と、を備える。
錯覚度算出部２０１０は、ユーザ状態検知部１０１０で検知されるユーザの状態に基づいて、当該ユーザの現在の錯覚度を算出する。ここで、錯覚度とは、ユーザが感知している仮想現実の世界を現実の世界であると錯覚している度合いを示す第２のパラメータである。
錯覚度は、０〜１００のいずれかの値で示される。例えば、図４０（ｂ）の景色を見たユーザは、ソファーに座っているように表示されている犬が現実に当該ソファーに座っている犬であると信じて疑わない場合に、錯覚度は１００となる。
一方、図４０（ｃ）の景色を見たユーザは、ソファーにライオンが座っていると言う日常からかけ離れた光景から、自身が見ている景色はバーチャルではないかと言う疑念を抱く。従って、ユーザは、自身が感知している世界が現実の世界であると完全に錯覚しているわけではなく、心のどこかで仮想現実の世界であると感じていることからユーザの錯覚度は１００を下回り、例えば４０程度となる。
ここで、ユーザの錯覚度は０にはならない。このことが仮想現実の世界を成り立たせる鍵である。この点について詳しく説明する。
私達人間の大人は、これまでの人生の中で過去の経験則に当てはまらない信じ難い経験と言うものを多少なりとも有している。「ウソだろ？」、「そんなバカな！」、「ありえない！」「マジで？」、「信じられない・・・」、「勘弁してくれよ・・・」、「最悪だ・・」「最高だ！」、と言った言葉を人生で発したことが無い大人はいないと断言しても過言ではない。これは、何を意味しているか。
私達人間は、自身の人生で培ったこれまでの経験知のデータベースを脳内に構築しており、視覚や聴覚を通じて感知する外界の状況をこれまでの経験知と比較するマッチング処理を行って現在自身が置かれている状況を把握している。
社会秩序の確立されたこの世界においては、人間が感知する状況は類似状況の繰り返しであり、そのような状況が経験知として脳内に刷り込まれていく。しかしながら、突発的にこれまで経験をしたこともない状況に置かれることがある。そのような場合に、人間は自身が現在感知している状況が、自身が脳内に構築している経験知と照合できない場合に上記言葉を思わず発することになる。
このように、人間の大人は、人生においては本能的に自身の常識や経験知とは整合しない、又は説明のつかない事象が自身に起こり得るということを経験則として知っている。このような場合に、自身の経験知と自身が感知している状況とが一致していないからと言って、思考を停止してしまっては、自身の生存競争に負けると言うことを人間は本能的に知っている。
例えば、山を歩いているときに巨大な熊と遭遇した場合、人間は「ウソだろ？勘弁してくれよ・・」と呟く。自身にそのような経験がなく、想定の範囲外だからである。しかしながら、そのような危機的な状況に対して人間の脳は、生存するために、イレギュラーな状況からの離脱に向けて様々な回避策を想起し、最善と思われる行動を取ろうとする。
このように、人間の大人は、非日常的な事象が起こり得ることを体験的に知っている。自身の経験知に当てはまらない状況に置かれていると言うことは、現在の状況に対する適切な対処方法を知っておらず、従って生存の危機レベルが上がっていることを意味している。生存競争に対して最も優れている私達人間は、この危機的な状況に対して、最悪なケースを想定して行動する思考回路を本質的に有している。
このことが、仮想現実の世界を体験しているユーザの錯覚度が０に落ちない理由となる。すなわち、仮想現実の世界とは現実の世界から乖離した世界であり、言わば非日常的な世界である。そのような世界を感知した場合に、例え自身が感知している現状が「ありえない」と思ったとしても、最悪のケースを想定して生存確率を高めようとする人間の本能が「信じ難い。でも、現実かもしれない。」と言う余地を残してくれる。だから仮想現実の世界が成り立つのである。
なお、上記説明では人間の大人の錯覚度が０に落ちない理由について説明したが、人間の子供にも錯覚度は０に落ちない理由がある。人間の子供は、自身が生存競争における弱者であることを本能的に理解している。また、経験知も積み重なっていないため、視覚や聴覚を通じて感知するものをそのまま捉える傾向がある。子供が目新しいことに対して素直なのはこのためである。
経験知のデータベースが構築できていないから、マッチング処理だけでは生存確率を上げられないことを本能的に理解しており、五感を通じて得られる情報を加工・歪曲することなくそのまま捉えて次の行動を取るという状況判断を行う。従って、仮想現実提示システムによって仮想現実の世界を提示する場合、自身の五感を信用して子供はそのまま見聞きしている世界をありのまま受け入れる。従って、錯覚度は大人の場合よりも高くなる。これが、私達人間は大人になった後よりも子供時代の方がゲームやテーマパーク、アニメーションと言ったものにより高い興味を示す理由である。ゲームやテーマパークが提示する刺激的な世界をありのまま受け入れるためである。
従って、図４０（ｃ）の景色を見た大人は、部屋の中にライオンがいるという非日常的な事象に疑いの念をどこかで抱きつつも、それが現実であった場合に自身が食い殺されると言うワーストケースに対してリスクヘッジを行う心理が働き、このライオンを完全には無視できない。すなわち、仮想現実の世界を現実の世界であると一部錯覚しており錯覚度は０ではない一定の数値がでる。子供は、自身が見る現在の景色をそのままに理解し、目の前にライオンがいると錯覚するため、こちらも錯覚度に０ではない一定の数値がでる。
本実施形態１１に係る仮想現実提示システム２０００において、錯覚度算出部２０１０は、ユーザ状態に基づいて錯覚度を算出している。ユーザが仮想現実の世界を錯覚している場合とそうでない場合とでは、ユーザの状態に差がでるため、当該ユーザの状態に基づいて当該ユーザの錯覚具合を推定し、錯覚度というパラメータの値を算出することが可能となる。
本実施形態１１に係る仮想現実提示システム２０００において、ユーザ状態検知部１０１０は、傾きセンサ１０１１と、加速度センサ１０１２と、方位センサ１０１３と、位置センサ１０１４と、内部カメラ１０１５と、脳波センサ１０１６と、血圧センサ１０１７と、脈拍センサ１０１８と、発汗センサ１０１９とを備える。
傾きセンサ１０１１は、仮想現実提示システム２０００を構成する仮想現実提示装置を装着しているユーザの頭部の傾きを検知し、傾き情報を取得する。加速度センサ１０１２は、当該ユーザの頭に係る加速度を検知し、加速度情報を取得する。方位センサ１０１３は、ユーザの向いている方角を検出し、方位情報を取得する。方位センサ１０１３は、例えば電子コンパスを用いることが可能である。
位置センサ１０１４は、ユーザの現在位置を検出する。位置センサ１０１４としては、例えばＧＰＳ受信機を用いることが可能である。
内部カメラ１０１５は、ユーザの顔の一部又は全部を撮影してユーザ表情画像を取得する。
脳波センサ１０１６は、ユーザの脳波を検知する。脳波センサ１０１６は、ユーザの脳から放出されている脳波の種類、脳波の強さ、脳波の放出位置等を検知する。血圧センサ１０１７はユーザの血圧を測定する。脈拍センサ１０１８は、ユーザの心拍数を計測する。発汗センサ１０１９はユーザの発汗量を検出する。
脳波センサ１０１６、血圧センサ１０１７、脈拍センサ１０１８、発汗センサ１０１９は、ユーザの生体反応を検知するセンサ群であるため、以下の説明では生体反応センサと称することがある。生体反応センサには、ユーザの体温を測定する体温センサや呼吸頻度を検知する呼吸センサなど、他のセンサが含まれていても良い。
映像生成処理部１０３０は、傾きセンサ１０１１で取得される傾き情報、加速度センサ１０１２で取得される加速度情報、方位センサ１０１３で取得される方位情報などの情報を組み合わせてユーザの目の位置の変化及び視線方向の変化を特定し、当該特定した目の位置や視線方向に応じた仮想現実提示用の映像を生成する。映像生成処理部１０３０は提示可能仮想現実度算出部１０２０で算出された仮想現実度に収まるように仮想現実提示用の映像を生成する。映像表示部１０４０は、当該生成された仮想現実提示用の映像を表示する。
錯覚度算出部２０１０は、内部カメラ１０１５で撮影されるユーザの表情や生体反応センサで検知されるユーザの生体反応に基づいて、ユーザの現在の錯覚度を算出する。
例えば、錯覚度算出部２０１０は、内部カメラ１０１５で撮影される画像に基づいて特定されるユーザの視線方向が、映像表示部１０４０で表示されている仮想現実提示用の映像に向かっているかを特定する。例えば、仮想現実提示用の映像として仮想現実オブジェクトが映像表示部１０４０に表示されている場合において、内部カメラ１０１５で撮影される映像に基づいて特定されるユーザの視線方向が当該仮想現実オブジェクトを捕捉している割合を算出する。当該仮想現実オブジェクトを捕捉している割合が高いほどユーザの錯覚度が高いものとして、当該錯覚度を算出する。
また、例えば、仮想現実提示用の映像が表示された後に、脳波センサ１０１６で検知されるα波が増加傾向にある場合に錯覚度が高いものとして当該錯覚度を算出し、β波が増加傾向にある場合に、錯覚度が低いものとして当該錯覚度を算出する。
また、例えば、仮想現実提示用の映像が表示された後に、血圧センサ１０１７で検知される血圧の上昇、脈拍センサ１０１８で検知される心拍数の上昇、発汗センサ１０１９で検知される発汗量の増加、が継続して観測された場合に、ユーザは仮想現実の世界に対して興奮しており錯覚度が高いものとして、当該錯覚度を算出する。
なお、上述した算出方式は一例であって、ユーザの状態と錯覚度との関連性を導く算出式が適宜設定されていれば良い。例えば、上記錯覚度算出部２０１０は、ユーザ状態検知部１０１０に含まれるセンサのいくつかにおける検知結果を所定の算出式に代入することで錯覚度を算出する構成としても良い。
また、ユーザの移動やユーザに係る加速度や傾きの変化が大きいほど錯覚度が低くなるように当該錯覚度を算出しても良い。映像生成処理部１０３０はユーザの動きに連動して、仮想現実オブジェクトの位置が仮想現実の世界の中で移動しないように、表示位置を制御する。しかしながら、ユーザの移動が大きいと、当該制御にズレが生じてしまい、ユーザの目には仮想現実オブジェクトがスライドしたように見えてしまう場合がある。このような本来静止している物体が僅かであってもスライドすることは、現実の世界で起こり得る事象から外れるため、作られた映像ではないかという疑念を抱くきっかけとなる。そのため、ユーザが移動している場合や急激な加速度が加わる場合には、錯覚度算出部２０１０は、錯覚度を低く算出する構成としても良い。
また、ユーザ状態検知部１０１０として上述した各センサを全て備えている必要はなく、一部のセンサが備え付けられていても良いし、体温センサや振動センサなど他のセンサがユーザ状態検知部１０１０として備え付けられていても良い。
また、上述の各センサはユーザが装着する仮想現実提示装置に備え付けられていても良いし、仮想現実の提示を受けているユーザの周囲の壁面などに備え付けられていても良い。
提示可能仮想現実度算出部１０２０は、提示中仮想現実度算出部１０６０で算出された現在提示している仮想現実の世界に係る仮想現実度を基準として、錯覚度算出部２０１０で算出された錯覚度に基づいて決定される値を加算、減算、乗算、除算のいずれかを実行することで現在提示可能な仮想現実の世界に係る仮想現実度を算出する。
例えば、提示中仮想現実度算出部１０６０で算出された現在提示している仮想現実の世界に係る仮想現実度をＸ、錯覚度算出部２０１０で算出された現在のユーザの錯覚度をＹ、提示可能仮想現実度算出部１０２０が算出する現在提示可能な仮想現実の世界に係る仮想現実度をＺとした場合に、提示可能仮想現実度算出部１０２０は、以下の数式１を用いてＺを算出する。
（数式１）Ｚ＝Ｘ＋（Ｙ−５０）／１０
映像生成処理部１０３０は、提示可能仮想現実度算出部１０２０で算出された提示可能な仮想現実の世界に係る仮想現実度Ｚに収まる様に仮想現実提示用の映像を生成する。映像表示部１０４０は、当該生成された映像を表示する。
以上のように、本実施形態１１に係る仮想現実提示システムによれば、ユーザの意識が仮想現実の世界から剥がれ落ちてしまわないように、ユーザの状態に応じながらユーザに提示される仮想現実の世界が適切に制御される。従って、長時間に渡ってユーザは仮想現実の世界を堪能できると共に、より現実の世界から乖離した魅力的な仮想現実の世界をユーザに提示することが可能となる。
なお、提示中の仮想現実の世界に係る仮想現実度や提供可能な仮想現実の世界に係る仮想現実度の算出は、リアルタイムに行う構成とせずに、所定の周期間隔で算出する構成としても良い。提示可能な仮想現実度が算出されると、映像生成処理部１０３０は、次の算出タイミングで新たに提示可能な仮想現実の世界に係る仮想現実度が算出されるまで、当該算出済みの最新の提示可能な仮想現実の世界に係る仮想現実度を用いて映像を生成する構成としても良い。
＜実施形態１２＞
私達人間は、片方の目で外界の景色を網膜に写しこんで２次元映像を取得し、視差のある両方の目でそれぞれ取得した２次元映像を脳内で処理することで３次元空間を把握する。仮想現実提示装置は、この現実の世界である３次元空間に仮想的な物体や人物があたかも存在しているかのように映像を表示する必要がある。
図４５は、本実施形態１２に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、ユーザ状態検知部１０１０と、提示可能仮想現実度算出部１０２０と、映像生成処理部１０３０と、映像表示部１０４０と、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、仮想現実提示制御部３０１０と、仮想空間生成処理部３０２０と、仮想現実オブジェクト配置処理部３０３０と、視点制御部３０４０と、を備える。映像生成処理部１０３０は、描画処理部１０３１を備える。
仮想現実提示制御部３０１０は、ユーザに対して仮想現実の提示を開始する処理や仮想現実の提示を終了する制御を行う。仮想現実提示制御部３０１０は、仮想現実の提示を開始すると決定した場合に、仮想現実生成処理部３０２０に当該提示する仮想現実用に新たな仮想空間の生成を指示する。また、仮想現実提示制御部３０１０は、当該提示する仮想現実に係る仮想現実オブジェクトの配置指示を出す。
仮想空間生成処理部３０２０は、仮想現実提示制御部３０１０から仮想空間生成指示を受けた場合に、仮想現実提示用の情報空間である仮想空間を生成する。具体的には、仮想空間生成処理部３０２０は、所定の広さを有する座標空間を仮想空間として生成する。
仮想現実オブジェクト配置処理部３０３０は、仮想現実提示制御部３０１０から仮想現実オブジェクト配置指示を受けた場合に、仮想現実コンテンツ記憶部１０５０より仮想現実オブジェクトを読み出して、仮想空間生成処理部３０２０が生成した仮想空間に配置する。仮想現実オブジェクト配置処理部３０３０は、提示可能仮想現実度算出部１０２０が算出した仮想現実度に収まる様に仮想現実オブジェクトを仮想現実コンテンツ記憶部１０５０から読み出して仮想空間に配置する。
仮想現実コンテンツ記憶部１０５０が記憶する各仮想現実オブジェクトには仮想現実度が割り当てられている。図４６は、当該仮想現実オブジェクトと仮想現実度との対応関係を示す管理テーブルの一例である。各仮想現実オブジェクトは、一意に割り当てられている識別番号で識別され、各仮想現実オブジェクトに仮想現実度が割り当てられている。例えば、恐竜のティラノザウルスは現実の世界にいない存在なので、当該ティラノザウルスをモデル化した仮想現実オブジェクトには相対的に高い仮想現実度が付与されている。一方、柴犬は、現実の世界にもいる存在なので、相対的に低い仮想現実度が付与されている。
例えば、提示可能仮想現実度算出部３０３０において、算出された提示可能な仮想現実度が７０であったとする。仮想現実オブジェクト配置処理部３０３０は、仮想現実コンテンツ記憶部１０５０に記憶されている仮想現実オブジェクトの中から合計が７０以下となる様に仮想現実オブジェクトを読み出して仮想空間に配置する。
視点制御部３０４０は、ユーザ状態検知部１０１０で検知されたユーザの状態に基づいて、仮想空間生成処理部３０２０が生成した仮想空間において、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とを制御する。視点制御部３０４０は、ユーザ状態検知部１０１０で検知されたユーザ頭部の傾きの変化や加速度の変化から、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とをそれぞれ算出して更新する。
描画処理部１０３１は、仮想空間に配置されている仮想現実オブジェクトの映像を仮想現実提示用の映像として生成する。具体的には、描画処理部１０３１は、視点制御部３０４０で制御される仮想空間内に置かれる視点位置座標と視線方向に基づいて、当該仮想空間に配置されている仮想現実オブジェクトをイメージプレーンに投影する投影処理によって２次元映像を取得する。描画処理部１０３１は、投影後の映像を映像表示部１０４０における表示領域に合わせて切り取るクリッピング処理を行い、仮想現実オブジェクトの輝度を補正するシェーディング処理や仮想現実オブジェクトの表面にテキスチャーデータを貼り付けるテキスチャーマッピング処理、仮想現実オブジェクトの一部を隠す陰面処理などの各種処理を行うことで仮想現実提示用の映像を生成する。
映像表示部１０４０は、描画処理部１０３１で描画された仮想現実オブジェクトの映像を表示する。
以上のように、本実施形態１２に係る仮想現実提示システムによれば、提示可能な仮想現実度に収まる様に仮想現実オブジェクトが選択されて仮想空間に配置され、当該配置されている仮想現実オブジェクトの映像が仮想現実提示用の映像として表示される。従って、ユーザが感知する仮想現実の世界と現実の世界との乖離を、仮想現実度と対応付けられた仮想現実オブジェクトを選択することで制御することができる。
なお、上記説明では仮想現実度算出部１０２０が算出する提示可能な仮想現実の世界に係る仮想現実度はユーザの状態に応じて変更される構成が好ましい。例えば、ユーザが激しく運動している場合、映像表示部１０４０で表示される仮想現実提示用の映像の表示制御が追随できず、ユーザが感知する現実の世界と人工的に創り出される仮想現実の世界との整合が取れなくなる可能性が高まる。すなわち、ユーザ状態検知部１０１０で検知されるユーザの状態変化に基づいて、視点制御部３０４０が視点位置座標及び視線方向を順次更新し、更新後の視点位置座標及び視線方向に基づいて仮想現実オブジェクトが描画されて映像が生成されるが、映像生成に要する処理時間の間にユーザの状態が大きく変化してしまうため、現在のユーザ状態に基づいていない映像が表示されてしまう可能性がある。
そこで、図４７に示す仮想現実提示システム３０００ｂのように、提示可能仮想現実度算出部１０２０は、ユーザ状態検知部１０１０で検知されるユーザの状態に基づいて、提示可能な仮想現実度を算出する構成とすることが好ましい。例えば、提示可能仮想現実度算出部１０２０は、ユーザ状態検知部１０１０で検知されるユーザの頭部に加わる加速度やユーザの移動速度等に基づいて、提示可能な仮想現実度を算出する。例えば、ユーザの頭部に加わる加速度が大きいほど相対的に低い仮想現実度が提示可能であると算出する。
また、例えば、提示可能仮想現実度算出部１０２０は、ユーザの脳波の強さに基づいて、脳が活発に機能してほど相対的に低い仮想現実度が提示可能であると算出する。脳の活動が停滞している場合の方が、仮想現実の世界と現実の世界との違いを認識する判断力が落ちているため、高い仮想現実の世界を提示することが可能であるためである。例えば、提示可能仮想現実度算出部１０２０は、脳波のうち、θ波やδ波が所定の閾値以上検知されている場合に、相対的に高い仮想現実度が提示可能であると算出する。
なお、どのように提示可能な仮想現実度を算出するかの算出式は、適宜選択して利用することが可能である。ユーザ毎に違いがあるため、当該算出式（算出方法）はユーザ毎に設定されていても良い。
また、実施形態１１で説明した錯覚度と組み合わせて提示可能な仮想現実度を算出する構成とすると更に良好である。
なお、ユーザがどの様な仮想現実の世界を体験したいかは、ユーザ毎やユーザのその時の気分によって異なる。そこで、図４８に示す仮想現実提示システム３０００ｃの構成とすると更に良好である。図４８に示す仮想現実提示システムは、仮想現実サービス要求入力部３０５０と、契約者情報記憶部３０６０とを備える。
仮想現実サービス要求入力部３０５０は、要求する仮想現実サービスを特定する情報を入力する。例えば、ユーザは自身が受けたい仮想現実サービスを仮想現実サービス要求入力部３０５０より入力する。ここで、仮想現実サービスとは、仮想現実の提示に係るサービスであって、仮想現実提示システム３０００ｃがユーザに提供するサービスである。
契約者情報記憶部３０６０は、各ユーザの情報を纏めた契約者情報を記憶する。各ユーザは、仮想現実サービスの提供を受けるに当たり、予め仮想現実サービス提供業者と契約を結んでおり、当該契約内容が契約者情報に登録されている。
図４９は、契約者情報の一部を示している。各ユーザが利用可能な仮想現実サービスが契約者情報に登録されている。
仮想現実サービス要求入力部３０５０より仮想現実サービスの要求が入力された場合に、仮想現実提示制御部３０１０は、契約者情報記憶部３０６０に記憶されている契約者情報を参照して、当該要求されている仮想現実サービスを当該ユーザに提供可能であるかを判定する。当該判定の結果、当該ユーザに対して要求されている仮想現実サービスの提供を行うと判定した場合に、仮想現実提示制御部３０１０は、仮想空間生成部３０２０と仮想現実オブジェクト配置部３０３０にそれぞれ対応する処理の開始指示を出す。
図５０は、仮想現実提示システム３０００ｃにおいて、仮想現実コンテンツ記憶部１０５０が記憶する仮想現実オブジェクトを管理する管理ファイルの一例である。各仮想現実サービスにおいて、それぞれ用いられる仮想現実オブジェクトが記憶されており、当該仮想現実オブジェクトに仮想現実度が関連付けられている。
仮想現実オブジェクト配置部３０３０は、仮想現実提示制御部３０１０からの指示された仮想現実サービスに関連付けられている仮想現実オブジェクトを、提示可能な仮想現実度の範囲内で読み出して仮想空間に配置する。
このように、ユーザが要求する仮想現実サービスについて、仮想現実度を制御しながらユーザに仮想現実の世界を提示することができる。
＜実施形態１３＞
仮想現実提示システムは、物理的・社会的に制約がある現実の世界を拡張した仮想現実の世界をユーザに提示することでユーザの生活を豊かにすることを目的としている。ここで、ユーザは、現実の世界と共に表示される仮想現実提示用の映像の両方を視ることで仮想現実の世界を感知するため、現実の世界の景色と仮想現実提示用の映像の相性によって、仮想現実度が変化することが好ましい。
例えば、恐竜である仮想現実オブジェクトを仮想空間に配置して、当該恐竜の映像を表示する場合において、ユーザが自宅にいる場合に目の前に恐竜が現れた場合はおよそ現実の光景からかけ離れているため仮想現実度は高くなる。一方、ユーザが動物園にいる場合、ライオンの隣に恐竜が見えたとしても、比較的「あり得る光景」であるため、仮想現実度は相対的に低くなる。
このように、仮想現実提示システムが同一の映像を表示する場合であっても、ユーザが感じる仮想現実の世界の仮想現実度は周囲の状況に応じて異なってくることになる。そのため、仮想現実度を制御しながら仮想現実の世界を提示する場合には、当該ユーザの周囲環境に応じて仮想現実提示用の映像や音楽が決定されることが好ましいことになる。
図５１は、本実施形態１３に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は、ユーザ状態検知部１０１０と、提示可能仮想現実度算出部１０２０と、映像生成処理部１０３０と、映像表示部１０４０と、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、仮想現実提示制御部３０１０と、仮想空間生成処理部３０２０と、仮想現実オブジェクト配置処理部３０３０と、視点制御部３０４０と、周囲状況検知部４０１０と、周囲状況特定部４０２０と、を備える。
周囲状況検知部４０１０は、ユーザの周囲の状況を検知する。周囲状況検知部４０１０は、例えば、ユーザの周囲の景色を撮影するカメラで構成され、当該カメラでユーザの周囲を撮影することでユーザの周囲の状況を検知する。
周囲状況特定部４０２０は、周囲状況検知部４０１０における検知結果に基づいて、ユーザの周囲の状況を特定する。具体的には、周囲状況特定部４０２０は、ユーザの周囲の状況を予め登録された複数の分類のいずれかであるとして特定する。ユーザの周囲の状況の候補として「自宅内」「屋外」「公園」「駅」「トイレ」「一人」「道路」「動物園」「テーマパーク」「浜辺」「山中」「プール」「都会」「田舎」などが予め登録されており、周囲状況特定部４０２０は、周囲状況検知部４０１０における検知結果と、これらの登録されている状況との相関値を求めることで、相関値が最も高かった状況が現在のユーザの周囲状況であると特定する。
仮想現実コンテンツ記憶部１０５０は、仮想現実オブジェクトを、状況別に仮想現実度と関連付けて記憶する。図５２は、当該仮想現実オブジェクトと、状況別の仮想現実度との関連付けを示す管理ファイルの一例である。仮想現実オブジェクトは、状況別に仮想現実度と関連付けられている。
例えばＶ０００３で識別される仮想現実オブジェクトは、空想上の生物であるブルードラゴンをモデリングした仮想現実オブジェクトである。恐竜に似た空想上の生物であるため、自宅内にいるよりは、野外にいている方が「あり得る」ため仮想現実度は低く、中でも公園や動物園にいている方がより「あり得る」ため、仮想現実度は更に低く設定されている。
仮想現実オブジェクト配置部３０３０は、提示可能仮想現実度算出部１０２０で算出された仮想現実度に収まる様に仮想現実コンテンツ記憶部１０５０より仮想現実オブジェクトを読み出して仮想空間に配置する。ここで、仮想現実オブジェクト配置部３０３０は、配置する仮想現実オブジェクトに関連付けられた仮想現実度であって、周囲状況特定部４０２０で特定されたユーザの周囲の状況に関連付けられている仮想現実度の合計が上記提示可能な仮想現実度を超えないように仮想現実オブジェクトを選択する。
以上のように本実施形態１３に係る仮想現実提示システムによれば、ユーザの周囲の状況に応じて適切な仮想現実オブジェクトが選択されて仮想空間に配置されるため、現実の世界に溶け込むように仮想現実オブジェクトが感知される。従って、ユーザは仮想現実の世界に入り込みやすくなる。
なお、本実施形態１３に係る仮想現実提示システムは、図５３に示す構成とすると更に良好である。仮想現実提示システム４０００ｂは、ユーザ状態検知部１０１０と、提示可能仮想現実度算出部１０２０と、映像生成処理部１０３０と、映像表示部１０４０と、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、音声生成処理部１０７０と、音声出力部１０８０と、仮想現実提示制御部３０１０と、仮想空間生成処理部３０２０と、仮想現実オブジェクト配置処理部３０３０と、視点制御部３０４０と、周囲状況検知部４０１０と、周囲状況特定部４０２０と、画像解析処理部４０３０と、光源制御部４０４０と、モデルデータ配置処理部４０５０と、を備える。
周囲状況検知部４０１０は、ユーザの前方を撮影して前方景色画像を取得する前方カメラ４０１１と、ユーザの両側や後方などユーザの周辺を撮影して周辺景色画像を取得する周辺カメラ４０１２などから構成される。
画像解析処理部４０３０は、周囲状況検知部４０１０が備える前方カメラ４０１１や周辺カメラ４０１２で撮影された画像を解析して所定のパラメータを抽出する。具体的に、画像解析処理部４０３０は、物体特定処理部４０３１と、光学成分抽出処理部４０３２と、物体識別処理部４０３３と、モデルデータ生成処理部４０３４と、を備える。
物体特定処理部４０３１は、前方カメラ４０１１で取得された前方景色画像や周辺カメラ４０１２で取得された周辺景色画像に写る物体を特定する。具体的には、物体特定処理部４０３１は、これらの画像の隣接画素を比較することで、当該画像に写る各物体の境界を特定する境界特定処理を行い、画像に含まれている複数の物体を特定する。
光学成分抽出処理部４０３２は、前方カメラ４０１１で取得された前方景色画像や周辺カメラ４０１２で取得された周辺景色画像に基づいてユーザの周囲の明るさ（照度）や光源の位置に関する情報を抽出する。
物体識別処理部４０３３は、物体特定処理部４０３１で特定された物体が何であるかを識別する。例えば、物体識別処理部４０３３は、データベースに記憶されている各物体の画像と、物体特定処理部４０３１で特定された各物体とのマッチング処理を行うことで、ユーザ状態検知部４０１０で撮影された画像に含まれる物体が何であるのかを特定する。
モデルデータ生成処理部４０３４は、物体特定処理部４０３１で特定された各物体の外観形状を規定するモデルデータを生成する。モデルデータ生成処理部４０３４は、複数のカメラでそれぞれ撮影された画像に含まれる同一物体の位置差分に基づいて、ユーザの周囲に存在する各物体を３Ｄポリゴンでモデル化するで当該モデルデータを生成する。
周囲状況特定部４０２０は、物体識別処理部４０３３で識別されたユーザの周囲に存在する物体に基づいて、ユーザの周囲の状況がどのような状況であるかを特定する。周囲状況特定部４０２０は、例えば、周囲状況特定部４０２０は、図５４に示すような周囲状況と、当該状況に関連する物体との対応関係を纏めた管理ファイルを記憶している。周囲状況特定部４０２０は、当該管理ファイルを参照し、物体識別処理部４０３３で識別された物体が最も多く含まれる状況を、当該ユーザの周囲の状況であると特定する。
光源制御部４０４０は、光学成分抽出部４０３２で抽出された光源の位置や照度に関する情報に基づいて、仮想空間生成処理部３０２０が生成している仮想空間内における光源の位置や照度を制御する。
モデルデータ配置処理部４０５０は、モデルデータ生成処理部４０３４で生成されたユーザの周囲に存在する物体や人物などのモデルデータを仮想空間生成部３０２０が生成している仮想空間に配置する。ここで、モデルデータ配置処理部４０５０は、仮想現実オブジェクト配置処理部３０３０が仮想現実オブジェクトを配置する仮想空間とは異なるレイヤーに当該モデルデータを配置することがより好ましい。
すなわち、仮想空間生成処理部３０２０は、仮想現実オブジェクト配置用の第１レイヤーと現実の物体のモデルデータ配置用の第２レイヤーの複数レイヤーの仮想空間を生成する。仮想現実オブジェクト配置処理部３０３０は、仮想現実コンテンツ記憶部１０５０より読み出した仮想現実オブジェクトを仮想空間の第１レイヤーに配置し、モデルデータ配置処理部４０５０は、モデルデータ生成処理部４０３４で生成された現実の世界の物体のモデルデータを第２レイヤーに配置する。このように、異なるレイヤーに配置しておくことで、後続の描画処理における陰面処理を簡易化できる。
描画処理部１０３１は、仮想空間の第１レイヤーに配置されている仮想現実オブジェクトを描画することで、仮想現実提示用の映像を生成する。具体的に、描画処理部１０３１は、視点制御部３０４０で制御される視点位置及び視線方向に基づいて仮想空間の第１レイヤーに配置されている仮想現実をイメージプレーンに投影することで、仮想現実オブジェクトの２次元画像を取得する。
同様に、描画処理部１０３１は、仮想空間の第２レイヤーに配置されている現実の物体のモデルデータを第１レイヤーの投影処理に用いる視点位置及び視線方向に基づいて上記イメージプレーンに投影することで、現実の物体の投影画像を生成する。描画処理部１０３１は、仮想現実オブジェクトの２次元画像のうち、上記現実の物体の投影画像であって、仮想現実オブジェクトよりもユーザ側に位置する物体の投影画像で隠す陰面処理を行う。
続いて、描画処理部１０３１は、映像表示部１０４０に対応する解像度に合わせて上記投影処理で得られた２次元画像を所定の大きさに切り取るクリッピング処理を行う。
続いて、描画処理部１０３１は、仮想現実オブジェクトの２次元画像にテキスチャーを貼り付けるテキスチャーマッピング処理を行う。
続いて、描画処理部１０３１は、光源制御部３０４０で制御される光源の位置及び照度に基づいて、仮想現実オブジェクトの２次元画像の表面の輝度を調整するシェーディング処理を行う。
描画処理部１０３１は、必要に応じてアンチエリアシング処理や、当該描画処理の間におけるユーザ状態の変化に基づく表示位置の補正処理等を行うことで仮想現実提示用の映像を生成する。映像表示部１０４０は、上記処理を経て得られた仮想現実提示用の映像を表示する。
音声生成処理部１０７０は、仮想現実提示制御部３０１０で決定された仮想現実サービスに対応する仮想現実提示用の音声データを仮想現実コンテンツ記憶部１０５０より読み出し、各音声チャンネルに分配する分配処理や音声レベルを増幅する増幅処理を行うことで、各音声チャンネルから出力する仮想現実提示用の音声データを生成する。
音声生成処理部１０７０は、当該分配処理を行うに当たり、仮想空間に配置されている仮想現実オブジェクトの位置座標と視点制御部３０４０が制御する視点位置座標との相対ベクトルに基づいて音声データを複数の音声チャネルに分配して立体音響を再現する構成とすると良い。
音声出力部１０８０は、音声生成処理部１０７０で生成された各音声チャンネルの音声データをアナログ電気信号に変換した後に、空気振動に変換して外部へ放音することで、音声を出力する。
なお、同一の仮想現実オブジェクトであってもユーザの近くに配置されている場合とユーザの遠くに配置されている場合とではユーザが受け取る印象が異なる。例えば、現実の世界ではありえないドラゴンの仮想現実オブジェクトをユーザの前方３ｍの位置に配置した場合における仮想現実の世界は高い仮想現実度を有することになるが、ユーザの５０ｍ先にドラゴンを配置した場合は、ユーザからは良く見えないため仮想現実度は低くなる。
従って、仮想現実オブジェクト配置部３０３０は、提示可能仮想現実度算出部１０２０で算出される仮想現実度に収まる様にユーザからの距離を制御して仮想現実コンテンツ記憶部１０５０から読み出した仮想現実オブジェクトを仮想空間に配置する。
例えば、仮想現実提示制御部３０１０が提供を開始すると決定した仮想現実サービスが「ドラゴンを狩ろう」という仮想現実サービスであり、提示可能仮想現実度算出部１０２０が設定する提示可能な仮想現実度の初期値が５０であるとする。ここで、仮想現実オブジェクトであるドラゴンについてユーザの３ｍ先に配置した場合の仮想現実度が７０、１０ｍ先に配置した場合の仮想現実度が５０、２０ｍ先に配置した場合の仮想現実度が４０であるとする。
この場合、仮想現実オブジェクト配置処理部３０３０は、仮想現実提示制御部３０１０から指示された仮想現実サービスに係る仮想現実オブジェクトである当該ドラゴンのモデルデータを仮想現実コンテンツ記憶部１０５０より読み出して仮想空間に配置する。ここで、仮想現実オブジェクト配置処理部３０３０は、読み出した仮想現実オブジェクトを仮想空間に配置した場合の仮想現実度が、提示可能な仮想現実度である５０を下回る様に、ユーザ位置から１０ｍ以上の距離の場所に仮想現実オブジェクトを配置する。このように、仮想現実オブジェクト配置処理部３０３０は、提示可能な仮想現実度を満たすように、仮想現実オブジェクトの仮想空間内での配置位置を決定する構成とすると更に良好である。
なお、上記ユーザ位置は、ユーザ状態検知部１０１０で検知されるユーザ状態に基づいて視点制御部３０４０で更新される視点位置をそのままユーザ位置として使用することができる。
また、仮想現実コンテンツ記憶部１０５０は、仮想現実オブジェクトの各々に設定されている仮想現実度と対応付けて仮想現実オブジェクトを記憶する構成とすると更に良好である。仮想現実オブジェクト配置処理部３０３０は、提示可能仮想現実度算出部１０２０で算出された仮想現実度よりも低い仮想現実度と対応付けられている仮想現実オブジェクトを前記仮想現実コンテンツ記憶部１０５０より読み出して仮想空間生成処理部３０２０が生成する仮想空間に配置する。
なお、仮想現実オブジェクト配置処理部３０３０は、提示可能仮想現実度算出部１０２０で算出された仮想現実度から提示中仮想現実度算出部１０６０で算出された仮想現実度を減算することで求まる余剰仮想現実度よりも低い仮想現実度と対応付けられている仮想現実オブジェクトを仮想現実コンテンツ記憶部１０５０より読み出して仮想空間生成処理部３０２０が生成する仮想空間に配置する構成とすることが好ましい。
また、仮想現実オブジェクト配置処理部３０３０は、提示可能な仮想現実の世界の仮想現実度が、現在提示中の仮想現実の世界の仮想現実度を下回っている場合に、仮想空間に配置中の仮想現実オブジェクトを前記仮想空間から削除することで、提示する仮想現実の世界の仮想現実度が提示可能な仮想現実の世界の仮想現実度に収まるようにする。提示可能仮想現実度算出部１０２０は、現在提示可能な仮想現実度を算出し、提示中仮想現実度算出部１０６０は、現在仮想空間に配置している仮想現実オブジェクトの合計仮想現実度を算出する。仮想現実オブジェクト配置処理部３０３０は、当該提示可能仮想現実度から提示中仮想現実度を減算した値がマイナスである場合に、提示中仮想現実度が提示可能仮想現実度を下回る様に、仮想空間に配置している仮想現実オブジェクトの中から削除する仮想現実オブジェクトを選択して仮想空間から削除する処理を行う。
＜実施形態１４＞
ユーザは仮想現実提示装置を装着して仮想現実の世界を体験する。ユーザが直接身に着ける仮想現実提示装置は、装着性や携帯性を高めるために軽量・小型であることが好ましい一方で、仮想現実の世界を提示するためには様々な制御や処理が発生する。本実施形態１４に係る仮想現実提示システムは、これら仮想現実の世界を提示するために必要となる処理を複数の装置やシステムで分担することで、実際にユーザが装着する仮想現実提示装置の軽量・小型化を目的としている。
図５５は、本実施形態１４に係る仮想現実提示システムの構成を示すブロック図である。仮想現実提示システムは、仮想現実提示装置５００と、仮想現実サービス提供システム５０００とから構成される。
仮想現実サービス提供システム５０００は、仮想現実の世界を提示するサービスである仮想現実サービスをユーザに対して提供するシステムであって、一台又は複数台の情報処理サーバやデータベースなどから構成される。
仮想現実サービス提供システム５０００は、通信部５０１０と、仮想現実サービス提供制御部５０２０と、仮想現実オブジェクト挙動制御部５０３０と、レイヤー順序更新処理部５０４０と、レイヤー情報生成処理部５０５０と、提示可能仮想現実度算出部１０２０と、映像生成処理部１０３０と、仮想現実コンテンツ記憶部１０５０と、提示中仮想現実度算出部１０６０と、音声生成処理部１０７０と、仮想空間生成処理部３０２０と、仮想現実オブジェクト配置処理部３０３０と、視点制御部３０４０と、周囲状況特定部４０２０と、画像解析処理部４０３０と、光源制御部４０４０と、モデルデータ配置処理部４０５０と、を備える。
通信部５０１０は、インターネット等の通信網を介して仮想現実提示装置５００と通信を行う。通信部５０１０は、少なくともユーザの状態を示すユーザ状態情報を受信する受信部５０１１と、仮想現実提示用の映像データを送信する送信部５０１１とを備える。
受信部５０１１は、ユーザの状態を示すユーザ状態情報と、ユーザの周囲を撮影した周囲景色画像とを受信する。ユーザ状態情報や周囲景色画像には、それぞれ当該ユーザ状態が検知されたタイミングを示すユーザ状態検知時刻情報（ユーザ状態検知タイミング情報）や、周囲景色画像が撮影されたタイミングを示す周囲景色画像撮影時刻情報（周囲状況検知タイミング情報）が含まれている。送信部５０１１は、仮想現実提示用の映像符号化データや仮想現実提示用の音声符号化データ、レイヤー情報、各種通知情報などを送信する。
仮想現実サービス提供制御部５０２０は、仮想現実サービスの提供を制御する。具体的に仮想現実サービス提供制御部５０２０は、仮想現実コンテンツ記憶部１０５０に記憶されている仮想現実コンテンツの中から、提供する仮想現実サービスに係る制御プログラムを読み出して実行することで当該仮想現実サービスの提供を開始する。
仮想現実コンテンツ記憶部１０５０は、仮想現実サービスを実現するためのデータである仮想現実コンテンツを記憶している。仮想現実コンテンツには、仮想現実オブジェクトの他、仮想現実サービスの進行を制御する仮想現実サービス制御プログラムや仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラム、仮想現実提示用の音声データである仮想現実提示用音声データなどを記憶している。
仮想現実サービス提供制御部５０２０は、仮想現実サービスの提供を開始するにあたって、仮想現実サービスの提供開始を通知する仮想現実サービス提供開始通知情報を生成する。
図５６は、当該仮想現実サービス提供開始通知情報の一例を示す図である。仮想現実サービス提供開始通知情報は、自サーバのアドレスである送信元アドレスと、送信先の仮想現実提示装置５００のアドレスである送信先アドレスと、当該情報が仮想現実サービス提供開始通知情報であることを示す情報種別と、仮想現実提示装置５００と仮想現実提示システム５０００の間において当該仮想現実サービスに関連して発生する通信を他の通信と識別するために各パケットに付与する番号である通信識別番号と、提供に係る仮想現実サービスを識別する仮想現実サービス識別情報と、仮想現実サービスの提供において必要となる制御や処理で用いる仮想現実制御パラメータ情報などを含む。
仮想現実制御パラメータ情報としては、ユーザ状態としてどのような種類のユーザ状態を検知させるかを指定する検知ユーザ状態指定情報、検知されたユーザの状態を示すユーザ状態情報の送信頻度を示すユーザ状態送信頻度、撮影されたユーザの周囲の景色の画像である周囲景色画像の送信頻度、周囲景色画像の画像圧縮符号化形式を示す周囲景色画像符号化形式、表示する映像のフレームレートを示す映像フレームレート、仮想現実サービス提供システム５０００から適宜送信される仮想現実提示用映像データの符号化形式を示す仮想現実提示用映像データ符号化形式、などの情報が含まれる。
その他、仮想現実サービス提供制御部５０２０は、必要に応じて現在提供中の仮想現実サービスの提供の終了を通知する仮想現実サービス提供終了通知情報や当該仮想現実サービスにおける制御パラメータの変更を通知する制御パラメータ変更通知情報、などの各種情報を生成する。仮想現実サービス提供制御部５０２０で生成されたこれらの情報は、送信部５０１２より仮想現実提示装置５００へ送信される。
仮想現実サービス提供制御部５０２０は、仮想現実サービスの提供を開始する場合に、仮想空間生成処理部３０２０と仮想現実オブジェクト配置処理部３０３０にそれぞれ仮想空間の生成指示及び仮想現実オブジェクトの配置指示を出す。
また、仮想現実サービス提供制御部５０２０は、仮想現実提示用の映像データの生成指示と仮想現実提示用の音声データの生成指示を映像生成処理部１０３０と音声生成処理部１０７０にそれぞれ出す。
仮想空間生成処理部３０２０は、仮想現実サービス提供制御部５０２０からの仮想空間生成指示に基づいて、当該仮想現実サービスに使用する仮想空間を生成する。仮想空間は、所定の広さを有する座標空間であって、現実の世界の空間と対応するように人工的に創り出される情報処理上の空間である。
仮想現実オブジェクト配置処理部３０３０は、仮想現実サービス提供制御部５０２０からの仮想現実オブジェクト配置指示に基づいて、当該仮想現実サービスに係る仮想現実オブジェクトを仮想現実コンテンツ記憶部１０５０より読み出して仮想空間生成処理部３０２０が生成した仮想空間に配置する。
ここで、仮想現実オブジェクト配置処理部３０３０は、提示可能仮想現実度算出部１０２０が算出する現在提供可能な仮想現実の世界の仮想現実度に収まる様に、上記仮想現実オブジェクトを選択して仮想空間に配置する。
また、仮想現実オブジェクト配置処理部３０３０は、配置する仮想現実オブジェクトが複数になる場合は、読み出した仮想現実オブジェクトを異なるレイヤーの仮想空間に配置する。
すなわち、仮想空間生成処理部３０２０は、原点を共通とする複数のレイヤーの仮想空間を生成し、仮想現実オブジェクト配置処理部３０３０は、仮想現実コンテンツ記憶部１０５０より読み出した複数の仮想現実オブジェクトをそれぞれ異なるレイヤーの仮想空間に配置する。
図５７は、当該複数の仮想現実オブジェクトを仮想空間の異なるレイヤーにそれぞれ配置する場合を示している。象と犬とライオンの３つの仮想現実オブジェクトがそれぞれ原点を共通とする３つの異なるレイヤーの仮想空間に分けて配置されている。
視点制御部３０４０は、受信部５０１１で受信されたユーザ状態情報に基づいて、仮想空間生成処理部３０２０が生成した仮想空間において、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とを制御する。視点制御部３０４０は、ユーザ状態情報に含まれる傾き情報や加速度情報に基づいて特定されるユーザ頭部の傾きの変化や加速度の変化から、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とをそれぞれ算出して更新する。ここで、ユーザ状態情報には、対応するユーザ状態が検知されたタイミングを示すタイムスタンプであるユーザ状態検知時刻情報が含まれているため、視点制御部３０４０は、現在の視点位置座標及び視線方向が、どの時刻に検知されたユーザ状態に基づいて設定されている視点位置座標及び視線方向であるかを管理する。
仮想現実オブジェクト挙動制御部５０３０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト配置処理部３０３０によって仮想空間の各レイヤーにそれぞれ配置されている仮想現実オブジェクトの中には、例えば人間や動物の仮想現実オブジェクトのように動作可能なように構成されているものがある。仮想現実オブジェクト挙動制御部５０３０は、仮想現実コンテンツ記憶部１０５０の中から当該仮想現実オブジェクトの挙動制御プログラムを読み出して実行することで、仮想空間に配置されている仮想現実オブジェクトの外観形状を変化させたり、仮想現実オブジェクトを仮想空間内で移動させたりする。
提示中仮想現実度算出部１０６０は、現在提示中の仮想現実の世界に係る仮想現実度を算出する。提示中仮想現実度算出部１０６０は、仮想現実オブジェクト配置処理部３０３０が仮想空間に配置する仮想現実オブジェクトの種類や配置位置、周囲状況特定部４０２０で特定されるユーザの周囲の状況などに基づいて、現在提示中の仮想現実の世界に係る仮想現実度を算出する。なお、複数レイヤーの仮想空間に複数の仮想現実オブジェクトが配置されている場合、提示中仮想現実度算出部１０６０は、これらの仮想現実オブジェクトに対応付けられた仮想現実度の総和をとることで提示中の仮想現実の世界に係る仮想現実度を算出する構成とすると良い。
提示可能仮想現実度算出部１０２０は、現在ユーザに提示可能な仮想現実の世界に係る仮想現実度を算出する。提示可能仮想現実度算出部１０２０は、提示中仮想現実度算出部１０６０で算出された現在提示中の仮想現実の世界に係る仮想現実度を基準として、所定の値を加算・減算・乗算・除算することで、提示可能な仮想現実の世界に係る仮想現実度を算出すると良い。
画像解析処理部４０３０は、受信部５０１２で受信されたユーザの周囲の景色を撮影した周囲景色画像に対する所定の解析処理を行うことで所定の情報を抽出する。周囲景色画像は、仮想現実提示装置５００が備える複数のカメラで撮影された画像である。
例えば、画像解析処理部４０３０は、当該周囲景色画像の中から光学成分を抽出し、ユーザの周囲の平均照度や光源の位置及び方向などの情報を光学成分情報として抽出する。
また、画像解析処理部４０３０は、複数の周囲景色画像に含まれる各物体の位置の比較処理や、同一の周囲景色画像の隣接画素を比較する比較処理によって、周囲景色画像に含まれる各物体の位置や形状を特定する。画像解析処理部４０３０は、ユーザの周囲の現実世界に存在するこれらの物体等の位置や形状に基づいて、当該物体等の外観形状をモデル化してモデルデータを生成する。
光源制御部４０４０は、画像解析処理部４０３０で抽出された光学成分情報に基づいて、仮想空間生成処理部３０２０が生成する上記仮想空間における光源の位置座標や光源の照度又は輝度を更新する。例えば、光源制御部４０４０は、画像解析処理部４０３０によって求められた周囲景色画像における平均輝度に基づいて、無限遠方の光源の照度又は輝度を設定する。また、画像解析処理部４０３０において周囲景色画像で現れる影の位置等に基づいて抽出された光学成分情報に基づいて、局所的な光源を新たに仮想空間内の対応する位置に配置する。その他、光源制御部４０４０は、画像解析処理部４０３０で抽出された光学成分情報に基づいて光源の色を設定しても良い。
モデルデータ配置処理部４０５０は、画像解析処理部４０３０において生成されたユーザの周囲の現実世界に存在する物体等のモデルデータを仮想空間に配置する。モデルデータ配置処理部４０５０は、視点制御部３０４０で制御される視点位置及び視線方向に基づいて、周囲景色画像がどの位置からどの方向に向かって撮影された映像であるかを特定し、画像解析処理部４０３０で生成された各物体のモデルデータを仮想空間に配置する。
ここで、仮想空間生成処理部３０２０は、当該現実の世界に存在する物体のモデルデータを配置するモデルデータ専用レイヤーの仮想空間を生成することが好ましい。モデルデータ配置処理部４０５０は、画像解析処理部４０３０で生成された現実の世界の物体のモデルデータを当該モデルデータ専用レイヤーの仮想空間に配置する。
周囲状況特定部４０２０は、画像解析処理部４０３０における画像解析処理の結果に基づいて、ユーザの周囲の状況を特定する。例えば、周囲状況特定部４０２０は、ユーザの周囲の状況を「室内」、「室外」、「公園」、「駅」、「道路」、「自宅」、「山の中」、「浜辺」、「デパート」、「田園」、「グラウンド」、「学校」など、予め登録されているいずれかのカテゴリの中から選択することで、ユーザの周囲の状況を特定する。
描画処理部１０３１は、仮想現実サービス提供制御部５０２０からの仮想現実提示用映像生成指示に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画することで仮想現実提示用の映像を生成する。ここで、描画処理部１０３１は、仮想現実のレイヤー毎にそれぞれ描画処理を行うことでレイヤー毎の仮想現実提示用の映像を生成する。
描画処理部１０３１は、仮想空間のレイヤーの一つとモデルデータ専用レイヤーを選択し、視点制御部３０４０で設定される現在の視点位置座標及び視線方向に基づいて、当該選択したレイヤーの仮想空間にそれぞれ配置されている仮想現実オブジェクトと現実の世界の物体のモデルとを、当該視点位置座標から視線方向前方に配置したイメージプレーンへ投影する投影処理を行う。描画処理部１０３１は、当該投影処理によって得られた２次元投影画像の中から現実の世界の物体のモデル部分を消去することで、選択したレイヤーに配置された仮想現実オブジェクトの２次元投影画像を取得する。
描画処理部１０３１は、上記投影処理で得られた２次元投影画像を所定の大きさに切り取るクリッピング処理を行う。ここで、描画処理部１０３１は、仮想現実提示装置５００の表示パネルにおける解像度を上回る範囲で切り取ることを特徴とする。例えば、仮想現実提示装置５００の表示パネルが１０８０画素×１９２０画素の解像度を有する場合、描画処理部１０３１は、２次元投影画像を１割増しの１１８８×２１１２で切り取るクリッピング処理を行う。なお、どの程度サイズを大きくして切り取るかはユーザ状態の変化の大きさに基づいて決定されていても良い。ユーザが静止している場合は、後続の補正処理が必要ではなく、大き目に切り取る必要がないためである。
次に、描画処理部１０３１は、当該仮想現実オブジェクトのテキスチャーマッピングデータをクリッピング処理後の２次元投影画像に張り付けるテキスチャーマッピング処理を行う。
次に、描画処理部１０３１は、光源制御部４０４０で設定される光源に基づいて、上記２次元投影画像に陰影をつけるシェーディング処理を行う。描画処理部１０３１は、必要に応じてアンチエリアシング処理を行い、当該レイヤーの仮想現実提示用映像とする。
ここで、描画処理部１０３１は、当該描画して生成したレイヤーの仮想現実提示用映像が、どの時刻のユーザ状態に基づいて描画された映像であるかを示す情報を付与して当該レイヤーの仮想現実提示用映像を生成する。描画処理に使用する視点位置座標及び視線方向は、視点制御部３０４０によって更新・設定されるが、現在使用する視点位置座標及び視線方向を設定する際に用いられたユーザ状態が検知された時刻を示すタイムスタンプであるユーザ状態検知時刻情報を付与して当該レイヤーの仮想現実提示用映像を生成する。
描画処理部１０３１は、仮想空間生成処理部３０２０で生成されている各レイヤーの仮想空間を並列処理で描画することで、レイヤー毎の仮想現実提示用映像を生成する。
映像符号化処理部１０３２は、描画処理部１０３１で生成された各レイヤーの仮想現実提示用映像を符号化してレイヤー別仮想現実提示用符号化映像データを生成する。当該レイヤー別仮想現実提示用符号化映像データは、送信部５０１１より仮想現実提示装置５００に送信する。
レイヤー順序更新処理部５０４０は、仮想空間生成処理部３０２０が生成する仮想空間の各レイヤーの順序を更新する。描画処理部１０３１でレイヤー毎に描画が行われてレイヤー別の仮想現実提示用映像が生成されるため、最終的に仮想現実提示装置５００において複数のレイヤー別仮想現実提示用映像を合成する必要がある。そのため、レイヤー順序更新処理部５０４０は、各仮想空間のレイヤーに順序を設定しておき、当該レイヤーの順序を更新する。
レイヤーの順序は、ユーザの位置と仮想現実オブジェクトの位置との関係で決定される。すなわち、ユーザから近い方の仮想現実オブジェクトが配置されているレイヤーから順番にレイヤー順序が決定される。ユーザの位置は、適宜変化していくし、仮想現実オブジェクトの位置も仮想現実オブジェクト挙動制御部５０３０が行う挙動制御によって変化していく。そこで、レイヤー順序更新処理部５０４０は、受信部５０１１で受信されたユーザ状態情報に基づいて視点制御部３０４０によって制御されるユーザの視点位置座標と、仮想空間の各レイヤーにそれぞれ配置されている各仮想現実オブジェクトの位置座標とに基づいて、レイヤー順序を更新する。
例えば、図５８のように仮想空間のレイヤー１〜３に仮想現実オブジェクトＡ〜Ｃがそれぞれ配置されている場合において、状態１ではユーザに近い方から仮想現実オブジェクトＡ、Ｂ、Ｃの順番である。従って、レイヤー順序更新処理部５０４０は、レイヤー１，２，３の順序とする。ここで、ユーザが現実の世界で移動したことによって状態２の位置関係となった場合、ユーザに近い方から仮想現実オブジェクトはＢ，Ｃ、Ａの順番である。従って、レイヤー順序更新処理部５０４０は、レイヤー順序をレイヤー２、３、１に変更することでレイヤー順序を管理する。
レイヤー情報生成処理部５０５０は、レイヤー順序更新処理部５０４０における更新処理に基づいて現在のレイヤー順序を示すレイヤー情報を生成する。レイヤー情報生成処理部５０５０は、レイヤーの順序を示すレイヤー順序情報の他、ユーザと各レイヤーとの位置関係を示す位置関係情報、各レイヤーに含まれる仮想現実オブジェクトの種類や数、各レイヤーの重要度などの情報を含めてレイヤー情報を生成することが好ましい。なお、位置関係情報は、ユーザの位置から各レイヤーにそれぞれ含まれる仮想現実オブジェクトまでの距離やベクトルを示す情報である。当該レイヤー情報は、レイヤー別の仮想現実提示用映像符号化データと共に送信部５０１２より仮想現実提示装置５００に送信される。
音声生成処理部１０７０は、仮想現実サービス提供制御部５０２０からの仮想現実提示用音声生成指示に基づいて、仮想現実コンテンツ記憶部１０５０より提供する仮想現実サービスに係る仮想現実提示用音声データを読み出し、チャンネル別の仮想現実提示用音声データを生成する。例えば、音声生成処理部１０７０は、視点制御部３０４０で設定される視点位置と、仮想現実オブジェクト配置処理部３０３０が配置する仮想現実オブジェクトの位置との相対関係に基づいて、仮想現実コンテンツ記憶部１０５０より読み出した仮想現実提示用の音声データを複数のチャンネルに分配することでチャンネル別仮想現実提示用音声データを生成する。
ここで、音声再生処理部１０７０は、仮想現実コンテンツ記憶部１０５０より複数の仮想現実提示用音声データを読み出し、それぞれ各チャンネルの音声データに分配した上で合成することでチャンネル別仮想現実提示用音声データを生成する。ここで、チャンネルとしては、５．１Ｃｈ、６．１Ｃｈ、７．１Ｃｈなど複数チャンネルの音声出力部５３０を仮想現実提示装置５００側に設け、立体音響を実現できるようにしておくことが好ましい。
また、音声生成処理部１０７０は、当該生成したチャンネル別仮想現実提示用音声データを所定の符号化形式で符号化することでチャンネル別仮想現実提示用音声符号化データを生成する。当該チャンネル別仮想現実提示用音声符号化データは、送信部５０１２より仮想現実提示装置５００に送信される。
仮想現実提示装置５００は、ユーザ状態検知部１０１０と、映像表示部１０４０と、音声出力部１０８０と、周囲状況検知部４０１０と、通信部５１０と、仮想現実提示制御部５２０と、を備える。
ユーザ状態検知部１０１０は、ユーザの頭部の傾きを検知する傾きセンサ１０１１、ユーザの頭部の加速度を検知する加速度センサ１０１２、ユーザの方位を検知する方位センサ１０１３、ユーザの位置を検知する位置センサ１０１４、ユーザの表情を撮影する内部カメラ１０１５などで構成される。これらのセンサ等における検知結果は、検知時刻を示すタイムスタンプであるユーザ状態検知時刻情報と共にユーザ状態情報として纏められ、通信部５１０より仮想現実サービス提供システム５０００に送信される。また、ユーザ状態情報の一部の情報は、映像表示部１０４０における映像補正処理に用いられる。
周囲状況検知部４０１０は、ユーザの視線に対応するユーザ前方を撮影する視線カメラ４０１１と、ユーザの両側や後方などユーザ周辺を撮影する周辺カメラ４０１２を含み、ユーザの周囲の状況を検知する。視線カメラ４０１１はユーザの左目と右目の位置にそれぞれ配置される。これらのカメラで撮影されて取得される周囲景色画像は、撮影時刻を示すタイムスタンプである周囲状況検知時刻情報と共に周囲状況情報として纏められ、通信部５１０より仮想現実サービス提供システム５０００に送信される。
通信部５１０は、仮想現実サービス提供システム５０００とインターネット等の通信網を介して通信を行う。通信部５１０は、ユーザ状態検知部１０１０と周囲状況検知部４０１０でそれぞれ検知されたユーザ状態情報及び周囲状況情報を無線送信する無線送信部５１１と、仮想現実サービス提供システム５０００より送信される仮想現実提示用映像符号化データやレイヤー情報、仮想現実提示用音声符号化データ、各種通知情報などを無線受信する無線受信部５１２を備える。
映像表示部１４０は、映像関連データ記憶部１４１と、映像復号化処理部１４２と、映像補正処理部１４３と、映像合成処理部１４４と、表示領域選択部１４５と、表示パネル１４６とを備える。
映像関連データ記憶部１４１は、無線受信部５１２で無線受信された仮想現実提示用映像符号化データとレイヤー情報とを映像関連データとして一時的に記憶する。
映像復号化処理部１４２は、映像関連データ記憶部１４１に格納されているレイヤー毎の仮想現実提示用映像符号化データに復号化処理を行い、仮想現実提示用映像データを取得する。
映像補正処理部１４３は、復号化されたレイヤー毎の仮想現実提示用映像データの位置補正をユーザ状態情報とレイヤー情報に含まれる位置関係情報に基づいて行う。映像生成処理部１０３０で生成される各仮想現実提示用映像データは、視点制御部３０４０がユーザ状態に基づいて制御する視点位置及び視線方向に基づいて生成される。ここで、ユーザの視点位置や視線方向は、仮想現実提示装置５００と仮想現実サービス提供サーバ５０００との間の通信ラグや描画処理や符号化処理、復号化処理等に要する時間の間に変化している可能性がある。そのため、映像補正処理部１４３は、生成された仮想現実提示用映像に所定の補正を行うことで、現在のユーザ状態に適合した映像となるように補正する。
例えば、図５９に示すようにレイヤー１とレイヤー２の２枚の仮想現実提示用映像があり、各レイヤーの位置関係情報で示される各レイヤーに含まれる仮想現実オブジェクトまでの相対位置ベクトル（ｘ、ｙ、ｚ）は、それぞれ（＋０．３、＋２．２、−０．４）と（＋２．１、＋２１．４、＋０．６）であるとする。ここで、ユーザが−Ｘ方向に移動している場合、当該映像生成時と現在とでは視点位置及び視線方向が相違している。そこで、映像補正処理部１４３は、仮想現実提示用映像に付与されているユーザ状態検知時刻情報と現在の時刻との間で変化したユーザ状態に基づいて、映像に含まれる仮想現実オブジェクトの位置や大きさなどを補正する。視点位置及び視線方向の変化に伴って、仮想現実オブジェクトの映像をどの様に補正するかは、視点位置及び視線方向と仮想現実オブジェクトとの間の相対位置関係によって定まるため、映像補正処理部１４３は、レイヤー毎に仮想現実提示用映像に対して補正量を算出した上で補正処理を行う。
映像合成処理部１４４は、補正処理後の各レイヤーの仮想現実提示用映像を、レイヤー情報に含まれるレイヤー順序情報に従って重ね合わせることで合成する処理を行う。後方のレイヤーに含まれる仮想現実オブジェクトの映像は、前方のレイヤーに含まれる仮想現実オブジェクトによって重なり部分が隠される。
表示領域選択部１４５は、合成処理後の仮想現実提示用映像の中から表示パネル１４６で表示する領域を選択する。各仮想現実提示用映像は、上記補正処理に対応できるように表示パネル１４６の解像度よりも大きい解像度の映像であるため、補正処理及び合成処理後の仮想現実提示用映像の中から表示パネル１４６で表示する範囲を選択する。
表示パネル１４６は、表示領域選択部１４５で選択された範囲の仮想現実提示用映像を表示する。表示パネル１４６は、ユーザの左目と右目の前方に配置される２枚のパネルであり、映像生成処理部１０３０ではこれら２つのパネル用にそれぞれ仮想現実提示用の映像が生成される。すなわち、視点制御部３０４０は、ユーザの左目と右目に対応する２つの視点位置座標及び視線方向を設定し、映像生成処理部１０３０は、これら２つの視点からそれぞれ描画して右目用の仮想現実提示用映像と左目用の仮想現実提示用映像を生成する。
音声出力部１０８０は、無線受信部５１２で受信された仮想現実提示用音声符号化データに対して復号化処理を行い、各チャンネルの仮想現実提示用音声データをスピーカより放音することで音声を出力する。
仮想現実提示制御部５２０は、仮想現実提示装置５００側の仮想現実提示用の各処理を制御する。仮想現実提示制御部５２０は、無線受信部５１２で受信された各種通知情報やパラメータ変更情報などに基づいて、ユーザ状態や周囲状況の検知周期や映像表示のフレームレート、送受信におけるデータの符号化・復号化形式等を設定する。例えば、仮想現実提示制御部５２０は、仮想現実サービス提供開始情報に含まれる仮想現実制御パラメータ情報の検知ユーザ状態指定情報に基づいてユーザ状態検知部１０１０で検知させるユーザ状態の種類を設定したり、ユーザ状態検知頻度に基づいて、ユーザ状態検知部１０１０で検知させるユーザ状態の検知頻度を設定したりする。
また、仮想現実提示制御部５２０は、仮想現実提示装置５００のバッテリー残量や温度、リソース消費量や無線通信速度などの状態を監視し、これらの情報をレポートに纏めて仮想現実サービス提供サーバ５０００に送信する。当該レポートは仮想現実サービス提供制御部５０２０に送られて、各種制御に利用される。
図６０は、仮想現実提示装置５００の斜め前方と斜め後方からの外観斜視図である。仮想現実提示装置５００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Head mount Display）装置であって、透過型のディスプレイを通して外界の様子を観察できるように構成されている。仮想現実提示装置５００は、フレーム５０１と、フロントパネル５０２と、を少なくとも備える。
フレーム５０１は、仮想現実提示装置５００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム５０１は、大きく分けてライトフレーム５０１ａ、レフトフレーム５０１ｂ、センターフレーム５０１ｃから構成される。
ライトフレーム５０１ａ及び５０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ１８１ａ、１８１ｂが配置され、他端がセンターフレーム５０１ｃと接続されている。
ライトフレーム５０１ａ及び５０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１０１１ａ、１０１１ｂと、加速度を検知する加速度センサ１０１２ａ、１０１２ｂが配置されている。また、ライトフレーム５０１ａ及びレフトフレーム５０１ｂの外側には、周囲の景色を撮影する周辺カメラ４０１２ａ、４０１２ｂがそれぞれ配置されている。
センターフレーム５０１ｃは、両端がそれぞれライトフレーム５０１ａ、レフトフレーム５０１ｂに接続されており、センターフレーム５０１ｃの下方にフロントパネル５０２が接続されている。
センターフレーム５０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１０１１ｃ、１０１１ｄ、１０１１ｅと、加速度を検知する加速度センサ１０１２ｃ、１０１２ｄ、１０１２ｅがそれぞれ配置されている。
センターフレーム５０１ｃのユーザ側であって、ユーザの左右の目の位置には、ユーザの顔の一部又は全部の表情を撮影する内部カメラ１０１５ａ、１０１５ｂが配置されている。内部カメラ１０１５ａ、１０１５ｂは、少なくともユーザの目の位置を含む領域を撮影してユーザ表情映像をユーザ状態情報として生成する。
センターフレーム５０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ４０１１ａ、４０１１ｂが配置されている。視線カメラ４０１１ａ、４０１１ｂは、センターフレーム５０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
フロントパネル５０２は、仮想現実提示装置５００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。仮想現実提示装置５００において、フロントパネル５０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル１４６ａとレフト表示パネル１４６ｂとが配置される。
図６１は、仮想現実提示装置５００のライト表示パネル１４６ａ付近の断面図を示している。センターフレーム５０１ｃの下方には、フロントパネル５０２が配置されており、センターフレーム５０１ｃの下部には光源１４６−１が配置されている。
光源１４６−１より放射された可視光はフロントパネル５０２側へ照射される。フロントパネル５０２は、導光板１４６−２とＬＣＤ１４６−３とが合わさった構成であり、光源１４６−１より放射された可視光が導光板１４６−２でユーザ側へ反射され、表示制御されたＬＣＤ１４６−３を透過することで仮想現実提示用の映像が表示される。
なお、仮想現実提示装置５００は図６２に示す構成としても良い。図６２に示す仮想現実提示装置５００は、光源１４６−１と導光板１４６−２との間にＬＣＤ１４６−３が配置されている。従って、外部からの光は、ＬＣＤ１４６−３を透過することなくユーザの目に照射されるため、外部の景色の明るさが暗くなることを防ぐことができる。
また、図６３に示すように外界からの光である外部光の照射量を制御するＬＣＤ１４６−４が配置されていても良い。ＬＣＤ１４６−３で仮想現実オブジェクトの映像を表示しても、外界からの光が混ざってしまい、仮想現実オブジェクトの像が透けてしまうため、ＬＣＤ１４５において仮想現実オブジェクトの位置における外部光を遮断することで、仮想現実オブジェクトが透けて見えると言ったことを防ぐことができる。
なお、導光板１４６−２の位置は、図６４に示すように、ユーザの目に入射される外部光が通過しない位置に配置されていると更に良好である。図６４の構成では、外部光のコントラストを更に向上させることが可能である。
また、図６５に示すように、外部光を制御するＬＣＤ１４６−４が配置されていても良い。外部光は、ＬＣＤ１４６−４を透過してユーザの目に到達する一方、光源１４６−１から出た光は、ＬＣＤ１４６−３を透過し、導光板１４６−２で反射されてユーザの目に到達する。
なお、ＬＣＤ１４６−４は、電圧制御によって外部から透過してくる光量を制御できるものであればどのようなものを用いても良い。例えば、電圧を印加することで結晶方向を変化させて乱反射を増加させるディスプレイを用いることも可能である。
また、図６６に示すようにプロジェクション機構を表示パネル１４６として使用することも可能である。フロントパネル５０２の上部に位置するセンターフレーム５０１ｃの内部にプロジェクション機構が表示パネル１４６として配置されている。
センターフレーム５０１ｃの内部上方に配置されている光源１４６−１より照射された白色光は、レンズ群１４６−７ａによって集光された後、ポラライジングコンバータ（ＰＬＣ）１４６−７ｂによって偏光成分が一方向に整えられたのち、第１反射ミラー１４６−７ｃによって垂直方向に反射される。第１反射ミラー１４６−７ｃで反射された白色光は、Ｒ反射ダイクロイックミラー１４６−７ｄによって赤色の光成分（Ｒ成分）だけが水平方向へ反射され、他の成分の光は、Ｒ反射ダイクロイックミラー１４６−７ｄを透過する。
Ｒ反射ダイクロイックミラー１４６−７ｄを透過した光は、Ｇ反射ダイクロイックミラー１４６−７ｅで緑色の光成分（Ｇ成分）だけが水平方向に反射され、残りの青色の光成分（Ｂ成分）はＧ反射ダイクロイックミラー１４６−７ｅを透過する。
Ｇ反射ダイクロイックミラー１４６−７ｅを透過したＢ成分の光は、第２反射ミラー１４６−７ｆで水平方向に反射され、更に第３反射ミラー１４６−７ｇで垂直上方へ反射され、第１液晶パネル１４６−７ｈを透過した後にクロスダイクロプリズム１４６−７ｊに入射される。
一方、Ｒ反射ダイクロイックミラー１４６−７ｄで反射されたＲ成分の光は、第４反射ミラー１４６−７ｋによって垂直方向に反射され、第２液晶パネル１４６−７ｍを透過した後にクロスダイクロプリズム１４６−７ｊに入射される。また、Ｇ反射ダイクロイックミラー１４６−７ｅで反射されたＧ成分の光は、第３液晶パネル１４６−７ｎを透過した後にクロスダイクロプリズム１４６−７ｊに入射される。
クロスダイクロプリズム１４６−７ｊは、分離されてそれぞれ液晶パネルを通過したＲ成分、Ｇ成分、Ｂ成分の３つの光を合成して水平方向に反射する。クロスダイクロプリズム１４６−７ｊより出力された合成光は、ガルバノミラー１４６−７ｐによって垂直方向に反射され、照射窓１４６−７ｑよりフロントパネル４０２へ照射される。ガルバノミラー１４６−７ｐは、クロスダイクロプリズム１４６−７ｊより出力された合成光を水平方向（ｙ方向）に走査しながら反射する。
フロントパネル５０２のうち、照射窓１４６−７ｑの下方には導光板１４６−２が配置されており、当該導光板１４６−２によってユーザ方向に反射された光がフロントパネル５０２で屈折して平行光となってユーザの目の中へ入射される。ガルバノミラー１４６−７ｐによって水平方向に光が操作されているため、導光板１４６−２で反射される光は垂直方向（ｚ方向）に走査される。
なお、図６６における各部材は、ｘ方向すなわち紙面垂直方向に長細い構成をとっており、右目用の映像におけるｘ方向の一列を纏めて表示する。当該一列の映像がガルバノミラー１４６−７ｐによってｙ方向に走査されて順次表示されることで、ｘｚ平面の２次元画像がフロントパネル４０２に映し出されることになる。同様に、左目の上部にも同一のプロジェクション機構が配置されており、フロントパネル５０２の左目前方に左目用の映像が映し出される。このように、右目用プロジェクション機構と左目用プロジェクション機構によって表示部が形成される。なお、左目用プロジェクション機構と右目用プロジェクション機構は共通化されていても良い。
また、図６７のように、仮想現実提示装置５００は、非透過型ＨＭＤ装置であっても良い。この場合、視線カメラ４０１１で撮影された映像に仮想現実提示用の映像を合成した映像を表示パネル１４６に表示する。
この場合、仮想現実オブジェクトの表示位置では、視線カメラで撮影された映像を下位レイヤー、仮想現実オブジェクトの映像を上位レイヤーとして２つの映像を合成して映像が表示パネルで表示される。
例えば、仮想現実オブジェクトが表示される所定の座標（ｘ、ｙ）において、映像生成処理部１０３０で生成される仮想現実オブジェクトの映像の画素データが（Ｙ１、Ｕ１、Ｖ１）であり、当該座標における視線カメラ４０１１で撮影された映像の画素データが（Ｙ２、Ｕ２、Ｖ２）であったとする。仮想現実オブジェクトの配置位置が視線カメラ４０１１で撮影された映像に写る物体よりもユーザ側にある場合は、表示パネル１４６ａ、１４６ｂにおける当該座標で表される画素データは（Ｙ１，Ｕ１、Ｖ１）となり、一方、視線カメラ４０１１で撮影された映像に写る物体が、仮想現実オブジェクトの配置位置よりもユーザ側になる場合は、表示パネル１４６ａ、１４６ｂにおける当該座標で表される画素データは（Ｙ２，Ｕ２，Ｖ２）となる。
以上のように、本実施形態１４に係る仮想現実提示システムでは、仮想現実の提示に伴って発生する一部の処理を処理能力の高い仮想現実サービス提供サーバに担当させることで、より高度な仮想現実の世界の提示を可能としている。
なお、上述した分担は一例であり、仮想現実サービス提供システム５０００側の一部の機能を仮想現実提示装置５００が備えていても良い。例えば、人間の聴覚は視覚ほど位置分解能が無いため、予め仮想現実提示用の音声データを仮想現実提示装置５００側に記憶させ、仮想現実サービス提供システム５０００からの指示に基づいて当該音声データを読み出し、ユーザ状態に基づいて複数チャンネルに分配する分配処理や音声レベルを調整する増幅処理を行った後にスピーカより放音する。
また、上述したレイヤー順序情報は送信されない構成としても良い。描画処理部１０３１がレイヤー順序に従って順番にレイヤー別仮想現実提示用映像データを生成し、映像符号化処理部１０３２で符号化された上で仮想現実提示装置５００に送信される。映像合成処理部１４４は、当該送信されてきた順序に従ってレイヤー別仮想現実提示用映像を重ね合わせることで、レイヤー情報を必要とせずに合成することが可能となる。
＜実施形態１５＞
人間は、五感、すなわち、味覚、触覚、視覚、聴覚、嗅覚によって自身の周囲で生じる事象を感知し、感知した情報を脳で処理して未来の行動を行う生物である。従って、仮想現実感提示装置を用いて人間が備えるこれらの感覚を欺き、錯覚を起こさせることで、ユーザを現実の世界から仮想現実の世界へ導くことができる。
しかしながら、人為的に創り出される仮想現実の世界と現実の世界との境界が狭まれば狭まるほど、ユーザは、仮想現実の世界から現実の世界に戻った後でも、今まで自分が体感していた世界が仮想現実の世界であるということを認識できないことになる。
例えば、ユーザが気に入っているアイドルＸを仮想空間に配置し、現実の世界に連動した状態で当該仮想空間内のアイドルＸの挙動を制御することでアイドルＸと交流ができる仮想現実の世界を提示する場合について検討してみる。
当該サービスは、現実の世界ではユーザが合うことも話すことも叶わないアイドルＸを仮想現実の世界に配置し、ユーザと触れ合う機会を提供するものである。従って、仮想現実サービス提供システムは、基本的にはユーザが喜ぶことをするように、仮想空間内に配置したアイドルＸの挙動を制御する。例えば、仮想空間内のアイドルＸが、当該ユーザに告白すると言った挙動を取ることでユーザは夢のような時間を過ごすことができる。
当然のことながら、当該アイドルは、仮想空間内に配置されたバーチャルなアイドルＸであって、現実の世界におけるアイドルＸがこのユーザに告白をしているわけではない。しかし、高度に制御された仮想現実の世界に入り込んでいるユーザは、現実のアイドルＸが自分に告白してくれたものとして疑わない。
後日、現実の世界で友人に「俺、あのアイドルＸから告白されて付き合うことになったんだ。」なんてうっかり喋ってしまっては目も当てられない。また、告白してくれたのに一向に会いに来てくれない当該アイドルＸの現実の事務所にこのユーザが押し掛けると言った事態が発生する可能性がある。ユーザが「あの時付き合ってくれるって言ったじゃないか！」と問うたところで、ユーザに告白したのは仮想現実の世界の中に創られたアイドルＸであり、現実のアイドルＸではない。「何を仰っているのか私にはわからないのですが・・。」となることは明白である。
仮想現実感提示装置は、現実の世界では物理的制約や社会的制約で実現できない事象を仮想現実の世界に創り出してユーザを引き込むことにその最大の意義がある。従って、現実の世界よりも素晴らしい世界として創り出された仮想現実の世界に入り込んでいるユーザの感情は高揚しており、現実の世界に戻った後であっても自分が感知していた世界が仮想現実であったという事実を受け入れることを拒む場合が想定される。上記ケースでは、自分が憧れていたアイドルＸが告白してくれたと言う最高の体験がバーチャルであったと言う残酷な現実のギャップが大きすぎるために、第三者がそのことを説明してもユーザは心理的に拒絶する場合がある。
このように、ユーザに提示する仮想現実の世界をより素晴らしいものとするためには、現実の世界との境界を無くす方向に技術開発を行う必要があると言う一方で、仮想現実の世界と現実の世界との境界が無くなれば無くなるほど、仮想現実の素晴らしい世界と現実の世界とのギャップを心理的に受け入れることができず、その後の現実の世界の生活に支障をきたす可能性があると言った二律背反の課題が発生していた。
本実施形態は、上記課題を鑑み、過去に体験した仮想現実の世界が、現実の世界ではなかったと言う事実をユーザが心理的に受容できない場合に、当該受容させることを担保する仮想現実提示システム及び仮想現実提示方法としたものである。以下、本実施形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
図７０は、本発明の実施形態１５に係る仮想現実サービスに係わる人物や組織の関係を示した概念図である。仮想現実サービスを提供する仮想現実サービス提供会社と、当該仮想現実サービスを使用（利用）するユーザとの間には、予め仮想現実サービス使用契約が結ばれている。ユーザは、仮想現実サービスを利用する場合に、仮想現実サービス提供会社との間で仮想現実サービス使用契約を結び、サービス使用に伴う対価として定額制又は従量制で料金を支払う。
ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言い、仮想現実サービスとは、このような仮想現実の世界をユーザに体験させるサービスである。人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりことで、仮想現実の世界を創り出すことができる。仮想現実の世界は、仮想現実提示用の映像を表示したり仮想現実提示用の音声を出力したりすることで人工的に創り出される世界であるため、様々な形態の仮想現実サービスが存在する。
図７１は、仮想現実サービス提供会社が管理する契約者情報（ユーザ情報）の一例である。仮想現実サービス提供会社は、仮想現実サービス使用契約を締結しているユーザの個人情報（契約者個人情報）や、当該ユーザが契約しているプランやそのプランに含まれるサービス内容などを纏めた契約者情報をデータベースに記憶して管理している。また、ユーザを一意に識別するユーザＩＤや、ユーザ認証に用いる接続パスワードなども当該契約者情報に含まれている。
仮想現実サービス提供会社は、予め複数のプランを用意しており、プラン毎に料金や仮想現実サービスの内容が異なる。例えば、図７６１において、ユーザＡは、「アイドルＸとお喋りができるサービス」という内容のプランに契約を行っている。
なお、このプランのサービス内容は、現実の世界でアイドルＸとお喋りができると言う内容のサービスではなく、このアイドルＸを仮想現実の世界の中に創り出し、当該仮想現実の世界の中に創り出された当該アイドルＸと仮想現実の世界の中でお喋りができるという内容のサービスである。
当然のことながら、現実の世界のアイドルＸは、時間的・物理的制約等から現実の世界の中でユーザとお喋りを行うことは困難である。しかしながら、当該アイドルＸと会話を楽しむという体験をしたいファンは多数存在する。そこで、仮想現実サービス提供会社は、アイドルＸが現れる仮想現実の世界を創り出し、当該仮想現実の世界内でユーザに現実感を持たせた状態で、仮想現実の世界内でのアイドルＸとユーザがお喋りをできる機会を提供する。
このようなサービスを提供するためには、アイドルＸの仮想現実オブジェクトを作成しておく必要がある。仮想現実オブジェクトについては後述する。アイドルＸは肖像権を有するため、仮想現実サービス提供会社が勝手にアイドルＸの仮想現実オブジェクトを作成して使用することは肖像権違反となる。従って、仮想現実サービス提供会社は、アイドルＸと直接又はアイドルＸが所属する事務所と人物データ使用許可契約を結ぶ。当該契約を結んだうえで、仮想現実サービス提供会社は、自社又は外部の仮想現実コンテンツ制作会社を用いて、当該アイドルＸの仮想現実オブジェクトを構成するデータを作成し、使用可能な状態でデータベースに格納しておく。
ユーザＢは、仮想現実サービス提供会社が提供する「仮想空間の世界における家庭教師サービス」と言うサービス内容のプランに契約している。当該プランに含まれるサービスは、歴史上の人物が現れる仮想現実の世界を創り出し、当該歴史上の人物に当該人物が偉業を残した分野の授業をユーザに行うと言う内容のサービスである。
仮想現実の世界に現れた歴史上の人物が授業を行ってくれることで、現実の世界にいる教師が授業を行う場合と比較して、ユーザはより高揚した状態で授業を受けることができるため、より高い学習効率で学ぶことが可能となる。
また、ユーザＣは、仮想現実サービス提供会社が提供する「花瓶によって装飾された仮想空間の世界を創り出す」といったサービス内容のプランに契約している。当該プランに含まれるサービスは、ユーザが自宅にいている場合に、所定の位置に花瓶を配置した仮想現実の世界を創り出すと言ったサービスである。花の手入れ等を行う時間が取れないユーザが、当該サービスを受けることで、ユーザには、棚の上に花瓶が置かれている風景が見えているため、現実の世界で花を買わなくても彩り溢れた部屋で過ごすという体験が可能となる。
また、ユーザＤは、仮想現実サービス提供会社が提供する「ペットを飼える」といったサービス内容のプランに契約している。当該プランに含まれるサービスは、ユーザが自宅にいている場合に、ペットのいる仮想現実の世界を創り出すと言ったサービスである。住宅の規則や世話の時間等の関係で実際にペットを飼うことができないユーザが、当該サービスを受けることで、ユーザには、部屋の中で動き回るペットが見えているため、現実の世界でペットを飼うことができなくても、ペットのいる空間を体験することが可能となる。また、当該ペットは現実のペットではなく、仮想現実の世界に創り出されたペットである。従って、ライオンや恐竜、その他ユニコーンなど架空上の動物をペットとして飼うと言った体験が可能となる。
図７２は、本実施形態１５に係る仮想現実提示システム１０００の構成を示すブロック図である。仮想現実提示システム１０００は、仮想現実提示装置１００と、仮想現実サービス提供サーバ２００と、契約者情報データベース３００と、仮想現実コンテンツ記憶部４００と、提供済仮想現実関連データ記憶データベース５００と、を備える。本明細書では、仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）装置であるとして説明する。仮想現実サービス提供サーバ２００は、ユーザが装着する仮想現実提示装置１００（１００ａ〜１００ｃ）と、インターネット等の通信網１０を介して接続されている。
仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ装置であって、少なくとも仮想現実オブジェクトの映像を表示する表示パネルと、仮想現実サービス提供サーバ２００と通信を行う通信部と、を備える。仮想現実提示装置１００は、仮想現実サービス提供サーバ２００から送信された仮想現実提示用の映像データに基づいて、仮想現実オブジェクトを含む映像を表示パネルに表示することで、ユーザに仮想現実の世界を提示する。
図７３は、仮想現実提示装置１００を装着しているユーザがいる現実の世界と、仮想現実提示装置１００の表示パネルに表示されている仮想現実提示用映像と、ユーザに提示される仮想現実の世界、すなわちユーザが感知している仮想現実の世界とを示している。
ユーザは、現実には犬のいない部屋に立って前方のソファーを見ている。ここで、仮想現実提示装置１００の表示パネルには仮想現実オブジェクトである犬の映像が表示されている。ユーザの目には、現実の世界であるソファーの風景と表示パネルに表示されている犬の映像が融合した犬がソファーに座っているという仮想現実の世界が見えている。
この犬は、仮想現実提示装置１００を装着しているユーザにしか見えていない。従って、他人は、犬のいない現実の世界の中で生きているのに対し、このユーザは、犬のいる創り出された仮想現実の世界の中で生きていることになる。
なお、仮想現実提示装置１００は、音声再生機能を備えており、当該仮想現実オブジェクトである犬の鳴き声を再生することで、視覚と聴覚とを刺激してユーザに仮想現実の世界を提示する構成とすることが、仮想現実の世界における現実感を高めることができるため好ましい。この場合、当該仮想現実オブジェクトを含む仮想現実提示用映像データに加えて、仮想現実の世界を形作るための音声データである仮想現実提示用音声データが仮想現実サービス提供サーバ２００より送信されてくる。
仮想現実サービス提供サーバ２００は、仮想現実提示装置１００の表示パネルに仮想現実オブジェクトの映像を表示させることで、仮想現実サービスを提供する。なお、仮想現実サービス提供サーバ２００は、当該仮想現実オブジェクトを描画して仮想現実提示用映像データを作成し、当該仮想現実提示用映像データを仮想現実提示装置１００に送信する構成としても良いし、当該仮想現実オブジェクトのモデルデータを仮想現実提示装置１００に送信し、仮想現実提示装置１００側で当該モデルデータを描画した上で表示パネルに当該仮想現実オブジェクトの映像を表示させる構成としても良い。
仮想現実コンテンツ記憶データベース４００は、仮想現実コンテンツを記憶するデータベースである。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、少なくとも仮想現実オブジェクト（データ）と、仮想現実オブジェクト制御プログラムとを含む。図７４は、仮想現実コンテンツの構造を示している。
仮想現実オブジェクトとは、仮想現実の世界に配置される仮想的な人物や建築物などを指す。仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類される。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤ（仮想現実オブジェクト識別番号）が割り当てられている。
人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。
動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。
非動物オブジェクトは、植物や、家具、建物などのオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。
その他のオブジェクトは、例えば映像エフェクトや音響効果などであり仮想現実の世界にリアリティーを持たせるためのオブジェクトである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。
各種の仮想現実オブジェクトは、モデルデータや基礎音声データなどから構成される。モデルデータは、仮想現実オブジェクトの外観形状を規定するポリゴンデータや、ポリゴン表面に張り付けられるテキスチャーデータなどから構成される。
図７５は、仮想現実オブジェクトを管理する管理ファイルの一例である。各仮想現実オブジェクトには一意に識別する識別番号が割り当てられており、複数の種別によって分類されている。例えば、種別１は、仮想現実オブジェクトの大まかな区分けを示しており、種別２は、現実のもの（人物）か空想上のもの（人物）であるかを示しており、種別３はオブジェクトに含まれる人物等の性別を示している。例えば、管理番号Ｎｏ００００１２の格納アドレスｘｘ０１０１１０１０１・・・には、寝ている雌のライオンの映像データが記憶されている。
図７６は、仮想現実オブジェクトの一種であるオブジェクトＩＤナンバー：Ｎｏ０００００９の動物オブジェクトのモデルデータの一例を示している。モデル映像データは、当該仮想現実オブジェクトの外観形状を規定する３Ｄポリゴンデータと、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータと、を含む。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイント同士は、骨格で結合されており、各関節ポイントは、いくつかのポリゴン頂点と連結されている。関節ポイントの位置座標や角度は制御可能であって、当該関節ポイントを変化させることで仮想現実オブジェクトの外観形状が変化する。
仮想現実オブジェクトを構成する音声基礎データは、当該仮想現実オブジェクトが発する音声の基礎となるデータである。例えば、仮想現実オブジェクトが実在の人間を元にして創り出された人物オブジェクトである場合、当該実在の人物の肉声より抽出した声質、ピッチ、音声波形、音素等のデータである。これらの音声基礎データが音声合成処理によって合成されてユーザに提示されることで、当該人物オブジェクトが実際に喋っているようにユーザに感知される。なお、音声基礎データの抽出方法（収録方法）は、様々な切り口で抽出することが可能であり、音声発音データと音声表情データとに分類する形で抽出しても良いし、他の分類方法で抽出しても良い。当該抽出方法は、実施される音声合成処理のアルゴリズムによって決定される。
仮想現実コンテンツに含まれる仮想現実オブジェクト制御プログラムは、上述した仮想現実オブジェクトの制御に関連するプログラムであって、図７７に示すように複数のレベルのプログラムに分類される。
メイン制御プログラムは、仮想現実サービスの全体の流れを制御する。図７６１に示した仮想現実サービスのサービス内容に対応しており、仮想現実サービスの提供を開始する場合に、ユーザの契約内容に対応するメイン制御プログラムを読み出して実行することで仮想現実サービスの提供を開始する。
サブ制御プログラムは、メイン制御プログラムから適宜読み出されて仮想現実の世界に配置される仮想現実オブジェクトの選択や配置位置、配置構成等を制御する。
オブジェクト挙動制御プログラムは、サブ制御プログラムによって読み出されて仮想現実の世界に配置されているオブジェクトの挙動を制御する。例えば、オブジェクトが人物オブジェクトである場合は、腕を上げる、笑ったり泣いたりと表情を変える、ジャンプすると言った各動作に対応するオブジェクト挙動制御プログラムが用意されている。仮想現実の世界の状況に合わせてサブ制御プログラムが適当なオブジェクト挙動制御プログラムを選択し、当該オブジェクト挙動制御プログラムが実行されることで、仮想現実の世界に配置されている仮想現実オブジェクトが、当該選択されたオブジェクト挙動制御プログラムに対応した動作を行う。
一例として、ユーザが「アイドルＸと１時間お喋りコース」と言うプランの契約を行っていたとする。仮想現実サービス提供サーバ２００は、当該ユーザに仮想現実サービスの提供を開始すると判断した場合に、当該ユーザの契約している当該プランに対応するメイン制御プログラムを仮想現実コンテンツ記憶データベース４００より読み出して実行する。このように、メイン制御プログラムは、提供する仮想現実サービスの全体の流れを制御するプログラムである。
当該メイン制御プログラムによって、関連する複数のサブ制御プログラムが読み出され、仮想現実オブジェクト選択に関するサブ制御プログラムが実行されることで仮想現実オブジェクトが選択される。ここでは、アイドルＸの仮想現実オブジェクトが選択され、仮想現実コンテンツ記憶データベース４００の中から読み出される。
サブ制御プログラムは、仮想現実コンテンツ記憶データベース４００の中から読み出された仮想現実オブジェクトであるアイドルＸの仮想空間内での初期配置位置や配置角度を決定し、仮想空間内に当該アイドルＸを配置する。仮想現実サービス提供サーバ２００は、サブ制御プログラムによって仮想空間内に配置された仮想現実オブジェクトであるアイドルＸを描画して二次元の映像データを生成し、所定の符号化処理を行った上で仮想現実提示装置１００に送信する。仮想現実提示装置１００は、当該符号化された映像データを復号して映像を表示パネルに表示することで、アイドルＸの映像が表示パネルに表示される。
サブ制御プログラムは、仮想現実提示装置１００を装着しているユーザの状態等に基づいて、当該仮想現実オブジェクトの挙動を制御するオブジェクト挙動制御プログラムを適宜読み出して実行する。読み出されたオブジェクト挙動制御プログラムが実行されることで、仮想現実オブジェクトが動作し、仮想現実提示装置１００の表示パネルには、当該オブジェクト挙動制御プログラムによって動作制御されている仮想現実オブジェクトの映像が表示される。
また、サブ制御プログラムの中には、仮想現実オブジェクトの人格に関連するプログラムが設けられている。当該人格に関連するサブ制御プログラムを特に人格制御プログラムと称することがある。仮想現実提示装置１００からのフィードバック等に基づいて異なる人格制御プログラムが読み出され、当該人格制御プログラムに応じて仮想現実オブジェクト挙動制御プログラムが選択され、当該選択された仮想現実オブジェクト挙動制御プログラムが実行されることで仮想現実オブジェクトが動作する。
例えば、上述のアイドルＸの仮想現実オブジェクトの人格制御プログラムとして、「通常状態１〜１０」、「怒り状態１〜５」、「喜び状態１〜５」、「哀しみ状態１〜５」、「楽しみ状態１〜５」、「ツンデレ状態１〜３」の３３種類の人格制御プログラムが仮想現実コンテンツとして仮想現実コンテンツ記憶データベース４００に記憶されているとする。
現在の仮想現実オブジェクトであるアイドルＸの人格を制御する人格制御プログラムとして、「通常状態１」の人格制御プログラムが選択されているとする。この状態で、ユーザが仮想現実提示装置１００を介して「Ｘ、おはよう！」と声をかけたとき、人格制御プログラムは対応する仮想現実オブジェクト挙動プログラムを読み出して実行することで、仮想現実の世界の中のアイドルＸはにっこり笑って「おはよう。」と音声を発する挙動を示す。
一方、ツンデレ状態２の人格制御プログラムが選択されている場合、ユーザが仮想現実提示装置１００を介して「Ｘ、おはよう！」と声をかけたときは、当該ツンデレ状態２の人格制御プログラムによって、異なる仮想現実オブジェクト挙動制御プログラムが読み出され、少し焦った表情で「あ、挨拶なんてしないんだからね、バカ！」という音声を発する挙動を示す。
このように、人格制御プログラムによって、入力に対するレスポンスが決定され、仮想現実オブジェクト挙動制御プログラムによって、仮想現実オブジェクトの挙動が制御される。仮想現実提示装置１００を装着したユーザには、これらの制御が行われた仮想現実オブジェクトの映像や音声が提示される。
提示済仮想現実関連データ記憶データベース５００は、仮想現実提示装置１００がユーザに提示した仮想現実の世界を再現可能な状態で、当該仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する。より具体的には、提示済仮想現実関連データ記憶データベース５００は、仮想現実提示装置１００の表示パネルに表示された仮想現実オブジェクトの映像を再現可能な状態で、当該映像に関連するデータを記憶する。提示済仮想現実関連データ記憶データベース５００は、当該映像に関連するデータとして、表示パネルに表示された映像をＭＰＥＧ２やＨ．２６４と言った動画像符号方式で符号化したデータを記憶しても良い。また、提示済仮想現実関連データ記憶データベース５００は、仮想現実オブジェクト制御プログラムの実行履歴を当該映像に関連するデータとして記憶しても良い。当該実行履歴に従って、再度仮想現実オブジェクト制御プログラムを再度実行することで、仮想現実提示装置１００の表示パネルに表示された仮想現実提示用映像を再現することができるためである。
以上説明したように、本実施形態１５に係る仮想現実提示システム１０００は、仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置１００と、当該仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して仮想現実提示装置１００へ送信する仮想現実サービス提供サーバ２００と、仮想現実提示装置１００がユーザに提示した仮想現実の世界を再現可能な状態で、当該仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済仮想現実関連データ記憶データベース５００とを少なくとも具備する。
当該構成とすることで、仮想現実の世界を体験した後に現実の世界に戻ってきたユーザが、現実の世界と仮想現実の世界との境界を認識することができず、自分が体験した世界は、現実の世界ではなく仮想現実の世界であったと認めることができない場合に、改めてユーザが体験した仮想現実の世界を再現することでユーザを適切に現実の世界に戻すことができる。
より具体的には、本実施形態１５において、仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ装置の形態を取る。当該ヘッドマウントディスプレイ装置は、少なくとも映像を表示する表示パネルが配置され、ユーザの視覚を欺くことでユーザを仮想現実の世界に引き込むことを可能とする。本実施形態１５に係る仮想現実サービス提供システムは、当該ヘッドマウントディスプレイ装置１００の表示パネルに仮想現実オブジェクトの映像を表示させる仮想現実サービス提供サーバ２００と、ヘッドマウントディスプレイ装置１００の表示パネルに表示された仮想現実オブジェクトの映像を再現可能な状態で、当該映像に関連するデータを記憶する提供済仮想現実関連データ記憶データベース５００と、を備える。
当該構成によれば、仮想現実を体験した後に、仮想現実と現実との境界に錯誤を生じた場合であっても、データベースに記憶している関連データに基づいてユーザが当時見ていた仮想現実オブジェクトの映像をユーザに明示的に再度提示することで、現実と信じていた世界が仮想現実の世界であったと言う事実を受け入れさせることができる。
なお、仮想現実提示システム１０００は、図７８に示すように履歴情報記憶サーバ６００と、仮想現実再現処理サーバ７００とを備える構成とすると更に好ましい。
履歴情報記憶サーバ６００は、ユーザが使用した仮想現実サービス、すなわち、ユーザに提供された仮想現実サービスの履歴を仮想現実サービス履歴情報として記憶する。ここで、履歴情報記憶サーバ６００に記憶される仮想現実サービス履歴情報は、所謂ログである。
仮想現実コンテンツ記憶データベース４００には、複数種類の仮想現実サービスに係る仮想現実コンテンツが記憶されており、仮想現実サービス提供サーバ２００は、仮想現実コンテンツ記憶データベース４００より提供する仮想現実サービスに係る各種データを読み出して所定の加工処理を行い、仮想現実提示用の映像データや音声データを順次生成する。履歴情報記憶サーバ６００は、ユーザを識別する識別情報（ユーザＩＤ）と当該ユーザに仮想現実サービス提供サーバ２００が提供した仮想現実サービスを識別する仮想現実サービス識別情報との対応関係を時系列に纏めた提供済み仮想現実サービス履歴情報を記憶する。
図７９は、履歴情報記憶サーバ６００が記憶する仮想現実サービス履歴情報の一例を示している。仮想現実サービス履歴情報には、仮想現実サービスの提供を受けたユーザを識別するユーザ識別情報と、当該ユーザに提供した仮想現実サービスを識別する仮想現実サービス識別情報と、当該仮想現実サービスを提供した日時を示す日時情報と、が関連付けられた状態で時系列に纏められている。
仮想現実サービス提供サーバ２００には、仮想現実絵サービスを提供するユーザを識別するユーザ識別情報と、当該ユーザに提供した仮想現実サービスを識別する仮想現実サービス識別情報とを少なくとも対応付けて時系列に記録した仮想現実サービス履歴情報の生成処理及び更新処理を行う仮想現実サービス履歴情報更新処理部を備える。
当該履歴情報記憶サーバ６００に記憶される仮想現実サービス履歴情報だけでは、ユーザに提示された仮想現実の世界を再現することはできない。仮想現実サービスに係る仮想現実オブジェクトは複数存在するため、どの種類の仮想現実オブジェクトをどのように用いて仮想現実の世界を構築したかを特定できないためである。
仮想現実再現処理サーバ７００は、通常のパーソナルコンピュータ２０や仮想現実提示装置１００よりインターネット等の通信網１０を介して履歴開示要求を受信する。当該履歴開示要求は、ユーザがこれまでに使用した仮想現実サービスのログ（使用履歴）の開示を要求するパケットであり、少なくともユーザＩＤと、認証用のパスワードが含まれる。
当該履歴開示要求を受信した場合、仮想現実再現処理サーバ７００は、契約者情報記憶データベース３００に記憶されているユーザＩＤとパスワードの組が当該履歴開示要求に含まれるユーザＩＤとパスワードの組と一致しているかの認証処理を行う。
認証が取れた場合、仮想現実再現処理サーバ７００は、履歴情報記憶サーバ６００より上記仮想現実サービス履歴情報を読み出して履歴開示要求の送信元端末へ返信する。当該返信後に、再現を要求する仮想現実の世界に係る提供済み仮想現実サービスを指定する情報を含む提示済み仮想現実再現要求を受信した場合、仮想現再現処理サーバ７００は、当該要求で指定されている提供済み仮想現実サービスに係る仮想現実関連データを提示済仮想現実関連データ記憶データベース５００より読み出し、仮想現実提示装置１００の表示パネルに表示していた仮想現実提示用映像を再現して要求元端末に送信する。
ユーザは、コンピュータ２０等の端末を介して、当時自身が目にしていた映像をそのまま確認することができるため、自身が体験した世界は仮想現実の世界であったと言うことを認識せざるを得ないことになる。従って、第３者がユーザを単に説得する場合と比較して、より確実に仮想現実であったことを認識させることが可能となる。
なお、仮想現実サービスの中には、ストーリー性を有し、１つの仮想現実サービスを複数回に渡って体験するタイプの仮想現実サービスがある。従って、再現を要求する仮想現実の世界を指定するためには、提供済み仮想現実サービスを指定するだけでは不十分な場合があり、仮想現実サービスの提供を受けた時間帯を指定するなどより詳細に指定する必要がある。
そこで履歴情報記憶サーバ６００は、ユーザに提示された仮想現実の世界を時系列に纏めた仮想現実履歴情報を記憶する構成とすると更に良好である。この場合、仮想現実サービス提供サーバ２００は、ユーザに提示する仮想現実の世界を識別する仮想現実識別番号（仮想現実識別情報）を割り当てる仮想現実識別番号割当部（仮想現実識別情報割当部）を具備する。
仮想現実サービス提供サーバ２００は、ユーザに仮想現実サービスを提供する場合に、当該仮想現実サービスに係る仮想現実の世界に対して当該仮想現実の世界を一意に識別する仮想現実識別番号を割り当てる。すなわち、仮想現実サービス提供サーバ２００が提供可能な各仮想現実サービスは、当該仮想現実サービスに一意に割り当てられている仮想現実サービス識別情報で識別され、当該仮想現実サービスの提供に際し、ユーザに提示される仮想現実の世界毎に当該仮想現実の世界を識別する仮想現実識別番号が仮想現実識別番号割当部によって割り当てられる。
各仮想現実サービスは、当該仮想現実サービスを利用したい各ユーザに対して提供可能であり、また、同一の仮想現実サービスを複数回に渡って利用可能である。一方、同一の仮想現実サービスであったとしても、当該仮想現実サービスに係る仮想現実の世界がどのような仮想現実の世界となるかはすべて異なる。例えば、「アイドルＸとお喋りをしよう」という仮想現実サービスを使用する場合、ユーザの目の前には仮想現実オブジェクトであるアイドルＸの姿が映し出されるが、ユーザが当該アイドルＸにかける音声のコンテキストのよってアイドルＸからの反応が変化するため、アイドルＸに告白しと付き合うことになった仮想現実の世界となる場合もあれば、アイドルＸとケンカ別れをした仮想現実の世界となる場合もあるためである。
そこで、ユーザからの仮想現実サービス利用要求などに基づいて、当該ユーザに仮想現実サービスの提供を開始すると判断した場合に、仮想現実識別番号割当部は、当該提供する仮想現実サービスによって創り出される仮想現実の世界に対して、当該仮想現実の世界を一意に識別する仮想現実識別番号を予め割り当てる。
仮想現実関連データ記憶データベース５００は、当該仮想現実の世界の構築に使用される各種データが仮想現実関連データとして記憶するが、上記仮想現実識別番号と対応付けた状態で当該仮想現実関連データを記憶しておく。当該構成とすることで、後日仮想現実識別番号を指定することで、当該仮想現実識別番号に対応付けられた仮想現実関連データが読み出されて、仮想現実の世界を再現することができる。
履歴情報記憶サーバ６００は、ユーザを識別する識別情報と、ユーザに提示された仮想現実の世界に割り当てられた仮想現実識別情報との対応関係を時系列に纏めた仮想現実履歴情報を記憶する。図８０は、仮想現実履歴情報の一例を示している。仮想現実履歴情報には、ユーザに提示される仮想現実の世界を識別する仮想現実識別番号と、当該仮想現実識別番号で識別される仮想現実の世界の提示を受けるユーザを識別するユーザＩＤと、当該仮想現実の世界に係る仮想現実サービスを識別する仮想現実サービス識別番号と、当該仮想現実の世界が当該仮想現実サービスのどの章（チャプター）に係る仮想現実の世界であるかを示すチャプター情報と、当該仮想現実の世界の提示を受けるユーザの位置及び時刻（時間帯）をそれぞれ示す位置情報や時刻情報などが纏められている。
なお、この場合も当該履歴情報記憶サーバ６００に記憶される仮想現実履歴情報だけでは、ユーザに提示された仮想現実の世界を再現することはできない。ユーザに対して仮想現実の世界を再現するためには、当該仮想現実履歴情報に含まれる仮想現実識別番号を指定して、仮想現実関連データ記憶データベース５００より当該仮想現実識別番号に対応付けられた仮想現実関連データを読み出して仮想現実提示用映像や仮想現実提示用音声を再生成する必要がある。
＜実施形態１６＞
図８１は、本実施形態１６に係る仮想現実提示装置１００の斜め前方と斜め後方からの外観斜視図である。ヘッドマウントディスプレイ装置である仮想現実提示装置１００は、フレーム１０１と、フロントパネル１０２と、を少なくとも備える。
フレーム１０１は、仮想現実提示装置１００の筐体であり、内部には、情報処理プロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム１０１は、大きく分けてライトフレーム１０１ａ、レフトフレーム１０１ｂ、センターフレーム１０１ｃから構成される。
ライトフレーム１０１ａ及び１０１ｂは、左右の耳にそれぞれ接続する部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ１７１ａ、１７１ｂが配置され、他端がセンターフレーム１０１ｃと接続されている。
また、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの一端の外側に周囲の音声を集音する周辺マイクロフォン１３２ａ、１３２ｂが配置されている。また、ライトフレーム１０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン１３１を備える。ユーザマイクロフォン１３１や周辺マイクロフォン１３２ａ、１３２ｂで集音された音声は、ＡＤ変換でデジタル信号に変換され、情報処理プロセッサに出力される。
ライトフレーム１０１ａ及び１０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１１ａ、１１１ｂと、加速度を検知する加速度センサ１１２ａ、１１２ｂが配置されている。また、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの外側には、周囲の景色を撮影する周辺カメラ１２２ａ、１２２ｂがそれぞれ配置されている。
センターフレーム１０１ｃは、両端がそれぞれライトフレーム１０１ａ、レフトフレーム１０１ｂに接続されており、センターフレーム１０１ｃの下方にフロントパネル１０２が接続されている。
センターフレーム１０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１ｃ、１１１ｄ、１１１ｅと、加速度を検知する加速度センサ１１２ｃ、１１２ｄ、１１２ｅがそれぞれ配置されている。また、センターフレーム１０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ１２１ａ、１２２ｂが配置されている。視線カメラ１２１ａ、１２１ｂは、センターフレーム１０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
フロントパネル１０２は、仮想現実提示装置１００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。本実施形態１６に係る仮想現実提示装置１００において、フロントパネル１０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル（第１映像表示部）１５１ａとレフト表示パネル（第２映像表示部）１５１ｂとが配置される。
ライト表示パネル１５１ａとレフト表示パネル１５１ｂは、導光板と液晶パネル（ＬＣＤ）が重ね合わされた構造を取る。液晶パネルは、透明電極（透明導電膜）、偏光板（偏光フィルム）、液晶層、ガラス基板、カラーフィルタ等が積層された構造をとる。
図８２は、仮想現実提示装置１００のライト表示パネル１５１ａ付近の断面図を示している。センターフレーム１０１ｃの下方には、フロントパネル１０２が配置されており、センターフレーム１０１ｃの下部には光源１５２が配置されている。
光源１５２より放射された可視光はフロントパネル１０２側へ照射される。フロントパネル１０２は、導光板１５３とＬＣＤ１５４とが合わさった構成であり、光源１５２より放射された可視光が導光板１５３でユーザ側へ反射され、表示制御されたＬＣＤ１５４を透過することで映像が表示される。
図８３は、本実施形態１６に係る仮想現実提示システム２０００の機能構成を示すブロック図である。仮想現実提示システム２０００は、仮想現実提示装置１００と、仮想現実サービス提供サーバ２００と、契約者情報記憶ＤＢ３００と、仮想現実コンテンツ記憶ＤＢ４００と、提示済仮想現実関連データ記憶データベース５００と、を備え、仮想現実提示装置１００と仮想現実サービス提供サーバ２００はインターネット等の通信網を介して相互に接続されている。
仮想現実提示装置１００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、音声入力部１３０と、表示制御部１４０と、表示部１５０と、音声再生制御部１６０と、音声出力部１７０と、仮想現実提示制御部１８０と、通信部１９０と、を備える。
ユーザ状態検知部１１０は、仮想現実提示装置である仮想現実提示装置１００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０として、仮想現実提示装置１００は、傾きを検知する傾きセンサ１１１と、加速度を検知する加速度センサ１１２と、を備える。傾きセンサ１１１で生成された傾き情報や加速度センサ１１２で生成された加速度情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１９０より仮想現実サービス提供サーバ２００へ送信される。
周囲状況検知部１２０は、仮想現実提示装置１００を使用しているユーザの周囲の状況を検知する。具体的には、周囲状況検知部１２０は、外部環境の映像を取得することで周囲の状況を検知する。周囲状況検知部１２０として、仮想現実提示装置１００は、ユーザの視線と対応した景色を撮影する視線カメラ１２１と、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影する周辺カメラ１２２と、を備える。視線カメラ１２１で撮影されたユーザ前方の景色の映像や周辺カメラ１２２で撮影されたユーザの周囲の映像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１９０より仮想現実サービス提供サーバ２００へ送信される。
音声入力部１３０は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行って音声デジタル信号に変換することで音声を入力する。音声入力部１３０として、仮想現実提示装置１００は、ユーザが発した音声を集音するユーザマイクロフォン１３１と、周辺の音声を集音する周辺マイクロフォン１３２とを備える。
ユーザの音声を効率良く集音できるよう、ユーザマイクロフォン１３１は、仮想現実提示装置１００の内側（ユーザ側）に配置され、一方、周辺マイクロフォン１３２は、ユーザの外部環境からの音声を効率良く集音できるよう、仮想現実提示装置１００の外側に配置される。周辺マイクロフォン１３２は、ユーザが仮想現実提示装置１００を装着していない状態で聞こえる音声を集音できるよう、仮想現実提示装置１００における耳の位置付近に配置されていることが好ましい。ユーザマイクロフォン１３１や周辺マイクロフォン１３２は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行って音声デジタル信号に変換することで音声を入力する。当該入力された音声は、必要に応じて音声符号化が行われた後、それぞれユーザ音声情報及び周囲音声情報として通信部１９０より仮想現実サービス提供サーバ２００に送信される。
表示制御部１４０は、通信部１９０で受信される各種データのうち、仮想現実サービス提供サーバ２００で生成された仮想現実提示映像データを入力し、当該入力した仮想現実提示用映像データに基づいて仮想現実オブジェクトの映像を仮想現実提示用映像として表示部１５０に表示する制御を行う。
表示部１５０は、表示制御部１４０からの制御に基づいて仮想現実提示用映像を表示する。表示部１５０に表示される仮想現実提示用映像は、仮想現実感をユーザに感じさせるための仮想現実オブジェクトの静止画像や動画像などの映像である。表示部１５０として、仮想現実提示装置１００には、ライト表示パネル１５１ａとレフト表示パネル１５１ｂが設けられており、それぞれ視差が加えられた仮想現実提示用映像を表示する。
音声再生制御部１６０は、通信部１９０で受信される各種データのうち、仮想現実サービス提供サーバ２００で生成された仮想現実提示用音声データを入力し、当該入力した仮想現実提示用音声データに基づいて仮想現実オブジェクトが発する音声や仮想現実の世界を構築するための背景音楽などを音声出力部１７０より出力する制御を行う。
ここで、バーチャルな現象が引き起こす音声をリアルな現象が引き起こしている音声としてユーザに認識させるためには、音声発生源である仮想現実オブジェクトの位置から音声が伝達されているようにユーザに認識させることが仮想現実の世界にユーザを引き込むうえで好ましい。そこで、音声再生制御部１６０は、５．１Ｃｈや６．１Ｃｈ、７．１Ｃｈと言った立体音響に対応する形で音声データを再生することが好ましい。
音声出力部１７０は、音声再生制御部１６０からの再生制御に従って音声を出力する。音声出力部１７０として、仮想現実提示装置１００は、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの後端付近に配置されるスピーカ１７１ａ、１７１ｂを備えており、音声再生制御部１６０で再生された音声データにＤＡ変換を行い、アナログ電気信号に変換し、更に空気振動に変換して外部へ放音する。
仮想現実提示制御部１８０は、仮想現実提示装置１００でユーザに仮想現実を提示する処理を制御する。仮想現実提示制御部１８０は、通信部１９０で仮想現実サービスの開始を指示する仮想現実サービス提供開始通知情報が受信された場合に、仮想現実を提示するための制御を開始する。
具体的に、仮想現実提示制御部１８０は、当該仮想現実サービス提供開始通知情報に基づいて、ユーザ状態検知部１１０、周囲状況検知部１２０、音声入力部１３０にそれぞれユーザ状態情報、周囲状況情報、音声情報の取得開始を指示すると共に通信部１９０に当該情報を仮想現実サービス提供サーバ２００に定期的に送信するよう指示する。また、仮想現実提示制御部１８０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示し、音声再生制御部１６０に音声出力部１７０より出力する音声の再生制御の開始を指示する。
通信部１９０は、仮想現実提示制御部１８０からの制御に従って、ユーザ状態検知部１１０で検知されたユーザ状態を示すユーザ状態情報、周囲状況検知部１２０で検知されたユーザの周囲の状況を示す周囲状況情報、音声入力部１３０で入力された音声を示す音声情報、をそれぞれ仮想現実サービス提供サーバ２００に送信する。また、通信部１９０は、仮想現実サービス提供サーバ２００より受信した仮想現実提示用映像データと仮想現実提示用音声データをそれぞれ表示制御部１４０と音声再生処理部１６０へ出力する。
次に、仮想現実サービス提供サーバ２００について説明する。仮想現実サービス提供サーバ２００は、通信部２１０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、再生音声生成処理部２７０と、を備える。
通信部２１０は、インターネット等の通信網を介して各ユーザが装着している仮想現実提示装置１００と通信を行う。通信部２１０は、仮想現実提示装置１００より、ユーザの状態を示すユーザ状態情報、ユーザの周囲の状況を示す周囲状況情報、ユーザが発した音声や周囲の音声を示す音声情報を受信する。通信部２１０は、音声情報を音声解析処理部２２０に出力し、周囲状況情報を画像解析処理部２３０に出力し、ユーザ状態情報を表示映像再生処理部２６０及び再生音声生成処理部２７０へそれぞれ出力する。
音声解析処理部２２０は、通信部２１０で受信された音声情報を入力し、当該音声情報に含まれる音声を解析することでユーザが発した音声のコンテキストや感情要素を抽出する処理を行う。音声解析処理部２２０は、抽出した音声のコンテキストや感情要素に関する情報を仮想現実サービス提供制御部２４０と仮想現実オブジェクト挙動制御部２５０にそれぞれ出力する。また、音声解析処理部２２０は、仮想現実提示装置１００の音声入力部１３０で入力された周囲の音声の音声レベルやユーザの音声の音声レベルを特定し、再生音声生成処理部２７０に出力する。
画像解析処理部２３０は、通信部２１０で受信された周囲状況情報を入力し、当該周囲状況情報に含まれる画像（映像）を解析することでユーザの周囲にある物体の位置関係や周囲の明るさなどの情報を抽出する。画像解析処理部２３０は、抽出した物体の位置関係や明るさなどの情報を仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０にそれぞれ出力する。
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を開始する処理や終了する処理を行う。仮想現実サービス提供制御部２４０は、自サーバ２００のリソース等を考慮に入れながら仮想現実サービスに関するスケジューリングを行っており、契約者情報記憶データベース３００に記憶されている契約者情報を参照してユーザに仮想現実サービスの提供を開始するかどうかを決定する。また、当該契約者情報で示されるユーザが契約しているプランに基づいて、現在提供中の仮想現実サービスを終了するかどうかを決定する。
仮想現実サービス提供制御部２４０は、ユーザに仮想現実サービスを提供するかどうかを決定するに当たり、通信部２１０を介して仮想現実提示装置１００に仮想現実サービスの開始を指示する。当該指示に基づいて仮想現実提示装置１００より受信した音声情報や周囲状況情報に基づいて、ユーザが仮想現実サービスを享受できる状況にいるかを判定し、当該判定結果に基づいて仮想現実サービスの提供の開始を決定する。
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供の開始を決定した場合に、仮想現実コンテンツ記憶データベース４００より当該提供する仮想現実サービスに係る仮想現実コンテンツを読み出し、仮想空間に仮想現実オブジェクトを配置する。
仮想空間は、例えばユーザの位置を原点とするＸＹＺの直交座標かＲθＺの極座標で表される仮想上の空間であり、画像解析処理部２３０における解析処理で把握された周囲の物体の位置関係に合わせて仮想現実オブジェクトを位置する。
仮想現実オブジェクト挙動制御部２５０は、音声解析処理部２２０で抽出された音声のコンテキストや感情情報、また、画像解析処理部２３０で抽出された物体の動き等に基づいて仮想現実オブジェクトの挙動を制御する。具体的には、仮想現実オブジェクトの形状を変形させる制御を行ったり、仮想現実オブジェクトから発する音声を制御したりする。
具体的には、仮想現実オブジェクト挙動制御部２５０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する挙動制御プログラムを、音声解析処理部２２０や画像解析処理部２３０における解析結果に基づいて仮想現実コンテンツ記憶データベース４００の中から選択し、当該選択した挙動制御プログラムを実行することで仮想現実オブジェクトの形状を順次変形させていく。
表示映像生成処理部２６０は、仮想現実提示装置１００の表示部１５０で表示される映像を生成する。具体的に、表示映像生成処理部２６０は、仮想現実オブジェクト挙動制御部２５０で制御される仮想現実オブジェクトの表示パネル上での表示位置をユーザ状態情報に基づいて決定し、当該決定した表示位置に仮想現実オブジェクトが表示されている映像を生成する。また、表示映像生成処理部２６０は、画像解析処理部２３０で抽出されたユーザの周囲の明るさ又は仮想現実オブジェクトが配置される位置における明るさ（照度）に基づいて、仮想現実オブジェクトの明るさ（照度）を補正する光学補正処理を行い、当該補正処理後の仮想現実オブジェクトを上記決定した表示位置に表示する映像を生成する。表示映像生成処理部２６０は、生成した映像をＭＰＥＧ２やＨ．２６４/ＡＶＣ等の所定の符号化方式で符号化を行った上で通信部２１０に出力する。
再生音声生成処理部２７０は、仮想現実提示装置１００の音声出力部１７０より出力される音声を生成する。再生音声生成処理部２７０は、仮想現実オブジェクト挙動制御部２５０で制御された仮想現実オブジェクトが発する音声を、ユーザと仮想現実オブジェクトとの間の位置関係から各チャンネルで出力される音声を生成する。また、再生音声生成処理部２７０は、音声解析処理部２２０で得られた周囲の音声レベルに合わせて、生成する音声の音声レベルを補正する音声レベル補正処理を行う構成とすると更にリアリティーが高まるため好ましい。再生音声生成処理部２７０は、仮想現実オブジェクト挙動制御部２５０で制御された仮想現実オブジェクトが発する音声に、当該音声レベル補正処理を行うことで、仮想現実提示装置１００の音声出力部１７０より出力する音声を生成する。再生音声生成処理部２７０は、生成した音声をＭＰＥＧ３やＣＥＬＰ等の所定の符号化方式で符号化を行った上で通信部２１０に出力する。
通信部２１０は、仮想現実サービス提供制御部２４０から仮想現実提示装置１００における仮想現実の提示を指示する各種制御情報（通知情報）を入力し、仮想現実提示装置１００に送信する。また、通信部２１０は、表示映像生成処理部２６０と再生音声生成処理部２７０よりそれぞれ入力した仮想現実提示用の映像データと音声データを仮想現実提示装置１００に送信する。また、通信部２１０は、仮想現実提示装置１００より受信したユーザ状態情報、周囲状況情報、音声情報をそれぞれ対応する各部に出力する。
提示済み仮想現実関連データ記憶データベース５００は、表示映像生成処理部２６０で生成される映像データと再生音声生成処理部２７０で生成される音声データとを当該仮想現実サービスの提示に係るユーザと対応付けて記憶する。これらの生成される映像データと音声データがユーザに対して表示又は出力されることでユーザは仮想現実の世界を感知することになるため、これらのデータを保管しておくことで、後日これらのデータにアクセスして読み出すことで、当時体験していた仮想現実の世界を再現することが可能となる。
＜実施形態１７＞
図８４は、本実施形態１７に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、仮想現実提示装置１００と、契約者情報記憶ＤＢ３００と、仮想現実コンテンツ記憶ＤＢ４００と、提示済み仮想現実関連データ記憶ＤＢ５００と、仮想現実サービス提供サーバ８００を備える。
仮想現実サービス提供サーバ８００は、通信部２１０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、音声生成処理部２７０と、仮想空間生成処理部８１０と、仮想現実オブジェクト配置処理部８２０と、視点制御部８３０と、光源制御部８４０と、モデルデータ配置処理部８５０と、レイヤー順序更新処理部８６０と、レイヤー情報生成処理部８７０と、を備える。
通信部２１０は、インターネット等の通信網を介して仮想現実提示装置１００と通信を行う。通信部２１０は、少なくともユーザの状態を示すユーザ状態情報を受信する受信部と、仮想現実提示用の映像データを送信する送信部とを備える。
通信部２１０は、ユーザの状態を示すユーザ状態情報と、ユーザの周囲を撮影した周囲景色画像と、ユーザが発した音声であるユーザ音声情報やユーザの周囲の音声である周囲音声情報などを受信する。また、通信部２１０は、仮想現実提示装置１００における仮想現実の提示の制御に用いる各種情報を必要に応じて受信する。このような情報としては、仮想現実提示装置１００のバッテリー残量やリソース消費量、回線速度などに関するレポート情報などが含まれる。
通信部２１０で受信されるユーザ状態情報や周囲景色画像には、それぞれ当該ユーザ状態が検知されたタイミングを示すユーザ状態検知時刻情報（ユーザ状態検知タイミング情報）や、周囲景色画像が撮影されたタイミングを示す周囲景色画像撮影時刻情報（周囲状況検知タイミング情報）が含まれている。
通信部２１０は、仮想現実提示用の映像符号化データや仮想現実提示用の音声符号化データ、レイヤー情報、各種通知情報などを送信する。
音声解析処理部２２０は、通信部２１０で受信されたユーザ音声情報に対する音声解析処理を行うことで、ユーザが発した音声のコンテキストや感情要素を示す感情情報などを取得する。また、必要に応じて通信部２１０で受信された周囲音声情報に対する音声解析処理を行い、ユーザの周囲の状況を特定する。
画像解析処理部２３０は、通信部２１０で受信されたユーザの周囲の景色を撮影した周囲景色画像に対する画像解析処理を行うことで所定の情報を抽出する。周囲景色画像は、仮想現実提示装置１００が備える複数の視線カメラ１２１や周辺カメラ１２２で撮影された画像である。
例えば、画像解析処理部２３０は、当該周囲景色画像の中から光学成分を抽出し、ユーザの周囲の平均照度や光源の位置及び方向などの情報を光学成分情報として抽出する。
また、画像解析処理部２３０は、複数の周囲景色画像に含まれる各物体の位置の比較処理や、同一の周囲景色画像の隣接画素を比較する比較処理によって、周囲景色画像に含まれる各物体の位置や形状を特定する。画像解析処理部２３０は、ユーザの周囲の現実世界に存在するこれらの物体等の位置や形状に基づいて、当該物体等の外観形状をモデル化してモデルデータを生成する。
また、画像解析処理部２３０は、一連の周囲景色画像に含まれるユーザの動作に基づいてユーザからの指示操作を検出する。例えば、仮想現実サービスの提供中断を示す操作として、視線カメラ１２１の前方で人差し指と小指を立てると言ったジェスチャーが予め割り当てられている。画像解析処理部２３０は、通信部２１０で受信された周囲景色画像に含まれるユーザの動作を予め定められた動作映像とのマッチング処理を行うことで特定し、ユーザからの指示操作を示す操作情報を抽出する。
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を制御する。具体的に仮想現実サービス提供制御部２４０は、仮想現実コンテンツ記憶ＤＢ４００に記憶されている仮想現実コンテンツの中から、提供する仮想現実サービスに係る制御プログラムを読み出して実行することで当該仮想現実サービスの提供を開始する。
仮想現実サービス提供制御部２４０は、音声解析処理部２２０で抽出された音声コンテキストや、画像解析処理部２３０で抽出された操作情報で示される内容が、仮想現実サービスの提供開始を要求するものであった場合に、当該ユーザに対する仮想現実サービスの提供開始処理を行う。
仮想現実サービス提供制御部２４０は、契約者情報記憶ＤＢ３００に記憶されている当該ユーザの契約者情報を参照し、当該ユーザに対して要求されている仮想現実サービスの提供を行うことができるかどうか、すなわち、当該ユーザは当該仮想現実サービスに対する正当な使用権限を有しているかを判定する。
契約者情報記憶ＤＢ３００には、各ユーザが利用可能な仮想現実サービスが契約者情報として記録されている。また、当該契約者情報には、各ユーザを識別するユーザＩＤと認証用パスワード、その他当該ユーザの個人情報などが合わせて記録されていると良い。仮想現実サービス提供制御部２４０は、音声解析処理部２２０や画像解析処理部２３０で抽出された情報で示されるユーザＩＤやパスワードが契約者情報に記憶されているユーザＩＤとパスワードとの組み合わせと一致するかの認証処理等を行うことで、要求されている仮想現実サービスの提供を行うことができるかどうかを判定する構成とすると秘匿性が上がるため更に良好である。
当該判定の結果、要求されている仮想現実サービスの提供を行うことができる場合に、仮想現実サービス提供制御部２４０は、仮想現実サービスの提供開始を通知する仮想現実サービス提供開始通知情報を生成する。通信部２１０は、当該仮想現実サービス提供開始通知情報を仮想現実提示装置１００に送信する。
図８５は、当該仮想現実サービス提供開始通知情報の一例を示す図である。仮想現実サービス提供開始通知情報は、自サーバ８００のアドレスである送信元アドレスと、送信先の仮想現実提示装置１００のアドレスである送信先アドレスと、当該情報が仮想現実サービス提供開始通知情報であることを示す情報種別と、仮想現実提示装置１００と仮想現実サービス提供サーバ８００の間において当該仮想現実サービスに関連して発生する通信を他の通信と識別するために各パケットに付与する番号である通信識別番号と、提供する仮想現実サービスを識別する仮想現実サービス識別情報と、仮想現実サービスの提供において必要となる制御や処理で用いる仮想現実制御パラメータ情報などを含む。
仮想現実制御パラメータ情報としては、ユーザ状態としてどのような種類のユーザ状態を検知させるかを指定する検知ユーザ状態指定情報、検知されたユーザの状態を示すユーザ状態情報の送信頻度を示すユーザ状態送信頻度、撮影されたユーザの周囲の景色の画像である周囲景色画像の送信頻度、周囲景色画像の画像圧縮符号化形式を示す周囲景色画像符号化形式、表示する映像のフレームレートを示す映像フレームレート、仮想現実サービス提供サーバ８００から適宜送信される仮想現実提示用映像データの符号化形式を示す仮想現実提示用映像データ符号化形式、などの情報が含まれる。仮想現実サービス提供制御部２４０は、提供する仮想現実サービスの種類やユーザが装着している仮想現実提示装置１００の処理能力やリソース、通信回線速度などのレポート情報などに基づいて、これらのパラメータを決定し、当該決定したパラメータの値を仮想現実制御パラメータ情報として上記仮想現実サービス提供開始通知情報を生成する。
その他、仮想現実サービス提供制御部２４０は、必要に応じて現在提供中の仮想現実サービスの提供の終了を通知する仮想現実サービス提供終了通知情報や当該仮想現実サービスにおける制御パラメータの変更を通知する制御パラメータ変更通知情報、などの各種情報を生成する。仮想現実サービス提供制御部２４０で生成されたこれらの情報は、通信部２１０より仮想現実提示装置１００へ送信される。
なお、上述した仮想現実識別番号割当部の機能は当該仮想現実サービス提供制御部２４０の一機能として設定されていると良い。また、上述の通信識別番号を仮想現実識別番号として用いても良い。仮想現実提示装置１００と仮想現実サービス提供サーバ７００との間において当該仮想現実サービスに係る仮想現実の世界を構築するために送受信される各パケットに当該仮想現実識別番号が含まれているため、後述の仮想現実関連データ取得部８８０は、当該仮想現実識別番号毎に各仮想現実の世界の構築に用いられる各データを仮想現実関連データとして取得して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を開始する場合に、仮想空間生成処理部８１０と仮想現実オブジェクト配置処理部８２０にそれぞれ仮想空間の生成指示及び仮想現実オブジェクトの配置指示を出す。
また、仮想現実サービス提供制御部２４０は、仮想現実提示用の映像データの生成指示と仮想現実提示用の音声データの生成指示を表示映像生成処理部２６０と再生音声生成処理部２７０にそれぞれ出す。
また、仮想現実サービス提供制御部２４０は、仮想現実関連データ取得部８８０に、ユーザに提供される仮想現実サービスに係る仮想現実の世界の構築に用いられるデータの取得指示を出す。
仮想現実コンテンツ記憶ＤＢ４００は、仮想現実サービスを実現するためのデータである仮想現実コンテンツを記憶している。仮想現実コンテンツには、仮想現実オブジェクトの他、仮想現実サービスの進行を制御する仮想現実サービス制御プログラムや仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラム、仮想現実提示用の音声データである仮想現実提示用音声データなどを記憶している。
仮想現実サービス提供制御部２４０は、仮想現実コンテンツ記憶ＤＢ４００に記憶されている仮想現実サービス制御プログラムを実行することで、仮想現実サービスの開始や終了などの各種制御を行う。
仮想空間生成処理部８１０は、仮想現実サービス提供制御部２４０からの仮想空間生成指示に基づいて、当該仮想現実サービスに使用する仮想空間を生成する。仮想空間は、所定の広さを有する座標空間であって、現実の世界の空間と対応するように人工的に創り出される情報処理上の空間である。
仮想現実サービス提供制御部２４０は、開始する仮想現実サービスに対応する広さの仮想空間の生成指示を仮想空間生成処理部８１０に出し、仮想空間生成処理部８１０は、当該仮想空間生成指示で示される広さの仮想空間を生成する。
仮想現実オブジェクト配置処理部８２０は、仮想現実サービス提供制御部２４０からの仮想現実オブジェクト配置指示に基づいて、当該仮想現実サービスに係る仮想現実オブジェクトを仮想現実コンテンツ記憶ＤＢ４００より読み出して仮想空間生成処理部８１０が生成した仮想空間に配置する。
ここで、仮想現実オブジェクト配置処理部８２０は、配置する仮想現実オブジェクトが複数になる場合は、読み出した仮想現実オブジェクトを異なるレイヤーの仮想空間に配置する。
すなわち、仮想空間生成処理部８１０は、原点を共通とする複数のレイヤーの仮想空間を生成し、仮想現実オブジェクト配置処理部８２０は、仮想現実コンテンツ記憶ＤＢ４００より読み出した複数の仮想現実オブジェクトをそれぞれ異なるレイヤーの仮想空間に配置する。
図８６は、当該複数の仮想現実オブジェクトを仮想空間の異なるレイヤーにそれぞれ配置する場合を示している。象と犬とライオンの３つの仮想現実オブジェクトがそれぞれ原点を共通とする３つの異なるレイヤーの仮想空間に分けて配置されている。
視点制御部８３０は、通信部２１０で受信されたユーザ状態情報に基づいて、仮想空間生成処理部８１０が生成した仮想空間において、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とを制御する。視点制御部８３０は、ユーザ状態情報に含まれる傾き情報や加速度情報に基づいて特定されるユーザ頭部の傾きの変化や加速度の変化から、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とをそれぞれ算出して更新する。ここで、ユーザ状態情報には、対応するユーザ状態が検知されたタイミングを示すタイムスタンプであるユーザ状態検知時刻情報が含まれているため、視点制御部８３０は、現在の視点位置座標及び視線方向が、どの時刻に検知されたユーザ状態に基づいて設定されている視点位置座標及び視線方向であるかを管理する。
光源制御部８４０は、画像解析処理部２３０で抽出された光学成分情報に基づいて、仮想空間生成処理部８１０が生成する上記仮想空間における光源の位置座標や光源の照度又は輝度を更新する。例えば、光源制御部８４０は、画像解析処理部２３０によって求められた周囲景色画像における平均輝度に基づいて、無限遠方の光源の照度又は輝度を設定する。また、画像解析処理部２３０において周囲景色画像で現れる影の位置等に基づいて抽出された光学成分情報に基づいて、局所的な光源を新たに仮想空間内の対応する位置に配置する。その他、光源制御部８４０は、画像解析処理部２３０で抽出された光学成分情報に基づいて光源の色（色差情報）を設定しても良い。
モデルデータ配置処理部８５０は、画像解析処理部２３０において生成されたユーザの周囲の現実世界に存在する物体等のモデルデータを仮想空間に配置する。モデルデータ配置処理部８５０は、視点制御部８３０で制御される視点位置及び視線方向に基づいて、周囲景色画像がどの位置からどの方向に向かって撮影された映像であるかを特定し、画像解析処理部２３０で生成された各物体のモデルデータを仮想空間に配置する。
ここで、仮想空間生成処理部８１０は、当該現実の世界に存在する物体のモデルデータを配置するモデルデータ専用レイヤーの仮想空間を生成することが好ましい。モデルデータ配置処理部８５０は、画像解析処理部２３０で生成された現実の世界の物体のモデルデータを当該モデルデータ専用レイヤーの仮想空間に配置する。
仮想現実オブジェクト挙動制御部２５０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト配置処理部８２０によって仮想空間の各レイヤーにそれぞれ配置されている仮想現実オブジェクトの中には、例えば人間や動物の仮想現実オブジェクトのように動作可能なように構成されているものがある。仮想現実オブジェクト挙動制御部２５０は、仮想現実コンテンツ記憶ＤＢ４００の中から当該仮想現実オブジェクトの挙動制御プログラムを読み出して実行することで、仮想空間に配置されている仮想現実オブジェクトの外観形状を変化させたり、仮想現実オブジェクトを仮想空間内で移動させたりする。
表示映像生成処理部２６０は、仮想現実提示用の映像を生成する。表示映像生成処理部２６０は、描画処理部２６１と、映像符号化処理部２６２とを備える。
描画処理部２６１は、仮想現実サービス提供制御部２４０からの仮想現実提示用映像生成指示に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画することで仮想現実提示用の映像を生成する。ここで、描画処理部２６１は、仮想現実のレイヤー毎にそれぞれ描画処理を行うことでレイヤー毎の仮想現実提示用の映像を生成する。
描画処理部２６１は、仮想空間のレイヤーの一つとモデルデータ専用レイヤーを選択し、視点制御部８３０で設定される現在の視点位置座標及び視線方向に基づいて、当該選択したレイヤーの仮想空間にそれぞれ配置されている仮想現実オブジェクトと現実の世界の物体のモデルとを、当該視点位置座標から視線方向前方に配置したイメージプレーンへ投影する投影処理を行う。描画処理部２６１は、当該投影処理によって得られた２次元投影画像の中から現実の世界の物体のモデル部分を消去することで、選択したレイヤーに配置された仮想現実オブジェクトの２次元投影画像を取得する。
描画処理部２６１は、上記投影処理で得られた２次元投影画像を所定の大きさに切り取るクリッピング処理を行う。ここで、描画処理部２６１は、仮想現実提示装置１００の表示パネルにおける解像度を上回る範囲で切り取ることを特徴とする。例えば、仮想現実提示装置１００の表示パネルが１０８０画素×１９２０画素の解像度を有する場合、描画処理部２６１は、２次元投影画像を１割増しの１１８８×２１１２で切り取るクリッピング処理を行う。なお、どの程度サイズを大きくして切り取るかはユーザ状態の変化の大きさに基づいて決定されていても良い。ユーザが静止している場合は、後続の補正処理が必要ではなく、大き目に切り取る必要がないためである。
次に、描画処理部２６１は、当該仮想現実オブジェクトのテキスチャーマッピングデータをクリッピング処理後の２次元投影画像に張り付けるテキスチャーマッピング処理を行う。
次に、描画処理部２６１は、光源制御部８４０で設定される光源に基づいて、上記２次元投影画像に陰影をつけるシェーディング処理を行う。描画処理部２６１は、必要に応じてアンチエリアシング処理を行い、当該レイヤーの仮想現実提示用映像とする。
ここで、描画処理部２６１は、当該描画して生成したレイヤーの仮想現実提示用映像が、どの時刻のユーザ状態に基づいて描画された映像であるかを示す情報を付与して当該レイヤーの仮想現実提示用映像を生成する。描画処理に使用する視点位置座標及び視線方向は、視点制御部８３０によって更新・設定されるが、現在使用する視点位置座標及び視線方向を設定する際に用いられたユーザ状態が検知された時刻を示すタイムスタンプであるユーザ状態検知時刻情報を付与して当該レイヤーの仮想現実提示用映像を生成する。
描画処理部２６１は、仮想空間生成処理部８１０で生成されている各レイヤーの仮想空間を並列処理で描画することで、レイヤー毎の仮想現実提示用映像を生成する。
映像符号化処理部２６２は、描画処理部２６１で生成された各レイヤーの仮想現実提示用映像を符号化してレイヤー別仮想現実提示用符号化映像データを生成する。当該レイヤー別仮想現実提示用符号化映像データは、通信部２１０より仮想現実提示装置１００に送信される。
レイヤー順序更新処理部８６０は、仮想空間生成処理部８１０が生成する仮想空間の各レイヤーの順序を更新する。描画処理部２６１でレイヤー毎に描画が行われてレイヤー別の仮想現実提示用映像が生成されるため、最終的に仮想現実提示装置１００において複数のレイヤー別仮想現実提示用映像を合成する必要がある。そのため、レイヤー順序更新処理部８６０は、各仮想空間のレイヤーに順序を設定しておき、当該レイヤーの順序を更新する。
レイヤーの順序は、ユーザの位置と仮想現実オブジェクトの位置との関係で決定される。すなわち、ユーザから近い方の仮想現実オブジェクトが配置されているレイヤーから順番にレイヤー順序が決定される。ユーザの位置は、適宜変化していくし、仮想現実オブジェクトの位置も仮想現実オブジェクト挙動制御部２５０が行う挙動制御によって変化していく。そこで、レイヤー順序更新処理部８６０は、通信部２１０で受信されたユーザ状態情報に基づいて視点制御部８３０によって制御されるユーザの視点位置座標（又はユーザ位置座標）と、仮想空間の各レイヤーにそれぞれ配置されている各仮想現実オブジェクトの位置座標とに基づいて、レイヤー順序を更新する。
例えば、図８７のように仮想空間のレイヤー１〜３に仮想現実オブジェクトＡ〜Ｃがそれぞれ配置されている場合において、状態１ではユーザに近い方から仮想現実オブジェクトＡ、Ｂ、Ｃの順番である。従って、レイヤー順序更新処理部８６０は、レイヤー１，２，３の順序とする。ここで、ユーザが現実の世界で移動したことによって状態２の位置関係となった場合、ユーザに近い方から仮想現実オブジェクトはＢ，Ｃ、Ａの順番である。従って、レイヤー順序更新処理部８６０は、レイヤー順序をレイヤー２、３、１に変更することでレイヤー順序を管理する。
レイヤー情報生成処理部８７０は、レイヤー順序更新処理部８６０における更新処理に基づいて現在のレイヤー順序を示すレイヤー情報を生成する。レイヤー情報生成処理部８７０は、レイヤーの順序を示すレイヤー順序情報の他、ユーザと各レイヤーとの位置関係を示す位置関係情報、各レイヤーに含まれる仮想現実オブジェクトの種類や数、各レイヤーの重要度などの情報を含めてレイヤー情報を生成することが好ましい。なお、位置関係情報は、ユーザの位置から各レイヤーにそれぞれ含まれる仮想現実オブジェクトまでの距離やベクトルを示す情報である。当該レイヤー情報は、レイヤー別の仮想現実提示用映像符号化データと共に通信部２１０より仮想現実提示装置１００に送信される。
再生音声生成処理部２７０は、仮想現実サービス提供制御部２４０からの仮想現実提示用音声生成指示に基づいて、仮想現実コンテンツ記憶ＤＢ４００より提供する仮想現実サービスに係る仮想現実提示用音声データを読み出し、チャンネル別の仮想現実提示用音声データを生成する。
例えば、再生音声生成処理部２７０は、視点制御部８３０で設定される視点位置と、仮想現実オブジェクト配置処理部８２０が配置する仮想現実オブジェクトの位置との相対関係に基づいて、仮想現実コンテンツ記憶ＤＢ４００より読み出した仮想現実提示用の音声データを複数のチャンネルに分配することでチャンネル別仮想現実提示用音声データを生成する。
ここで、再生音声生成処理部２７０は、仮想現実コンテンツ記憶ＤＢ４００より複数の仮想現実提示用音声データを読み出し、それぞれ各チャンネルの音声データに分配した上で合成することでチャンネル別仮想現実提示用音声データを生成する。ここで、チャンネルとしては、５．１Ｃｈ、６．１Ｃｈ、７．１Ｃｈなど複数チャンネルの音声出力部５３０を仮想現実提示装置１００側に設け、立体音響を実現できるようにしておくことが好ましい。
また、再生音声生成処理部２７０は、音声解析処理部２２０で解析される周囲音声情報からユーザの周囲環境の雑音レベルを抽出し、当該抽出した雑音レベルに基づいて、読み出した仮想現実提示用音声データに対して増幅処理を行う構成とすると更に良好である。
また、再生音声生成処理部２７０は、当該生成したチャンネル別仮想現実提示用音声データを所定の符号化形式で符号化することでチャンネル別仮想現実提示用音声符号化データを生成する。当該チャンネル別仮想現実提示用音声符号化データは、通信部２１０より仮想現実提示装置１００に送信される。
また、再生音声生成処理部２７０は、音声合成処理によって人工音声を生成し、当該音声データを符号化することで仮想現実提示用音声符号化データを生成しても良い。この場合、再生音声生成処理部２７０は、応答音声コンテキスト生成処理部と、音声合成処理部と、音声符号化処理部とを具備する。
応答音声コンテキスト生成処理部は、通信部２１０で受信されたユーザ状態情報や、音声解析処理部２２０で抽出される音声コンテキストや感情要素に関する情報、画像解析処理部２３０による画像解析処理で抽出される各種情報に基づいて、現在仮想空間に配置されている仮想現実オブジェクトが発する応答音声の音声コンテキストを生成する。音声合成処理部は、仮想現実コンテンツ記憶データベース４００に記憶されている当該仮想現実オブジェクトに関連付けられている音声基礎データ（音素データ）を上記生成された音声コンテキストに従って繋ぎ合わせた後に、所定のフィルタリング処理を行うことで、応答音声データを生成する。なお、応答コンテキスト生成処理部は、当該入力したユーザ状態情報や音声コンテキスト、感情要素の情報に基づいて、応答音声に係る感情要素に係る情報を更に生成し、音声合成処理部は、当該感情要素に係る情報に基づくフィルタ係数でフィルタリング処理を実行することでピッチや音声レベル、会話速度などを変化させた合成音声データを生成する構成とすると更に良好である。音声符号化処理部は、当該生成された合成音声データを仮想現実提示用音声データとし、ＣＥＬＰなどの符号化形式で音声符号化を行うことで仮想現実提示用音声符号化データを生成する。当該構成としても良い。
仮想現実関連データ取得部８８０は、仮想現実提示装置１００を装着しているユーザに提示される仮想現実の世界を実現するために用いられる各種データを仮想現実関連データとして取得する。
例えば、仮想現実関連データ取得部８８０は、通信部２１０より仮想現実提示装置１００へ送信される各種情報を監視しており、仮想現実提示用映像データや仮想現実提示用音声データと言った当該仮想現実提示装置１００へ送信されるデータを取得する。
仮想現実関連データ取得部８８０は、取得した仮想現実関連データを、提示済み仮想現実関連データ記憶ＤＢ５００に格納する。提示済み仮想現実関連データ記憶ＤＢ５００は、ユーザに提示された仮想現実の世界を実現するために用いられた各種情報を提示済み仮想現実関連データとして記憶・保管する。例えば、ユーザに提示された仮想現実サービスが「アイドルＸと１時間デート」という仮想現実提示サービスであった場合、仮想現実関連データ記憶ＤＢ５００には、当該アイドルＸの仮想現実オブジェクトの映像や当該アイドルＸの仮想現実オブジェクトより発せられた音声などのデータが仮想現実関連データとして記憶・保管される。提示済み仮想現実関連データ記憶ＤＢ５００は、仮想現実関連データ取得部８８０で取得された仮想現実関連データを、提示済みの仮想現実の世界を再現するために用いるデータとして記憶・保管する。
仮想現実関連データ取得部８８０で取得される仮想現実提示用映像データや仮想現実提示用音声データは、仮想現実提示装置でそれぞれ表示及び出力されるデータであり、仮想現実の世界を提示するために用いられる。従って、これらのデータを記憶保管しておくことで、後日、提示済み仮想現実関連データ記憶ＤＢ５００よりこれらのデータを読み出して再生することで、同一の仮想現実の世界を再現することが可能である。
仮想現実関連データ取得部８８０は、取得した各仮想現実の世界に係る各仮想現実関連データ毎に仮想現実識別情報と対応付けた状態で当該仮想現実関連データをデータベース５００に格納する。
仮想現実提示装置１００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、音声入力部１３０と、表示制御部１４０と、表示部１５０と、音声再生制御部１６０と、音声出力部１７０と、仮想現実提示制御部１８０と、通信部１９０とを備える。
ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知する傾きセンサ１１１と、ユーザの頭部の加速度を検知する加速度センサ１１２とを備える。なお、ユーザ状態検知部１１０としては、ユーザの方位を検知する方位センサや、ユーザの位置を検知する位置センサ、ユーザの体温や血圧、脈拍、脳波などの生体反応を検知する生体反応センサ、ユーザの表情を撮影する内部カメラなどで構成されていても良い。これらのセンサ等における検知結果は、検知時刻を示すタイムスタンプであるユーザ状態検知時刻情報と共にユーザ状態情報として纏められ、通信部１９０より仮想現実サービス提供サーバ８００に送信される。また、ユーザ状態情報の一部の情報は、表示制御部１４０における映像補正処理に用いられる。
周囲状況検知部１２０は、ユーザの視線に対応するユーザ前方を撮影する視線カメラ１２１と、ユーザの両側や後方などユーザ周辺を撮影する周辺カメラ１２２とを備える。視線カメラ１２１はユーザの左目と右目の位置にそれぞれ配置される。これらのカメラで撮影されて取得される周囲景色画像は、撮影時刻を示すタイムスタンプである周囲状況検知時刻情報と共に周囲状況情報として纏められ、通信部１９０より仮想現実サービス提供サーバ８００に送信される。
音声入力部１３０は、ユーザの口元付近に設置され、ユーザが発する音声を集音してユーザ音声情報を入力するユーザマイク１３１と、ユーザの周囲である外部環境からの音声を集音して周囲音声情報を入力する周辺マイク１３２と、を備える。音声入力部１３０で入力される各音声情報は通信部１９０より仮想現実サービス提供サーバ８００に送信される。
通信部１９０は、仮想現実サービス提供サーバ８００とインターネット等の通信網を介して通信を行う。通信部１９０は、ユーザ状態検知部１１０で検知されたユーザ状態情報や周囲状況検知部１２０で検知された周囲状況情報、その他、音声入力部１３０で入力された音声情報を無線送信する無線送信部と、仮想現実サービス提供サーバ８００より送信される仮想現実提示用映像符号化データやレイヤー情報、仮想現実提示用音声符号化データ、各種通知情報などを無線受信する無線受信部を備える。
表示制御部１４０は、映像復号化処理部１４１と、映像補正処理部１４２と、映像合成処理部１４３と、表示領域選択部１４４と、を備える。
映像復号化処理部１４１は、通信部１９０で受信されたレイヤー毎の仮想現実提示用映像符号化データに復号化処理を行い、レイヤー毎の仮想現実提示用映像データを取得する。
映像補正処理部１４２は、復号化されたレイヤー毎の仮想現実提示用映像データの位置補正をユーザ状態検知部１１０で検知されたユーザ状態と通信部１９０で受信されたレイヤー情報に含まれる位置関係情報とに基づいて行う。
表示映像生成処理部２６０で生成される各仮想現実提示用映像データは、視点制御部８３０がユーザ状態に基づいて制御する視点位置及び視線方向に基づいて生成されている。ここで、ユーザの視点位置や視線方向は、仮想現実提示装置１００と仮想現実サービス提供サーバ８００との間の通信ラグや描画処理や符号化処理、復号化処理等に要する時間の間に変化している可能性がある。そのため、映像補正処理部１４２は、生成された仮想現実提示用映像に所定の補正を行うことで、現在のユーザ状態に適合した映像となるように補正する。
例えば、図８８に示すようにレイヤー１とレイヤー２の２枚の仮想現実提示用映像があり、各レイヤーの位置関係情報で示される各レイヤーに含まれる仮想現実オブジェクトまでの相対位置ベクトル（ｘ、ｙ、ｚ）は、それぞれ（＋０．３、＋２．２、−０．４）と（＋２．１、＋２１．４、＋０．６）であるとする。ここで、ユーザが−Ｘ方向に移動している場合、当該映像生成時と現在とでは視点位置及び視線方向が相違している。そこで、映像補正処理部１４２は、仮想現実提示用映像に付与されているユーザ状態検知時刻情報と現在の時刻との間で変化したユーザ状態に基づいて、映像に含まれる仮想現実オブジェクトの位置や大きさなどを補正する。視点位置及び視線方向の変化に伴って、仮想現実オブジェクトの映像をどの様に補正するかは、視点位置及び視線方向と仮想現実オブジェクトとの間の相対位置関係によって定まるため、映像補正処理部１４２は、レイヤー毎に仮想現実提示用映像に対して補正量を算出した上で補正処理を行う。
映像合成処理部１４３は、補正処理後の各レイヤーの仮想現実提示用映像を、レイヤー情報に含まれるレイヤー順序情報に従って重ね合わせることで合成する処理を行う。後方のレイヤーに含まれる仮想現実オブジェクトの映像は、前方のレイヤーに含まれる仮想現実オブジェクトによって重なり部分が隠される。
表示領域選択部１４４は、合成処理後の仮想現実提示用映像の中から表示パネル１５１で表示する領域を選択する。各仮想現実提示用映像は、上記補正処理に対応できるように表示パネル１５１の解像度よりも大きい解像度の映像であるため、補正処理及び合成処理後の仮想現実提示用映像の中から表示パネル１５１で表示する範囲を選択する。
表示部１５０は、表示制御部１４０からの制御に従って仮想現実提示用の映像を表示する。表示部１５０は、具体的にユーザの左右の目の前方位置に配置される２つの表示パネル１５１ａ、１５１ｂであって、表示制御部１４０の表示領域選択部１４４で選択された各仮想現実提示用の映像を表示する。視点制御部８３０は、ユーザの左目と右目に対応する２つの視点位置座標及び視線方向を設定し、表示映像生成処理部２６０は、これら２つの視点からそれぞれ描画して右目用の仮想現実提示用映像と左目用の仮想現実提示用映像を生成する。ライト表示パネル１５１ａとレフト表示パネル１５１ｂには、これらの生成された仮想現実提示用映像が補正処理やレイヤー合成処理を経て表示される。
再生音声制御部１６０は、通信部１９０で受信された仮想現実提示用音声符号化データに対して復号化処理を行い、必要に応じて復号化処理後の音声データを各チャンネルに分配する分配処理や、音声レベルを調整する増幅処理を行う。
音声出力部１７０は、再生音声制御部１６０からの制御に従って、各チャンネルの仮想現実提示用の音声を出力する。具体的に、音声出力部１７０は、複数のスピーカ１７１ａ１７１ｂで構成され、再生音声制御部１６０で再生される仮想現実提示用の音声データにＤＡ変換処理を行ってアナログ電気信号に変換し、更に空気振動に変換して外部へ放音することで音声を出力する。
仮想現実提示制御部１８０は、仮想現実提示装置１００側の仮想現実提示用の各処理を制御する。仮想現実提示制御部１８０は、通信部１９０で受信された各種通知情報やパラメータ変更情報などに基づいて、ユーザ状態や周囲状況の検知周期や映像表示のフレームレート、送受信におけるデータの符号化・復号化形式等を設定する。例えば、仮想現実提示制御部１８０は、仮想現実サービス提供開始情報に含まれる仮想現実制御パラメータ情報の検知ユーザ状態指定情報に基づいてユーザ状態検知部１１０で検知させるユーザ状態の種類を設定したり、ユーザ状態検知頻度に基づいて、ユーザ状態検知部１１０で検知させるユーザ状態の検知頻度を設定したりする。
また、仮想現実提示制御部１８０は、仮想現実提示装置１００のバッテリー残量や温度、リソース消費量や無線通信速度などの状態を監視し、これらの情報をレポートに纏めて仮想現実サービス提供サーバ８００に送信する。当該レポートは仮想現実サービス提供制御部２４０に送られて、各種制御に利用される。
通信部１９０は、装置１００内で生成されるユーザ状態情報、周囲状況情報、音声情報、各種制御情報を仮想現実サービス提供サーバ８００に送信し、仮想現実サービス提供サーバ８００より送信される仮想現実提示用映像符号化データ、仮想現実提示用音声符号化データ、各種制御情報や通知情報を受信する。
以上のように、本実施形態１７に係る仮想現実提示システムでは、ユーザに提示された仮想現実の世界を再現可能な状態で当該仮想現実の世界に係る関連データを記憶・保管する。従って、自身が体験した世界が仮想現実の世界であったか現実の世界であったか判断がつかなくなった場合に、当該記憶保管されている関連データに基づいて、同一の仮想現実の世界を再現することでユーザは、適切に仮想現実の世界であったと言うことを判断することができる。
なお、上記説明では仮想現実関連データ取得部８８０は、仮想現実提示装置１００に送信される仮想現実提示用映像データと仮想現実提示用音声データとを取得してデータベース５００に格納する場合について説明したが、更に周囲状況情報を合わせて取得し、データベース５００へ格納する構成とすると更に良好である。
ユーザは、仮想現実提示用映像と外界の景色とを同時に視ることで仮想現実の世界を感知している。ここで、後日仮想現実の世界を再現する場合に、外界の景色が異なっていることがある。例えば、ユーザは公園にいる時に「アイドルＸと一時間デート」と言う仮想現実サービスを受けていた場合には、ユーザにはアイドルＸと公園で１時間デートをしていたと言う体験が残るのに対し、後日自宅で再現する場合は、外界の景色が自宅の景色であるため、同一の映像や音声を再生したとしても、当時感じていた仮想現実の世界とは異なる印象を受ける。
そこで、周囲状況検知部１２０で検知された周囲状況情報である周囲景色画像を合わせて記憶しておき、再現時には、視線カメラ１２１で撮影された視線景色画像と、仮想現実提示用映像とを合成して表示することで、当時の仮想現実の世界と同様の世界を再現することが可能となる。視線景色画像には、当時ユーザが見ていた外界の景色と同等の景色である公園の景色が含まれているためであり、その画像に仮想現実提示用映像であるアイドルＸの仮想現実オブジェクトの映像を多重合成することで、当時ユーザが感知していた光景が再現される。
なお、仮想現実関連データ取得部８８０は、仮想現実提示装置１００で入力される音声情報を更に取得し、データベース５００へ格納する構成とすると更に良好である。ユーザ自身がどのような言葉を発していたかや、周囲でどのような雑音等が聞こえていたかまで再現できるため、仮想現実の世界の再現度合いを高めることができる。
なお、上記説明では、通信部２１０より送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データとを仮想現実関連データとして記憶する場合について説明したが、当該映像データは容量が大きいため、データベース５００に十分のスペースを確保しておかなければならないと言った問題が発生する。また、当該仮想現実提示用映像は当時のユーザ状態に基づいて制御された映像であるが、再現時のユーザ状態は当時のユーザ状態とは異なっているため、再現時に表示パネル内で仮想現実オブジェクトが勝手に動いてしまうことになる。
そこで、仮想現実関連データ取得部８８０は、別の情報を仮想現実関連データとして取得する構成とすることも可能である。図８９は、仮想現実関連データ取得部８８０が、後日再現可能なように取得する仮想現実関連データの組み合わせの一例を示す図である。
パターン０１では、仮想現実関連データ取得部８８０は、上述したように仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データとを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。この場合における取得されたこれらの仮想現実関連データに基づいてユーザに提示された仮想現実の世界を再現する場合の再現度は１０段階評価で５となる。ユーザが感知する仮想現実の世界は、周囲の雑音や周囲の景色の要素もあるが、これらの情報だけではこれらの要素部分については再現することができないためである。
パターン０２では、仮想現実関連データ取得部８８０は、仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データに加えて通信部２１０で受信される視線景色画像を順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。視線景色画像を取得して時系列に纏めて保管しておくことで、当該視線景色画像に仮想現実提示用映像符号化データを復号化した仮想現実提示用映像を多重合成することで、当時ユーザが見ていた光景を高いレベルで再現することが可能となる。従って、この場合の再現度は、より高い６に設定されている。
パターン０３では、仮想現実関連データ取得部８８０は、通信部２１０より仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データと、通信部２１０で受信される視線景色画像とユーザ音声情報とを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。ユーザ音声情報を合わせて取得及び保管しておくことで、当時ユーザが仮想現実オブジェクトに対してどのような言葉をかけていたかを再現できるため、その当時の状況をより高いレベルで再現可能となる。従って、この場合の再現度は、更に高い６に設定されている。なお、仮想現実関連データ取得部８８０は、周辺音声情報を更に取得してデータベース５００に格納する構成とすると更に再現度は高くなる。
パターン０４では、仮想現実関連データ取得部８８０は、通信部２１０で受信されるユーザ状態情報と、周囲状況情報と、音声情報（ユーザ音声情報及び周辺音声情報）と、制御プログラム実行履歴を示す制御プログラム実行履歴情報とを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。
仮想現実の世界を再現するために必要となる情報は仮想現実サービス提供サーバ８００からのアウトプットであるが、当該アウトプットである仮想現実提示用映像と仮想現実提示用音声は、サーバ８００に対するインプットと、そのインプットによって実行されるプログラムによって生成される。従って、当該インプットと、実行されたプログラムの履歴を順次取得・保管しておくことで、これらの情報に基づいてシミュレーションすることでアウトプットを再び得ることが可能となり、仮想現実の世界を再現することができる。
ここで、制御プログラム実行履歴情報は、仮想現実サービス提供制御部２４０が仮想現実コンテンツ記憶ＤＢ４００より読み込んで実行する制御プログラムの種類と時刻との関係を纏めた情報である。仮想現実関連データ取得部８８０は、仮想現実サービス提供制御部２４０を監視しておき、当該仮想現実サービス提供制御部２４０で実行される制御プログラムの種類と時刻とを纏めた制御プログラム実行履歴情報を取得する。なお、仮想現実関連データ取得部８８０は、仮想現実オブジェクト挙動制御部２５０で実行される仮想現実オブジェクト挙動制御プログラムの種類と時刻と更に纏めて上記制御プログラム実行歴情報を取得する構成とすると更に良好である。このパターン０４における再現度は５となる。
パターン０５では、仮想現実関連データ取得部８８０は、視点制御部８３０で制御される視点位置座標及び視線方向に関する視点情報と、光源制御部８４０で制御される光源の位置座標や光源照度、光源の色などに関する光源情報と、モデルデータ配置処理部８５０が配置する現実の世界の物体のモデルデータに関するモデルデータ情報と、仮想空間に配置されている仮想現実オブジェクトの履歴を示す仮想現実オブジェクト履歴情報と、を順次取得してデータベース５００に格納する。
通信部２１０で受信されるユーザ状態情報や周囲状況情報は、座標情報や光源情報などを求めるために使用するための情報である。従って、ユーザ状態情報や周囲状況情報ではなく、これらの情報を処理することで得られる結果である座標情報や光源情報を仮想現実関連データとして取得する。当該構成とすることで、記憶する情報量を更に圧縮することができる。座標情報は、仮想空間における視点位置座標及び視線方向の時間的推移を纏めた履歴情報であり、光源情報は仮想空間における光源位置座標及び光源照度、光源の色などに関する情報の時間推移を纏めた履歴情報である。
仮想現実オブジェクト履歴情報は、仮想空間に配置されている仮想現実オブジェクトを識別する識別情報（識別番号）と、仮想現実オブジェクトの仮想空間内での位置座標、仮想現実オブジェクトの挙動に係る情報などを時系列で纏めた履歴情報である。仮想現実オブジェクトは、仮想現実オブジェクト挙動制御プログラムによって、関節データや骨格データなどのポイントを変化させたり、表面に張り付けられるテキスチャーデータの種類を変更したりすることで外観が変化する。仮想現実オブジェクトの挙動に係る情報とは、例えば仮想現実オブジェクトにおける可動部分である関節ポイントの位置座標や角度を規定する関節データや表面に張り付けられるテキスチャーの種類や表情を規定するパラメータ値などが含まれる。仮想現実関連データ取得部８８０は、仮想現実オブジェクト配置処理部８２０によって仮想空間に配置される仮想現実オブジェクトを監視したり、仮想現実オブジェクトにおける関節データや骨格データやテキスチャーデータの時間変化を監視することで、仮想現実オブジェクト履歴情報を取得する。
仮想現実オブジェクト履歴情報に従って仮想現実コンテンツ記憶ＤＢ４００より仮想現実オブジェクトを読み出して仮想空間に再度配置及び挙動を制御し、視点情報で示される視点位置からイメージプレーンに投影すると共に光源情報に基づいてシェーディング処理を行うことで、当時生成された映像を再度生成することが可能となる。従って、当時の仮想現実の世界を再現することが可能となる。この場合の再現度は３となる。
パターン０６では、仮想現実関連データ取得部８８０は、視点情報と、光源情報と、仮想現実オブジェクト履歴情報と、視線景色画像とユーザ音声情報と、を取得してデータベース５００に格納する。ここで、パターン０５のモデルデータは、当時における陰面処理に用いられるデータであるが、再現時とではユーザの周囲の環境が変わっているため当該処理は、仮想現実提示用映像を再生成する過程で殆ど意味をなさないため仮想現実関連データとしては取得していない。代わりに、視線景色画像とユーザ音声情報とを記憶しておくことで、当時の光景や自身が発した音声を再現することができる。この場合は、仮想現実の世界の再現度が比較的高いため、再現度は８に設定されている。
パターン０７では、仮想現実関連データ取得部８８０は、光源情報と、仮想現実オブジェクト履歴情報と、再生音声生成履歴情報と、を取得してデータベース５００に格納する。仮想現実提示用音声は、再生音声生成処理部２７０が仮想現実コンテンツ記憶ＤＢ４００より関連する音声データを適宜読み出して生成するが、どの音声データをどの時刻に読み出したかの履歴がわかれば仮想現実提示用音声を再現することができる。そこで、仮想現実関連データ取得部８８０は、再生音声生成処理部２７０を監視し、再生音声生成処理部２７０が読み出す音声データの履歴を再生音声生成履歴情報として取得する。
パターン０５と比較して視点情報が取得されていないため、当時と同じ角度や距離から仮想現実オブジェクトを観察することはできないが第３者の立場から仮想現実オブジェクトを観察することができるため、当時の仮想現実の世界を再現することができる。但し、この場合の再現度は比較的低く、再現度は４である。
パターン０８では、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報を仮想現実関連データとして取得し、データベース５００に格納する。
仮想現実サービス提供サーバ８００から仮想現実提示装置１００へのアウトプットは、仮想現実コンテンツ記憶ＤＢ４００から読み出した各種データやプログラムを実行することで得られるため、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴を抑えておくことで、仮想現実の世界を再現することが可能である。
パターン０９では、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報と、通信部２１０で受信されたユーザ状態情報と、音声解析処理部２２０における音声解析結果である音声コンテキスト情報と、画像解析処理部２３０における画像解析結果とを仮想現実関連データとして取得し、データベース５００に格納する。
以上のように、仮想現実関連データ取得部８８０は、仮想現実提示装置１００がユーザに提示した仮想現実の世界を構築するために用いるデータを仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶ＤＢ５００は、当該仮想現実関連データを記憶しておく。どのような種類のデータを仮想現実関連データとして取得及び記憶するかによって、再現する仮想現実の世界の再現度（再現レベル）が変化する。
一般的に、記憶する仮想現実関連データのデータ量が多いほど、仮想現実の世界の再現度が上昇する一方で、使用されるかわからない大量のデータ記憶してくことはデータベースの使用効率を落とすことになるため、仮想現実の世界の再現度とデータ量との関係を考慮しながら、適宜選択することになる。
ここで、仮想現実の世界を再現するためには、当該仮想現実の世界に表される仮想現実オブジェクトの映像が必要となる。そのため、当該仮想現実オブジェクトを描画済みの仮想現実提示用映像データか、又は、仮想空間に配置されていた当該仮想現実オブジェクトを導くための情報が最低限必要となる。これらの情報を記憶してくことで再現度１のレベルの仮想現実の世界を再現することが可能となる。
ここで、仮想現実の世界の中では、当該仮想現実オブジェクトが動作する。従って、提示済みの仮想現実の世界に表されていた仮想現実オブジェクトが特定できたとしても、それだけでは当時ユーザが感じていた仮想現実の世界からは乖離がある。そのため、上記仮想現実提示用映像データを記憶しておくか、当該仮想現実オブジェクトの動作履歴を導くための情報を更に記憶しておくと再現度が上昇するため好ましい。
また、仮想現実の世界の中では、当該仮想現実オブジェクトが音声を発する。この音声に心を打たれたユーザは、もう一度その音声を聞かなければ、それがバーチャルであったと信じられない可能性がある。そのため、仮想現実提示用音声データか、又は仮想現実オブジェクトが発した音声を導くための情報を更に記憶しておくと再現度が上昇するため好ましい。
また、上述したように、ユーザは人工的に創り出された仮想現実提示用映像及び仮想現実提示用音声と、現実の世界からの景色や音声とを合わせて感知することで、仮想現実の世界を感知する。従って、当時の現実の世界における景色や現実の世界における周辺音声を記憶してくことが、ユーザが感知していた仮想現実の世界を高いレベルで再現するために好ましい。
このように、一例としては、仮想現実関連データ取得部８８０は、仮想現実サービス提供サーバ８００から仮想現実提示装置１００へ送信される仮想現実提示用映像データと仮想現実提示用音声データとを仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想現実提示用映像データと仮想現実提示用音声データとを記憶する。
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００から仮想現実サービス提供サーバ８００へ順次送信される前方景色画像を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された前方景色画像を仮想現実関連データとして記憶する。なお、仮想現実関連データ取得部８８０は、周辺景色画像を合わせて取得し、提示済み仮想現実関連データ記憶データベース５００が当該周辺景色画像を記憶すると更に良好である。
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００から仮想現実サービス提供サーバ８００へ送信されるユーザ状態情報を順次取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得されたユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する。ユーザ状態情報として、ユーザの表情を撮影した内部カメラで撮影された画像などが含まれている場合には、ユーザが仮想現実の世界に夢中になっている表情が写っているため、当時の状況をより客観的に見直すことができる。
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００で入力されるユーザ音声データや周辺音声データなどの各種音声データを取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された音声データを時系列に纏めた音声履歴情報を記憶する。仮想現実の世界に嵌まっているユーザは、仮想現実オブジェクトとの間で双方向に会話を行っているため、ユーザ側から発した音声や外部環境の音声などを合わせて記憶しておくことで、仮想現実の世界の再現度を高めることができる。
また、別の形態として、仮想現実関連データ取得部８８０は、少なくとも仮想空間生成処理部８１０が生成する仮想空間に配置されていく仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を順次取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想空間に配置される仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する。当該構成によれば、仮想現実オブジェクト履歴情報に従って、仮想空間に再度仮想現実オブジェクト識別情報で識別される仮想現実オブジェクトを仮想現実コンテンツ記憶データベース４００より読み出して配置していくことで仮想現実の世界を一定レベルで再現することができる。
ここで、仮想現実関連データ取得部８８０は、仮想現実オブジェクトの仮想空間内での位置座標と、仮想現実オブジェクトの挙動に係る情報とを仮想現実関連データとして取得すると更に良好である。提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想現実オブジェクトの仮想空間内での位置座標と、仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた仮想現実オブジェクト履歴情報を記憶する。当該構成とすることで、複数の仮想現実オブジェクトが同時に仮想空間に配置される場合は、仮想現実オブジェクトの相対的な位置関係が仮想現実の世界を再現する上で重要な要素となるが、この相対位置関係まで再現することが可能となる。また、仮想現実オブジェクトが動作可能なオブジェクトである場合は、その動作まで再現できることで、当時の仮想現実の世界を再現することができる。
また、仮想現実関連データ取得部８８０は、少なくとも仮想空間生成処理部８１０が生成する仮想空間に配置されている仮想現実オブジェクトの挙動を制御する挙動制御プログラムの実行履歴を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された共同制御プログラム実行履歴を時系列に纏めた挙動制御プログラム実行履歴情報を記憶する構成とすると良い。
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００のユーザマイク１３１で入力されたユーザ音声の中から音声解析処理部２２０（音声コンテキスト抽出部）で順次抽出された音声コンテキストや感情要素に関する情報を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、順次取得された音声コンテキストや感情要素を時系列に纏めた音声コンテキスト履歴情報を記憶する。
また、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶データベース５００に対するアクセス履歴を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該仮想現実コンテンツ記憶データベース５００に対するアクセス履歴を時系列に纏めたアクセス履歴情報を記憶する構成とすると良い。
提示済み仮想現実関連データ記憶データベース５００は、上記の各種データを、仮想現実の世界を識別する仮想現実識別情報毎に対応付けて記憶すると、再現したい仮想現実の世界に係るデータ纏めて読み出せるため好ましい。
図９０は、提示済みの仮想現実の世界を再現する仮想現実再現要求処理サーバ９００を含むシステム全体のブロック図である。仮想現実再現要求処理サーバ９００は、通信部９１０と、再現要求処理部９２０と、仮想現実関連データ読み出し部９３０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、再生音声生成処理部２７０と、仮想空間生成処理部８１０と、仮想現実オブジェクト配置処理部８２０と、視点制御部８３０と、光源制御部８４０と、を備える。
通信部９１０は、仮想現実の再現を要求する仮想現実提示装置１００ｎやＰＣ２０との間で通信を行う。通信部９１０は、仮想現実の世界の再現を要求する仮想現実再現要求を受信する再現要求受信部９１１と、再現する仮想現実の世界を構築するための仮想現実提示用データを送信する再現仮想現実提示用データ送信部９１２とを備える。
再現要求処理部９２０は、再現要求受信部９１１で受信された再現要求に基づいて仮想現実の世界を再現するための処理を実行するかを判定する。再現要求には、ユーザを識別するユーザＩＤとユーザのパスワードと、再現を要求する仮想現実の世界を特定する提示済み仮想現実識別情報が少なくとも含まれる。再現要求処理部９２０は、当該再現要求に含まれるユーザＩＤとパスワードとの組が一致するかを契約者情報記憶ＤＢ３００に記憶している契約者情報を参照して認証処理を行う。再現要求が適切であった場合は、再現要求処理部９２０は、仮想現実関連データ読み出し部９３０に、再現要求に含まれる仮想現実識別情報で指定される仮想現実の世界に係る仮想現実関連データの読み出し指示を出す。
仮想現実関連データ読み出し部９３０は、当該指示に基づいて、仮想現実識別情報で識別される各仮想現実関連データを提示済み仮想現実関連データ記憶ＤＢ５００より順次読み出して、対応する各部に出力する。
例えば、提示済み仮想現実関連データ記憶ＤＢ５００に仮想現実関連データとして、仮想現実提示用映像データや仮想現実提示用音声データがそのままの形式で記憶されている場合は、仮想現実関連データ読み出し部９３０は、当該データを読み出して再現仮想現実提示用データ送信部９１２に出力する。再現仮想現実提示用データ送信部９１２は、仮想現実関連データ読み出し部９３０で読み出された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置に送信する。
また、仮想現実関連データに視線景色画像が含まれている場合、当該視線景色画像を合わせて要求元の装置に送信する構成としても良いし、仮想現実再現要求処理サーバ９００内に映像合成処理部を設けておき、仮想現実提示用映像データと周囲景色画像とを合成した合成後仮想現実提示用映像データを再現要求元の装置へ送信する構成としても良い。
上述の形式で仮想現実関連データが記憶されている場合は、その他の機能ブロックは必要ないが、仮想現実関連データとして制御プログラム実行履歴情報と言う形式で記憶されている場合などには、別途仮想現実再現処理サーバ９００で仮想現実提示用の映像等を再生成する必要がある。この場合、仮想現実関連データ読み出し部９３０は読み出した制御プログラム実行履歴情報を仮想現実サービス提供制御部２４０に出力する。仮想現実サービス提供制御部２４０は、当該制御プログラム実行履歴情報に示されるタイミング毎に、対応する制御プログラムを仮想現実コンテンツ記憶ＤＢ４００より読み出して実行することで、表示映像生成処理部２６０や再生音声生成処理部２７０で提示済みの仮想現実の世界に係る仮想現実提示用映像データや仮想現実提示用音声データが再生成される。再現仮想現実提示用データ送信部９１２は、これらの再生成された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置へ送信する。
また、仮想現実関連データとして仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報と言う形式で記憶されている場合、仮想現実関連データ読み出し部９３０は、読み出したアクセス履歴情報を仮想現実サービス提供制御部２４０、仮想現実オブジェクト挙動制御部２５０、仮想現実オブジェクト配置処理部８２０、再生音声生成処理部２７０、など仮想現実コンテンツ記憶ＤＢ４００より対応するデータやプログラムを読み出す各部に出力する。これら各部は、アクセス履歴情報で示されるタイミングで、それぞれ指定されているデータやプログラムを読み出して処理していくことで、提示済みの仮想現実の世界に係る仮想現実提示用映像データや仮想現実提示用音声データが表示映像生成処理部２６０や再生音声生成処理部２７０で再生成される。再現仮想現実提示用データ送信部９１２は、これらの再生成された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置へ送信する。
以上実施形態１５〜１７で説明したように、本発明によれば仮想現実の世界を体験したユーザは、再度同一の仮想現実の世界を再現することを要求できる。
ユーザの視点位置及び視線方向の変化に従って表示される映像が変化することで、表示パネルに表示されている映像上の物体や人物などが現実の世界に実在するようにユーザに提示されることにより、仮想現実の世界が構築される。ここで、仮想現実提示装置は、透過型ヘッドマウントディスプレイ装置に限定されるものではない。例えば、ユーザの左右の目の位置にそれぞれ配置された視線カメラでそれぞれ撮影される映像に、仮想現実オブジェクトを描画した仮想現実提示用映像を合成して表示することで、ユーザに仮想現実の世界を提示する構成とすることができる。
なお、上記説明した音声解析処理部や画像解析処理部は、それぞれ専用の音声解析サーバや画像解析サーバを別途設け、仮想現実サービス提供サーバと通信を行う構成と良好である。その他、上述した各処理部は１台の情報処理サーバに含まれていても良いし、複数台の情報処理サーバが連動する構成としても良い。
また、上記説明では、仮想現実サービス提供サーバが備える再生音声生成処理部が仮想現実提示用の音声データを生成する場合について説明したが、仮想現実コンテンツ記憶ＤＢ４００に予め再生可能な状態で仮想現実提示用音声データが記憶されている場合は、再生音声生成処理部は、当該仮想現実提示用音声データを読み出して仮想現実提示装置に送信する構成としても良い。
また、視線カメラや周辺カメラは、静止画像を撮影して仮想現実サービス提供サーバに送信する構成としても良いし、動画像を撮影して仮想現実サービス提供サーバに送信する構成としても良い。
なお、仮想現実関連データ取得部８８０は、仮想現実提示装置１００に送信される仮想現実提示用映像データの解像度を下げてデータを小さくした上で記憶する構成としても良い。
なお、上述の仮想現実コンテンツには、雪や後光、雨、雷などの特殊映像エフェクトのデータが含まれていると更に良好である。表示映像生成処理部は、仮想現実オブジェクトを描画した映像に当該特殊映像エフェクトのレイヤーを重ねた合成映像を仮想現実提示用映像として生成する構成とすると更に良好である。
なお、上述した仮想現実関連データの取り方は一例であり、仮想現実サービスを提供する会社が適宜選択して記憶保管しておくことが可能である。一般的に、仮想の世界を高い再現度で再現できるようにするためには、仮想現実関連データのデータ量が多くなるため、容量の大きなデータベースを用意する必要がある。そのため、再現度を落としてでも仮想現実関連データのデータ量を抑えるように構成しても良い。また、一定期日が経過した場合に、提示済み仮想現実関連データ記憶ＤＢ５００に記憶されている仮想現実関連データを消去していく消去手段を上記仮想現実再現要求処理サーバが備えていても良い。
また、上述した仮想現実再現要求処理サーバと仮想現実サービス提供サーバは、共通の処理部が多数存在するため一体として構成されていても良い。
また、上述した各処理部は、ＣＰＵ等の情報処理装置に所定のプログラムを実行させることでハードウェアとソフトウェアが恊働することにより実現することが可能である。
また、上述した各実施形態の構成を適宜組み合わせることも可能である。例えば実施形態１の仮想現実提示システムと、実施形態１０の仮想現実提示システムと、実施形態１５の仮想現実提示システムを組み合わせ、各仮想現実提示システムに含まれる仮想現実提示装置と仮想現実サービス提供サーバの機能をそれぞれ具備する仮想現実提示装置および仮想現実サービス提供サーバとしても良い。また、例えば実施形態７と実施形態１４と実施形態１７で示した仮想現実提示システムを統合することにより、仮想現実サービス提供時には、現実世界と仮想現実世界の不連続点を抑えたり仮想現実度を制御したりしつつユーザに対して仮想現実世界を提示することで高い錯覚度を実現し、ユーザを仮想現実世界に没入することを可能としてユーザの満足度を高める一方、ユーザに対して提供した仮想現実サービスの履歴を後日再現出来るようにすることで仮想現実サービスを堪能した後も現実と仮想現実の世界の区別がつかなくなることを防ぐことができる構成としても良い。このように統合した仮想現実提示システムにおいて用いられる仮想現実提示装置は、実施形態７、１４、１７にそれぞれ含まれる仮想現実提示装置の各機能を備え、同様に仮想現実サービス提供サーバは、実施形態７、１４、１７にそれぞれ含まれる仮想現実サービス提供サーバが備える各機能を備え、その他のデータベースや補助サーバがそれぞれ当該統合された仮想現実提示システム内に配置される構成を取ると良い。また、上記仮想現実サービス提供システムの一部は、ホームサーバと言う形で自宅内に配置されていても良い。
また、仮想現実は拡張現実（Agumented Reality）と称されることがある。また、ユーザに提示される映像の一部はリアルタイムに描画される映像ではなく、背景画像として予め生成された画像からユーザ状態に基づいて定まる領域を表示する構成としても良い。
また、以上の実施形態１０〜１４で説明したように、本発明によれば新たに導入されたパラメータに従って、許容パラメータの範囲内に収まる様に仮想現実提示用の各種データを生成して提示する。従って、適切に仮想現実の世界がユーザに提示される。
なお、上記説明した仮想現実コンテンツ記憶部は仮想現実コンテンツ記憶データベースと言う形で様々な種類の仮想現実コンテンツを記憶管理する構成とすることが好ましい。また、画像解析処理部についても専用の画像解析サーバを別途設け、仮想現実サービス提供サーバと通信を行う構成とすることが好ましい。その他、上述した各処理部は１台の情報処理サーバに含まれていても良いし、複数台の情報処理サーバが連動する構成としても良い。
なお、上述した提示可能仮想現実度、提示中仮想現実度、錯覚度などの各種パラメータの取り方や算出方法は、仮想現実提示装置メーカーや仮想現実サービス提供システムに依存して適宜最適なものを選択することが可能である。
また、提示可能な仮想現実度はユーザに提示される仮想現実サービス毎に設定されていても良いし、ユーザ毎に設定されていても良い。ファンタジー系の仮想現実度の高い仮想現実の世界を提示する仮想現実サービスでは、仮想現実度が高くなるため、提示可能仮想現実度も高めの仮想現実度が算出されるようにしておくと良い。また、一般的に仮想現実度が高い仮想現実の世界を実現するためには、様々な仮想現実オブジェクトを配置したり特殊映像エフェクトなどを使用したり、生成する映像のフレームレートを上げたりと、処理量が増加する傾向にある。当該仮想現実サービス提供システムにおいて消費されるリソース量が増加するため、高い値段の契約を行っているユーザに対しては高い仮想現実度を設定し、無料ユーザ等には安い仮想現実度を割り当てる構成とするとビジネスモデルが成り立つため好ましい。すなわち、提供可能仮想現実度算出部１０２０は、仮想現実サービスを提供するユーザの契約情報を契約情報記憶部３０６０から読み出し、当該契約情報に基づいて当該提供可能な仮想現実の世界に係る仮想現実度を設定する構成とすると良い。
また、ユーザの寝起きや就寝時には高い仮想現実度を提供可能仮想現実度として設定すると良い。ユーザの寝起き時には寝ぼけているため、夢と現実の世界との境界があやふやである。従って、ユーザが仮想現実提示装置を装着したまま就寝し、ユーザの目が覚めた時点で仮想現実度の高い仮想現実の世界をユーザに提示する。当該仮想現実の世界を見るユーザは寝ぼけており、判断力が低いため、自身が見ている景色を夢の映像と錯覚する。従って、ユーザは夢を見るような感覚で、仮想現実提示装置が提示する仮想現実の世界を堪能することができる。
また、上述した各機能は、ＣＰＵ等の情報処理装置に所定のプログラムを実行させることでハードウェアとソフトウェアが恊働することにより実現することが可能である。
また、上述した各実施形態の構成を適宜組み合わせることも可能である。また、上記仮想現実サービス提供システムの一部は、ホームサーバと言う形で自宅内に配置されていても良い。
また、上述した仮想現実（Virtual Reality）は拡張現実（Augmented Reality）と称されることがある。従って仮想現実提示装置は拡張現実提示装置と、仮想現実提示システムは拡張現実提示システムと、仮想現実サービス提供サーバは拡張現実サービス提供サーバと、仮想現実サービスは拡張現実サービスとそれぞれ称されることがある。また、ユーザに提示される映像の一部はリアルタイムに描画される映像ではなく、背景画像として予め生成された画像からユーザ状態に基づいて定まる領域を表示する構成としても良い。
また、以上の実施形態１〜９で説明したように、本発明に係る仮想現実提示システムによれば、ユーザからの明確な指示や要求に基づいて直ちに仮想現実の世界をユーザに提示するのではなく、ユーザの状態に基づいて、提示タイミング等を制御した上でユーザに提示する。当該構成とすることで、ユーザは自然に仮想現実の世界に入り込むことができる。
なお、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、仮想現実サービス提供サーバが備える画像解析部は、画像解析サーバとして独立して仮想現実サービス提供システム内に配置される構成としても良い。また、各実施形態の構成を組み合わせることも可能である。
また、上述した各実施形態を組み合わせることも可能である。また、本発明は、以下の構成とすることも可能である。
（付記１）
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、
前記生成された仮想現実提示用の映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、
を備える仮想現実提示システム。
（付記２）
仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
前記仮想空間を設定する仮想空間設定手段と、
前記仮想現実オブジェクト記憶手段より前記仮想現実オブジェクトを読み出して前記設定された仮想空間に配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて、前記設定された仮想空間における視点の位置座標と視線方向とを更新する視点制御手段と、
を更に備え、
前記映像生成手段は、前記視点制御手段で更新される前記視点の位置座標と視線方向とのに基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実提示用の映像を生成する、
付記１に記載の仮想現実提示システム。
（付記３）
周囲の景色を撮影して周囲景色画像を取得する周囲撮影手段と、
前記周囲景色画像から所定の光学成分を抽出する光学成分抽出手段と、
前記抽出された光学成分に基づいて、前記仮想空間における光源の位置座標と光源の輝度又は照度を更新する光源制御手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記光源制御手段で更新される前記光源の位置座標と光源の輝度又は照度に基づいてシェーディング処理を行うことで前記仮想現実提示用の映像を生成する、
付記２に記載の仮想現実提示システム。
（付記４）
前記周囲景色画像に写る現実の世界における各物体をモデル化して現実オブジェクトを生成するモデリング処理手段と、
前記モデリング処理手段生成された現実オブジェクトを前記仮想空間に配置するモデルデータ配置手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記モデルデータ配置手段が配置する現実オブジェクトで前記仮想現実オブジェクト配置手段が配置する仮想現実オブジェクトを隠す陰面処理を行うことで、前記仮想現実提示用の映像を生成する、
付記２又は３に記載の仮想現実提示システム。
（付記５）
前記仮想現実オブジェクト配置手段は、複数の仮想現実オブジェクトを前記仮想空間の異なるレイヤーにそれぞれ配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記表示制御手段は、前記レイヤー別仮想現実提示用映像を合成し、合成後の映像を前記表示手段に表示する制御を行う、
付記４に記載の仮想現実提示システム。
（付記６）
前記仮想現実オブジェクト配置手段は、新たに配置する仮想現実オブジェクトを、新たな仮想空間のレイヤーに配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記判定手段は、前記新たな仮想現実オブジェクトの映像の表示を開始するかを判定し、
前記表示手段は、前記判定手段で前記新たな仮想現実オブジェクトの映像の表示を開始すると判定された場合に、前記新たな仮想現実オブジェクトが配置されているレイヤーのレイヤー別仮想現実提示用映像を他のレイヤー別仮想現実提示用映像と合成し、合成後の映像を前記表示手段に表示する制御を行う、
付記５に記載の仮想現実提示システム。
（付記７）
ユーザの状態を検知するユーザ状態検知手段と、
映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
を備える仮想現実提示装置。
（付記８）
前記ユーザ状態検知手段は、ユーザの顔の一部又は全部を撮影することでユーザの顔の状態を検知し、
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザの目が所定の時間閉じているかを判定し、
前記表示制御手段は、ユーザの目が所定の時間閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７に記載の仮想現実感提示装置。
（付記９）
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、
前記表示制御手段は、ユーザが深く目を閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記８に記載の仮想現実感提示装置。
（付記１０）
前記ユーザ状態検知手段は、ユーザの脳波を更に検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザの脳波の値が所定の基準を満たしているかを判定し、
前記表示制御手段は、ユーザの脳波の値が所定の基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７乃至９のいずれか１項に記載の仮想現実感提示装置。
（付記１１）
前記ユーザ状態検知手段は、ユーザが向いている方向を検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザが向いている方向が、所定の基準角度以上変化したかを判定し、
前記表示制御手段は、ユーザが向いている方向が、所定の基準角度以上変化したと判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７乃至１０のいずれか１項に記載の仮想現実感提示装置。
（付記１２）
前記ユーザ状態検知手段で検知されたユーザの状態を示す情報を送信する送信手段と、
前記所定の基準を示す情報と前記仮想現実提示用の映像とを受信する受信手段と、
前記受信された情報に基づいて、前記所定の基準を設定する設定手段を更に具備し、
前記判定手段は、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしているかを判定し、
前記表示制御手段は、前記判定手段において、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしていると判定された場合に、前記受信手段で受信された前記仮想現実提示用の映像を前記映像表示手段で表示する制御を行う、
付記７乃至１１のいずれか１項に記載の仮想現実提示装置。
（付記１３）
ユーザの状態を検知するユーザ状態検知ステップと、
前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、
前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、
前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、
前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、
を有する仮想現実提示方法。
（付記１４）
ユーザの状態を検知するユーザ状態検知手段と、
映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
を備えるヘッドマウントディスプレイ装置。
（付記１０１）（基本設計）
ユーザの状態を検知するユーザ状態検知手段と、
現在提示可能な仮想現実の世界の仮想現実度を算出する提示可能仮想現実度算出手段と、
前記ユーザの状態に基づいて、前記提示可能仮想現実度算出手段で算出された仮想現実度に収まるように仮想現実提示用の映像を生成する映像生成処理手段と、
前記生成された映像を表示する表示手段と、
を備える仮想現実提示システム。
（付記１０２）（仮想現実度の算出方法）
現在提示している仮想現実の世界の仮想現実度を算出する提示中仮想現実度算出手段を備え、
前記提示可能仮想現実度算出手段は、前記提示中仮想現実度算出手段で算出された現在提示している仮想現実の世界の仮想現実度を基準として、現在提示可能な仮想現実の世界の仮想現実度を算出する、
付記１０１に記載の仮想現実提示システム。
（付記１０３）（錯覚度）
ユーザの錯覚度を算出する錯覚度算出手段を備え、
前記提示可能仮想現実度算出手段は、前記提示中仮想現実度算出手段で算出された現在提示している仮想現実の世界の仮想現実度を基準として、前記錯覚度算出手段で算出された錯覚度に基づいて決定される値を加算、減算、乗算、除算のいずれかを実行することで現在提示可能な仮想現実の世界の仮想現実度を算出する、
付記１０２に記載の仮想現実提示システム。
（付記１０４）（錯覚度）
前記ユーザ状態検知手段は、ユーザの脳波を検出する脳波センサ、ユーザの顔の一部又は全部を撮影する内部カメラ、ユーザの血圧を測定する血圧センサ、ユーザの心拍数を計測する脈拍センサ、ユーザの発汗量を検知する発汗量センサ、の少なくとも１つを備え、
前記錯覚度算出手段は、前記ユーザ状態検知手段が備えるいずれかのセンサにおける検知結果に基づいて前記ユーザの錯覚度を算出する、
付記１０３に記載の仮想現実提示システム。
（付記１０５）（仮想現実オブジェクト）
複数の仮想現実オブジェクトを少なくとも記憶する仮想現実コンテンツ記憶手段と、
仮想空間を生成する仮想空間生成手段と、
前記仮想空間に前記仮想現実オブジェクトを配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態に基づいて、前記仮想空間における視点座標及び視線方向を制御する視点制御手段と、
前記視点制御手段で更新される視点座標及び視線方向に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する描画処理手段と、
を備え、
前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された仮想現実度に収まるように前記仮想現実オブジェクトを前記仮想空間に配置する、
付記１０１〜１０４のいずれか１項に記載の仮想現実提示システム。
（付記１０６）（仮想現実オブジェクト削除）
前記仮想現実オブジェクト配置手段は、前記提示可能な仮想現実の世界の仮想現実度が、現在提示中の仮想現実の世界の仮想現実度を下回っている場合に、仮想空間に配置中の仮想現実オブジェクトを前記仮想空間から削除することで、提示する仮想現実の世界の仮想現実度が提示可能な仮想現実の世界の仮想現実度に収まるようにすることを特徴とする、
付記１０５に記載の仮想現実提示システム。
（付記１０７）（仮想現実度対応）
前記仮想現実コンテンツ記憶手段は、前記仮想現実オブジェクトの各々に設定されている仮想現実度と対応付けて前記仮想現実オブジェクトを記憶し、
前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された仮想現実度よりも低い仮想現実度と対応付けられている前記仮想現実オブジェクトを前記仮想現実コンテンツ記憶手段より読み出して前記仮想空間に配置する、
付記１０６に記載の仮想現実提示システム。
（付記１０８）（余剰仮想現実度）
前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された前記仮想現実度から前記提示中仮想現実度算出手段で算出された仮想現実度を減算することで求まる余剰仮想現実度よりも低い仮想現実度と対応付けられている前記仮想現実オブジェクトを前記仮想現実コンテンツ記憶手段より読み出して前記仮想空間に配置する、
付記１０７に記載の仮想現実提示システム。
（付記１０９）（周囲状況別）
ユーザの周囲の状況を検知する周囲状況検知手段と、
前記周囲状況検知手段における検知結果に基づいてユーザの周囲の状況を特定する周囲状況特定手段と、
を備え、
前記仮想現実コンテンツ記憶手段は、前記仮想現実オブジェクトと周囲状況別の仮想現実度との対応関係を記憶し、
前記仮想現実オブジェクト配置手段は、前記仮想空間に配置する仮想現実オブジェクトの、前記周囲状況特定手段で特定されたユーザの周囲の状況に対応する仮想現実度が、前記提示可能仮想現実度算出手段で算出される前記仮想現実度を下回る様に、前記仮想現実オブジェクトを選択して前記仮想現実オブジェクト記憶手段より読み出し、前記仮想空間に配置する、
付記１０５〜１０８のいずれか１項に記載の仮想現実提示システム。
（付記１１０）（シェーディング）
前記周囲状況検知手段は、ユーザの周囲の状況を撮影して周囲景色画像を取得し、
前記周囲景色画像に基づいて光源の位置座標及び光源の照度又は輝度を更新する光源制御手段と、
前記周囲景色画像に含まれる物体のモデルデータを生成するモデルデータ生成手段と、
を更に備え、
前記描画処理手段は、前記視点制御手段で更新される視点座標及び視線方向に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを投影して２次元画像を生成する投影処理と、前記光源制御部で更新される光源の位置座標及び光源の照度又は輝度に基づいて仮想現実オブジェクトの輝度を算出するシェーディング処理と、前記モデルデータに基づいて前記仮想現実オブジェクトの一部を隠す陰面処理と、を少なくとも実行することで前記仮想現実提示用の映像を生成する、
付記１０５〜１０９のいずれか１項に記載の仮想現実提示システム
（付記２０１）（システム基本設計）
仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、
前記仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して前記仮想現実提示装置へ送信する仮想現実サービス提供サーバと、
前記仮想現実提示装置が前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、
を具備する仮想現実提示システム。
（付記２０２）（提示済み仮想現実履歴情報）
前記仮想現実サービス提供サーバは、前記提示する仮想現実の世界を識別する仮想現実識別情報を割り当てる仮想現実識別情報割当手段を具備し、
ユーザを識別する識別情報と、前記ユーザに提示された前記仮想現実の世界に割り当てられた前記仮想現実識別情報との対応関係を時系列に纏めた提供済み仮想現実履歴情報を記憶する仮想現実サービス履歴情報記憶データベースを更に具備する、
付記２０１に記載の仮想現実提示システム。
（付記２０３）（提供済み仮想現実サービス履歴情報）
ユーザを識別する識別情報と前記ユーザに提供された前記仮想現実サービスを識別する仮想現実サービス識別情報との対応関係を時系列に纏めた提供済み仮想現実サービス履歴情報を記憶する仮想現実サービス履歴情報記憶データベースを更に具備する、
付記２０１に記載の仮想現実提示システム。
（付記２０４）（仮想現実オブジェクト）
少なくとも前記仮想現実サービスに係る仮想現実オブジェクトを含む前記仮想現実の世界の構築に使用する仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベースを更に具備し、
前記仮想現実サービス提供サーバは、
仮想空間を生成する仮想空間生成手段と、
前記仮想現実サービスに係る前記仮想現実オブジェクトを前記仮想空間に配置する仮想現実オブジェクト配置手段と、
前記仮想空間に配置されている仮想現実オブジェクトをリアルタイムに描画して前記仮想現実提示用映像データを順次生成する映像生成手段と、
を少なくとも具備し、
前記仮想現実提示装置は、前記生成された仮想現実提示用映像データに基づいて前記仮想現実オブジェクトを含む映像を表示することで前記仮想現実の世界をユーザに提示する、
付記２０１〜２０３に記載の仮想現実提示システム。
（付記２０５）（ユーザ状態に基づく描画）
前記仮想現実提示装置は、
ユーザの状態を検知するユーザ状態検知手段と、
前記検知されたユーザの状態を示すユーザ状態情報を無線送信する無線送信手段と、
前記仮想現実提示用映像データを無線受信する無線受信手段と、
前記無線受信された仮想現実提示用映像データに基づいて、仮想現実提示用映像を表示する表示手段と、
を具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ状態情報を受信する受信手段と、
前記映像生成手段で順次生成される前記仮想現実提示用映像データを送信する送信手段と、
を更に具備し、
前記映像生成手段は、前記ユーザ状態情報に基づいて特定される視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
付記２０４に記載の仮想現実提示システム。
（付記２０６）（仮想現実提示用音声）
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実サービスに係る音声データを記憶し、
前記仮想現実サービス提供サーバは、前記仮想現実コンテンツ記憶データベースに記憶されている前記仮想現実サービスに係る音声データに基づいて、仮想現実提示用音声データを生成する音声生成処理手段を更に具備し、
前記仮想現実提示装置は、前記仮想現実提示用音声データをアナログ電気信号に変換して仮想現実提示用音声を外部へ出力する音声出力手段を更に具備する、
付記２０５に記載の仮想現実提示システム。
（付記２０７）（視線景色画像）
前記仮想現実提示装置は、
ユーザが発する音声を集音してユーザ音声データを取得する音声入力手段と、
少なくともユーザの前方方向を撮影して前方景色画像を取得する画像撮影手段と、
を更に具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ音声データに含まれる音声コンテキストを抽出する音声コンテキスト抽出手段と、
前記前方景色画像から照度又は輝度に関する光学情報を抽出し、光源の位置座標及び前記光源の照度又は輝度を更新する光源制御手段と、
前記ユーザ状態情報に基づいて前記視点位置座標及び視線方向を更新する視点制御手段と、
を更に具備し、
前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向と、前記光源制御手段によって更新される前記光源位置座標及び前記光源の照度又は輝度に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
付記２０６に記載の仮想現実提示システム。
（付記２０８）（シェーディング）
前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトを投影して投影画像を生成し、前記光源制御手段によって更新される前記光源の位置座標及び前記光源の照度又は輝度に基づいて前記投影画像における前記仮想現実オブジェクトの輝度又は照度を算出することで前記仮想現実提示用映像を生成する、
付記２０７に記載の仮想現実提示システム。
（付記２０９）（仮想現実オブジェクト挙動制御）
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを更に記憶し、
前記仮想現実サービス提供サーバは、
前記仮想現実コンテンツ記憶データベースから読み出した前記仮想現実オブジェクト挙動制御プログラムを実行することで、前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備する、
付記２０７又は２０８に記載の仮想現実提示システム。
（付記２１０）（仮想現実関連データの種類：仮想現実提示用データ）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実サービス提供サーバから前記仮想現実提示装置へ送信される前記仮想現実提示用映像データと前記仮想現実提示用音声データとを記憶する、
付記２０９に記載の仮想現実提示システム。
（付記２１１）（仮想現実関連データの種類：周囲景色画像）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から仮想現実サービス提供サーバへ送信される前記前方景色画像を記憶する、
付記２１０に記載の仮想現実提示システム。
（付記２１２）（仮想現実関連データの種類：ユーザ状態情報）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から前記仮想現実サービス提供サーバへ送信される前記ユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する、
付記２１０又は２１１に記載の仮想現実提示システム。
（付記２１３）（仮想現実関連データの種類：ユーザ音声データ）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置で入力される前記ユーザ音声データを時系列に纏めたユーザ音声履歴情報を記憶する、
付記２１０〜２１２のいずれか１項に記載の仮想現実提示システム。
（付記２１４）（仮想現実関連データの種類：仮想現実オブジェクト履歴）
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する、
付記２０９に記載の仮想現実提示システム。
（付記２１５）（仮想現実関連データの種類：仮想現実オブジェクト履歴）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実オブジェクトの前記仮想空間内での位置座標と、前記仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた前記仮想現実オブジェクト履歴情報を記憶する、
付記２１４に記載の仮想現実提示システム。
（付記２１６）（仮想現実関連データの種類：制御プログラム実行履歴）
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する挙動制御プログラムの実行履歴を時系列に纏めた挙動制御プログラム実行履歴情報を記憶する、
付記２０９に記載の仮想現実提示システム。
（付記２１７）（仮想現実関連データの種類：制御プログラム実行履歴）
前記提示済み仮想現実関連データ記憶データベースは、前記音声コンテキスト抽出手段で抽出された前記音声コンテキストを時系列に纏めた音声コンテキスト履歴情報を記憶する、
付記２１６に記載の仮想現実提示システム。
（付記２１８）（方法）
仮想現実サービスに係る仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成する生成ステップと、
前記生成された仮想現実提示用映像データを表示することで前記仮想現実の世界をユーザに提示する提示ステップと、
前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶ステップと、
を有する仮想現実提示方法。
本発明は、クリエイティビティーの高い仮想現実の世界の提供などに幅広く利用可能である。
（実施形態１〜９について）
１００ 仮想現実提示装置 １１０ ユーザ状態検知部
１１１ 内部カメラ １１２ 傾きセンサ
１１３ 加速度センサ １１４ 脳波センサ
１１５ 生体センサ １２０ 映像表示開始判定処理部
１３０ 表示制御部 １３１ 映像読み出し部
１３２ 映像復号化処理部 １３３ 映像合成処理部
１３４ レイヤー順序管理部 １３５ 映像補正処理部
１４０ 表示部 １４１ａ ライト表示パネル
１４１ｂ レフト表示パネル １４２ 光源
１４３ 導光板 １４４ ＬＣＤ（液晶表示ディスプレイ）
１４５ ＬＣＤ（外界光透過制御用）
１４６ａ レンズ群 １４６ｂ ＰＬＣ
１４６ｃ 第１反射ミラー １４６ｄ Ｒ反射ダイクロイックミラー
１４６ｅ Ｇ反射ダイクロイックミラー １４６ｆ 第２反射ミラー
１４６ｇ 第３反射ミラー １４６ｈ 第１液晶パネル
１４６ｊ クロスダイクロプリズム １４６ｋ 第４反射ミラー
１４６ｍ 第２液晶パネル １４６ｎ 第３液晶パネル
１４６ｐ ガルバノミラー １４６ｑ 照射窓
２００ 仮想現実提示装置
２１０ 音声入力部 ２１１ ユーザマイク
２１２ 周囲マイク ２２０ 装置側仮想現実提示制御部
２３０ 通信部 ２３１ 無線送信部
２３２ 無線受信部 ２４０ 映像データ一時記憶部
３００ 仮想現実提示装置
３１０ 周囲状況検知部 ３１１ 視線カメラ（前方カメラ）
３１２ 周辺カメラ ３２０ 映像表示開始条件設定部
４００ 仮想現実提示装置
４１０ 仮想現実提示用データ記憶部 ４２０ 仮想現実提示条件設定部
４３０ 音声再生開始判定処理部 ４４０ 音声再生制御部
４４１ 音声データ読み出し部 ４４２ 音声復号化処理部
４５０ 音声出力部 ４５１ａ ライトスピーカ
４５１ｂ レフトスピーカ
５００ 仮想現実提示装置
５１０ 映像表示終了判定処理部 ５２０ 仮想現実提示終了条件設定部
５３０ 音声再生終了判定処理部
６００ 仮想現実提示装置
７００ 仮想現実提示装置
７１０ 映像表示条件設定部 ７２０ 映像表示判定処理部７２０
８００ 仮想現実提示装置
９００ 仮想現実提示装置
２０００ 仮想現実提示システム
２０１０ 仮想現実提示制御部 ２０２０ 表示映像生成処理部
２１００ 仮想現実サービス提供サーバ ２１１０ 通信部
２１２０ 音声コンテキスト取得部 ２１３０ サーバ側仮想現実提示制御部
２１３１ 仮想現実サービス提供可否判定部
２１３２ 仮想現実サービス決定処理部
２１３３ 仮想現実サービス制御部
２１３４ 通知情報生成処理部
２１４０ 表示映像生成処理部 ２１４１ 視点制御部
２１４２ 光源制御部 ２１４３ 描画処理部
２１４４ 映像符号化処理部 ２２００ 音声解析サーバ
２２１０ 音声解析処理部 ２２２０ 音声コンテキスト抽出部
２３００ 仮想現実コンテンツ記憶ＤＢ
３０００ 仮想現実提示システム
３１００ 仮想現実サービス提供サーバ ３１１０ 画像解析処理部
３１１１ 物***置特定部 ３１１２ 光学成分抽出部
３１２０ 仮想現実オブジェクト読み出し部
３１３０ 仮想空間設定部 ３１３１ 仮想空間生成処理部
３１３２ 仮想空間更新管理部 ３１４０ 仮想現実オブジェクト配置部
３２００ 契約者情報記憶ＤＢ
４０００ 仮想現実提示システム
４１００ 仮想現実サービス提供サーバ ４１１０ 仮想現実コンテンツ読み出し部
４１２０ 再生音声生成処理部 ４１２１ 聴覚点制御部
４１２２ 音声分配処理部
４１２２ａ 仮想現実オブジェクト配置位置取得部
４１２２ｂ 相対位置関係算出部
４１２２ｃ チャンネル別音声データ生成処理部
４１２３ 音声符号化処理部
５０００ 仮想現実提示システム
５１００ 仮想現実サービス提供サーバ ５１１０ 仮想現実オブジェクト挙動制御部
６０００ 仮想現実提示システム
６１００ 仮想現実サービス提供サーバ ６１１０ 仮想現実提示開始判定処理部
７０００ 仮想現実提示システム
７１００ 仮想現実サービス提供サーバ
８０００ 仮想現実提示システム
８１００ 仮想現実サービス提供サーバ ８１１０ 付随情報生成処理部
（実施形態１０〜１４について）
５００ 仮想現実提示装置 ５１０ 通信部
５１１ 無線送信部 ５１２ 無線受信部
５２０ 仮想現実提示制御部
１０００ 仮想現実提示システム １０１０ ユーザ状態検知部
１０１１ 傾きセンサ １０１２ 加速度センサ
１０１３ 方位センサ １０１４ 位置センサ
１０１５ 内部カメラ １０１６ 脳波センサ
１０１７ 血圧センサ １０１８ 脈拍センサ
１０１９ 発汗センサ １０２０ 提示可能仮想現実度算出部
１０３０ 映像生成処理部 １０３１ 描画処理部
１０３２ 付映像符号化処理部 １０４０ 映像表示部
１０４１ 映像関連データ記憶部 １０４２ 映像復号化処理部
１０４３ 映像補正処理部 １０４４ 映像合成処理部
１０４５ 表示領域選択部 １０４６ 表示パネル
１０４６−１ 光源 １０４６−２ 導光板
１０４６−３ ＬＣＤ（造影用） １４６−４ ＬＣＤ（外界光遮断用）
１０４６−７ａ レンズ群 １０４６−７ｂ ＰＬＣ
１０４６−７ｃ 第１反射ミラー
１０４６−７ｄ Ｒ反射ダイクロイックミラー
１０４６−７ｅ Ｇ反射ダイクロイックミラー
１０４６−７ｆ 第２反射ミラー １０４６−７ｇ 第３反射ミラー
１０４６−７ｈ 第１液晶パネル １０４６−７ｊ クロスダイクロプリズム
１０４６−７ｋ 第４反射ミラー １０４６−７ｍ 第２液晶パネル
１０４６−７ｎ 第３液晶パネル １０４６−７ｐ ガルバノミラー
１０４６−７ｑ 照射窓
１０５０ 仮想現実コンテンツ記憶部 １０６０ 提示中仮想現実度算出部
１０７０ 音声生成処理部 １０８０ 音声出力部
１０９０ 仮想現実提示用データ生成処理部
１１００ 仮想現実提示部
２０００ 仮想現実提示システム ２０１０ 錯覚度算出部
３０００ 仮想現実提示システム ３０１０ 仮想現実提示制御部
３０２０ 仮想空間生成処理部 ３０３０ 仮想現実オブジェクト配置処理部
３０４０ 視点制御部 ３０５０ 仮想現実サービス要求部
３０６０ 契約者情報記憶部
４０００ 仮想現実提示システム ４０１０ 周囲状況検知部
４０１１ 視線カメラ（前方カメラ） ４０１２ 周辺カメラ
４０２０ 周囲状況特定部 ４０３０ 画像解析処理部
４０３１ 物体特定処理部 ４０３２ 光学成分抽出部
４０３３ 物体識別処理部 ４０３４ モデルデータ生成処理部
５０００ 仮想現実サービス提供システム
５０１０ 通信部 ５０１１ 受信部
５０１２ 送信部 ５０２０ 仮想現実サービス制御部
５０３０ 仮想現実オブジェクト挙動制御部 ５０４０ レイヤー順序更新処理部
５０５０ レイヤー情報生成処理部
（実施形態１５〜１７について）
１０ 通信網 ２０ ＰＣ
１００ 仮想現実提示装置 １１０ ユーザ状態検知部
１１１ 傾きセンサ １１２ 加速度センサ
１２０ 周囲状況検知部 １２１ 視線カメラ
１２２ 周辺カメラ １３０ 音声入力部
１３１ ユーザマイク １３２ 周辺マイク
１４０ 表示制御部 １４１ 映像復号化処理部
１４２ 映像補正処理部 １４３ 映像合成処理部
１４４ 表示領域選択部 １５０ 表示部
１５１ａ ライト表示パネル １５１ｂ レフト表示パネル
１６０ 音声再生制御部 １７０ 音声出力部
１７１ａ ライトスピーカ １７１ｂ レフトスピーカ
１８０ 仮想現実提示制御部 １９０ 通信部
２００ 仮想現実サービス提供サーバ ２１０ 通信部
２２０ 音声解析処理部 ２３０ 画像解析処理部
２４０ 仮想現実サービス提供サーバ ２５０ 仮想現実オブジェクト挙動制御部
２６０ 表示映像生成処理部 ２６１ 描画処理部
２６２ 映像復号化処理部 ２７０ 再生音声生成処理部
３００ 契約者情報記憶ＤＢ ４００ 仮想現実コンテンツ記憶ＤＢ
５００ 提示済み仮想現実関連データ記憶ＤＢ
６００ 履歴情報記憶ＤＢ ７００ 仮想現実再現要求処理サーバ
８００ 仮想現実サービス提供サーバ ８１０ 仮想空間生成処理部
８２０ 仮想現実オブジェクト配置処理部
８３０ 視点制御部 ８４０ 光源制御部
８５０ モデルデータ配置処理部 ８６０ レイヤー順序更新処理部
８７０ レイヤー情報生成処理部 ９００ 仮想現実再現要求処理サーバ
９１０ 通信部 ９１１ 再現要求受信部
９１２ 再現仮想現実提示用データ送信部
９２０ 再現要求処理部 ９３０ 仮想現実関連データ読み出し部

Claims (39)

  1. ユーザの状態を検知するユーザ状態検知手段と、
    前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、
    前記生成された仮想現実提示用の映像を表示する映像表示手段と、
    前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
    前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、
    を備える仮想現実提示システム。
  2. 仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
    前記仮想空間を設定する仮想空間設定手段と、
    前記仮想現実オブジェクト記憶手段より前記仮想現実オブジェクトを読み出して前記設定された仮想空間に配置する仮想現実オブジェクト配置手段と、
    前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて、前記設定された仮想空間における視点の位置座標と視線方向とを更新する視点制御手段と、
    を更に備え、
    前記映像生成手段は、前記視点制御手段で更新される前記視点の位置座標と視線方向とのに基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実提示用の映像を生成する、
    請求項１に記載の仮想現実提示システム。
  3. 周囲の景色を撮影して周囲景色画像を取得する周囲撮影手段と、
    前記周囲景色画像から所定の光学成分を抽出する光学成分抽出手段と、
    前記抽出された光学成分に基づいて、前記仮想空間における光源の位置座標と光源の輝度又は照度を更新する光源制御手段と、
    を更に備え、
    前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記光源制御手段で更新される前記光源の位置座標と光源の輝度又は照度に基づいてシェーディング処理を行うことで前記仮想現実提示用の映像を生成する、
    請求項２に記載の仮想現実提示システム。
  4. 前記周囲景色画像に写る現実の世界における各物体をモデル化して現実オブジェクトを生成するモデリング処理手段と、
    前記モデリング処理手段生成された現実オブジェクトを前記仮想空間に配置するモデルデータ配置手段と、
    を更に備え、
    前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記モデルデータ配置手段が配置する現実オブジェクトで前記仮想現実オブジェクト配置手段が配置する仮想現実オブジェクトを隠す陰面処理を行うことで、前記仮想現実提示用の映像を生成する、
    請求項２又は３に記載の仮想現実提示システム。
  5. 前記仮想現実オブジェクト配置手段は、複数の仮想現実オブジェクトを前記仮想空間の異なるレイヤーにそれぞれ配置し、
    前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
    前記表示制御手段は、前記レイヤー別仮想現実提示用映像を合成し、合成後の映像を前記表示手段に表示する制御を行う、
    請求項４に記載の仮想現実提示システム。
  6. 前記仮想現実オブジェクト配置手段は、新たに配置する仮想現実オブジェクトを、新たな仮想空間のレイヤーに配置し、
    前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
    前記判定手段は、前記新たな仮想現実オブジェクトの映像の表示を開始するかを判定し、
    前記表示手段は、前記判定手段で前記新たな仮想現実オブジェクトの映像の表示を開始すると判定された場合に、前記新たな仮想現実オブジェクトが配置されているレイヤーのレイヤー別仮想現実提示用映像を他のレイヤー別仮想現実提示用映像と合成し、合成後の映像を前記表示手段に表示する制御を行う、
    請求項５に記載の仮想現実提示システム。
  7. ユーザの状態を検知するユーザ状態検知手段と、
    映像を表示する映像表示手段と、
    前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
    前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
    を備える仮想現実提示装置。
  8. 前記ユーザ状態検知手段は、ユーザの顔の一部又は全部を撮影することでユーザの顔の状態を検知し、
    前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザの目が所定の時間閉じているかを判定し、
    前記表示制御手段は、ユーザの目が所定の時間閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
    請求項７に記載の仮想現実感提示装置。
  9. 前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、
    前記表示制御手段は、ユーザが深く目を閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
    請求項８に記載の仮想現実感提示装置。
  10. 前記ユーザ状態検知手段は、ユーザの脳波を更に検知し、
    前記判定手段は、前記ユーザ状態検知手段で検知されたユーザの脳波の値が所定の基準を満たしているかを判定し、
    前記表示制御手段は、ユーザの脳波の値が所定の基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
    請求項７乃至９のいずれか１項に記載の仮想現実感提示装置。
  11. 前記ユーザ状態検知手段は、ユーザが向いている方向を検知し、
    前記判定手段は、前記ユーザ状態検知手段で検知されたユーザが向いている方向が、所定の基準角度以上変化したかを判定し、
    前記表示制御手段は、ユーザが向いている方向が、所定の基準角度以上変化したと判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
    請求項７乃至１０のいずれか１項に記載の仮想現実感提示装置。
  12. 前記ユーザ状態検知手段で検知されたユーザの状態を示す情報を送信する送信手段と、
    前記所定の基準を示す情報と前記仮想現実提示用の映像とを受信する受信手段と、
    前記受信された情報に基づいて、前記所定の基準を設定する設定手段を更に具備し、
    前記判定手段は、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしているかを判定し、
    前記表示制御手段は、前記判定手段において、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしていると判定された場合に、前記受信手段で受信された前記仮想現実提示用の映像を前記映像表示手段で表示する制御を行う、
    請求項７乃至１１のいずれか１項に記載の仮想現実提示装置。
  13. ユーザの状態を検知するユーザ状態検知ステップと、
    前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、
    前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、
    前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、
    前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、
    を有する仮想現実提示方法。
  14. ユーザの状態を検知するユーザ状態検知手段と、
    現在提示可能な仮想現実の世界の仮想現実度を算出する提示可能仮想現実度算出手段と、
    前記ユーザの状態に基づいて、前記提示可能仮想現実度算出手段で算出された仮想現実度に収まるように仮想現実提示用の映像を生成する映像生成処理手段と、
    前記生成された映像を表示する表示手段と、
    を備える仮想現実提示システム。
  15. 現在提示している仮想現実の世界の仮想現実度を算出する提示中仮想現実度算出手段を備え、
    前記提示可能仮想現実度算出手段は、前記提示中仮想現実度算出手段で算出された現在提示している仮想現実の世界の仮想現実度を基準として、現在提示可能な仮想現実の世界の仮想現実度を算出する、
    請求項１４に記載の仮想現実提示システム。
  16. ユーザの錯覚度を算出する錯覚度算出手段を備え、
    前記提示可能仮想現実度算出手段は、前記提示中仮想現実度算出手段で算出された現在提示している仮想現実の世界の仮想現実度を基準として、前記錯覚度算出手段で算出された錯覚度に基づいて決定される値を加算、減算、乗算、除算のいずれかを実行することで現在提示可能な仮想現実の世界の仮想現実度を算出する、
    請求項１５に記載の仮想現実提示システム。
  17. 前記ユーザ状態検知手段は、ユーザの脳波を検出する脳波センサ、ユーザの顔の一部又は全部を撮影する内部カメラ、ユーザの血圧を測定する血圧センサ、ユーザの心拍数を計測する脈拍センサ、ユーザの発汗量を検知する発汗量センサ、の少なくとも１つを備え、
    前記錯覚度算出手段は、前記ユーザ状態検知手段が備えるいずれかのセンサにおける検知結果に基づいて前記ユーザの錯覚度を算出する、
    請求項１６に記載の仮想現実提示システム。
  18. 複数の仮想現実オブジェクトを少なくとも記憶する仮想現実コンテンツ記憶手段と、
    仮想空間を生成する仮想空間生成手段と、
    前記仮想空間に前記仮想現実オブジェクトを配置する仮想現実オブジェクト配置手段と、
    前記ユーザ状態に基づいて、前記仮想空間における視点座標及び視線方向を制御する視点制御手段と、
    前記視点制御手段で更新される視点座標及び視線方向に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する描画処理手段と、
    を備え、
    前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された仮想現実度に収まるように前記仮想現実オブジェクトを前記仮想空間に配置する、
    請求項１４乃至１７のいずれか１項に記載の仮想現実提示システム。
  19. 前記仮想現実オブジェクト配置手段は、前記提示可能な仮想現実の世界の仮想現実度が、現在提示中の仮想現実の世界の仮想現実度を下回っている場合に、仮想空間に配置中の仮想現実オブジェクトを前記仮想空間から削除することで、提示する仮想現実の世界の仮想現実度が提示可能な仮想現実の世界の仮想現実度に収まるようにすることを特徴とする、
    請求項１８に記載の仮想現実提示システム。
  20. 前記仮想現実コンテンツ記憶手段は、前記仮想現実オブジェクトの各々に設定されている仮想現実度と対応付けて前記仮想現実オブジェクトを記憶し、
    前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された仮想現実度よりも低い仮想現実度と対応付けられている前記仮想現実オブジェクトを前記仮想現実コンテンツ記憶手段より読み出して前記仮想空間に配置する、
    請求項１９に記載の仮想現実提示システム。
  21. 前記仮想現実オブジェクト配置手段は、前記提示可能仮想現実度算出手段で算出された前記仮想現実度から前記提示中仮想現実度算出手段で算出された仮想現実度を減算することで求まる余剰仮想現実度よりも低い仮想現実度と対応付けられている前記仮想現実オブジェクトを前記仮想現実コンテンツ記憶手段より読み出して前記仮想空間に配置する、
    請求項２０に記載の仮想現実提示システム。
  22. ユーザの周囲の状況を検知する周囲状況検知手段と、
    前記周囲状況検知手段における検知結果に基づいてユーザの周囲の状況を特定する周囲状況特定手段と、
    を備え、
    前記仮想現実コンテンツ記憶手段は、前記仮想現実オブジェクトと周囲状況別の仮想現実度との対応関係を記憶し、
    前記仮想現実オブジェクト配置手段は、前記仮想空間に配置する仮想現実オブジェクトの、前記周囲状況特定手段で特定されたユーザの周囲の状況に対応する仮想現実度が、前記提示可能仮想現実度算出手段で算出される前記仮想現実度を下回る様に、前記仮想現実オブジェクトを選択して前記仮想現実オブジェクト記憶手段より読み出し、前記仮想空間に配置する、
    請求項１８乃至２１のいずれか１項に記載の仮想現実提示システム。
  23. 前記周囲状況検知手段は、ユーザの周囲の状況を撮影して周囲景色画像を取得し、
    前記周囲景色画像に基づいて光源の位置座標及び光源の照度又は輝度を更新する光源制御手段と、
    前記周囲景色画像に含まれる物体のモデルデータを生成するモデルデータ生成手段と、
    を更に備え、
    前記描画処理手段は、前記視点制御手段で更新される視点座標及び視線方向に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを投影して２次元画像を生成する投影処理と、前記光源制御部で更新される光源の位置座標及び光源の照度又は輝度に基づいて仮想現実オブジェクトの輝度を算出するシェーディング処理と、前記モデルデータに基づいて前記仮想現実オブジェクトの一部を隠す陰面処理と、を少なくとも実行することで前記仮想現実提示用の映像を生成する、
    請求項１８乃至２２のいずれか１項に記載の仮想現実提示システム。
  24. ユーザの状態を検知するユーザ状態検知ステップと、
    現在提示可能な仮想現実の世界の仮想現実度を算出する提示可能仮想現実度算出ステップと、
    前記ユーザの状態に基づいて、前記算出された仮想現実度に収まるように仮想現実提示用の映像を生成する映像生成ステップと、
    前記生成された映像を表示する表示ステップと、
    を有する仮想現実提示方法。
  25. 仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、
    前記仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して前記仮想現実提示装置へ送信する仮想現実サービス提供サーバと、
    前記仮想現実提示装置が前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、
    を具備する仮想現実提示システム。
  26. 少なくとも前記仮想現実サービスに係る仮想現実オブジェクトを含む前記仮想現実の世界の構築に使用する仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベースを更に具備し、
    前記仮想現実サービス提供サーバは、
    仮想空間を生成する仮想空間生成手段と、
    前記仮想現実サービスに係る前記仮想現実オブジェクトを前記仮想空間に配置する仮想現実オブジェクト配置手段と、
    前記仮想空間に配置されている仮想現実オブジェクトをリアルタイムに描画して前記仮想現実提示用映像データを順次生成する映像生成手段と、
    を少なくとも具備し、
    前記仮想現実提示装置は、前記生成された仮想現実提示用映像データに基づいて前記仮想現実オブジェクトを含む仮想現実提示用映像を表示することで前記仮想現実の世界をユーザに提示する、
    請求項に記載の仮想現実提示システム。
  27. 前記仮想現実提示装置は、
    ユーザの状態を検知するユーザ状態検知手段と、
    前記検知されたユーザの状態を示すユーザ状態情報を無線送信する無線送信手段と、
    前記仮想現実提示用映像データを無線受信する無線受信手段と、
    前記無線受信された仮想現実提示用映像データに基づいて、前記仮想現実提示用映像を表示する表示手段と、
    を具備し、
    前記仮想現実サービス提供サーバは、
    前記ユーザ状態情報を受信する受信手段と、
    前記映像生成手段で順次生成される前記仮想現実提示用映像データを送信する送信手段と、
    を更に具備し、
    前記映像生成手段は、前記ユーザ状態情報に基づいて特定される視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
    請求項２６に記載の仮想現実提示システム。
  28. 前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実サービスに係る音声データを記憶し、
    前記仮想現実サービス提供サーバは、前記仮想現実コンテンツ記憶データベースに記憶されている前記仮想現実サービスに係る音声データに基づいて、仮想現実提示用音声データを生成する音声生成処理手段を更に具備し、
    前記仮想現実提示装置は、前記仮想現実提示用音声データをアナログ電気信号に変換して仮想現実提示用音声を外部へ出力する音声出力手段を更に具備する、
    請求項２７に記載の仮想現実提示システム。
  29. 前記仮想現実提示装置は、
    ユーザが発する音声を集音してユーザ音声データを取得する音声入力手段と、
    少なくともユーザの前方方向を撮影して前方景色画像を取得する画像撮影手段と、
    を更に具備し、
    前記仮想現実サービス提供サーバは、
    前記ユーザ音声データに含まれる音声コンテキストを抽出する音声コンテキスト抽出手段と、
    前記前方景色画像から照度又は輝度に関する光学情報を抽出し、光源の位置座標及び前記光源の照度又は輝度を更新する光源制御手段と、
    前記ユーザ状態情報に基づいて前記視点位置座標及び視線方向を更新する視点制御手段と、
    を更に具備し、
    前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向と、前記光源制御手段によって更新される前記光源位置座標及び前記光源の照度又は輝度に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
    請求項２８に記載の仮想現実提示システム。
  30. 前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを更に記憶し、
    前記仮想現実サービス提供サーバは、
    前記仮想現実コンテンツ記憶データベースから読み出した前記仮想現実オブジェクト挙動制御プログラムを実行することで、前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備する、
    請求項２９に記載の仮想現実提示システム。
  31. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実サービス提供サーバから前記仮想現実提示装置へ送信される前記仮想現実提示用映像データと前記仮想現実提示用音声データとを記憶する、
    請求項３０に記載の仮想現実提示システム。
  32. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から仮想現実サービス提供サーバへ送信される前記前方景色画像を記憶する、
    請求項３１に記載の仮想現実提示システム。
  33. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から前記仮想現実サービス提供サーバへ送信される前記ユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する、
    請求項３１又は３２に記載の仮想現実提示システム。
  34. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置で入力される前記ユーザ音声データを時系列に纏めたユーザ音声履歴情報を記憶する、
    請求項３１乃至３３のいずれか１項に記載の仮想現実提示システム。
  35. 前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する、
    請求項３０に記載の仮想現実提示システム。
  36. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実オブジェクトの前記仮想空間内での位置座標と、前記仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた前記仮想現実オブジェクト履歴情報を記憶する、
    請求項３５記載の仮想現実提示システム。
  37. （仮想現実関連データの種類：制御プログラム実行履歴）
    前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想現実コンテンツ記憶データベースに対する前記仮想現実サービス提供サーバからのアクセス履歴を時系列に纏めたアクセス履歴情報を記憶する、
    請求項３０に記載の仮想現実提示システム。
  38. 前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実コンテンツ記憶データベースから読み出された制御プログラムの実行履歴を更に記憶する、
    請求項３７に記載の仮想現実提示システム。
  39. 仮想現実サービスに係る仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成する生成ステップと、
    前記生成された仮想現実提示用映像データを表示することで前記仮想現実の世界をユーザに提示する提示ステップと、
    前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶ステップと、
    を有する仮想現実提示方法。
JP2014171042A 2014-08-26 2014-08-26 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 Pending JP2016045815A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014171042A JP2016045815A (ja) 2014-08-26 2014-08-26 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014171042A JP2016045815A (ja) 2014-08-26 2014-08-26 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Publications (1)

Publication Number Publication Date
JP2016045815A true JP2016045815A (ja) 2016-04-04

Family

ID=55636297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014171042A Pending JP2016045815A (ja) 2014-08-26 2014-08-26 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法

Country Status (1)

Country Link
JP (1) JP2016045815A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527687A (zh) * 2016-10-10 2017-03-22 北京小鸟看看科技有限公司 一种虚拟现实头盔及实现其双运算平台方法
KR20170130906A (ko) * 2016-05-20 2017-11-29 주식회사 크레펀 지역기반 실감미디어 콘텐츠의 제공방법 및 시스템
JP2018109937A (ja) * 2016-12-28 2018-07-12 株式会社コロプラ 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
WO2018080149A3 (ko) * 2016-10-25 2018-08-09 포항공과대학교 산학협력단 생체신호연동 가상현실 인지재활 시스템
KR101901261B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
KR101901258B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
CN110692068A (zh) * 2017-05-31 2020-01-14 本田技研工业株式会社 技能信息处理***、方法和装置
WO2020039568A1 (ja) * 2018-08-23 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN111655148A (zh) * 2018-12-12 2020-09-11 黄英进 基于增强现实的心里类型分析方法及智能设备
JP2021015185A (ja) * 2019-07-11 2021-02-12 株式会社ネクスコ・エンジニアリング北海道 投影システム、投影装置、投影方法及びプログラム
WO2021131543A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11068050B2 (en) 2017-02-21 2021-07-20 Samsung Electronics Co., Ltd. Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
JP2022027940A (ja) * 2018-10-12 2022-02-14 株式会社豊崎会計事務所 情報処理装置
JP2022159118A (ja) * 2021-04-01 2022-10-17 カール・ツアイス・アーゲー 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム
US11812180B2 (en) 2019-12-26 2023-11-07 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170130906A (ko) * 2016-05-20 2017-11-29 주식회사 크레펀 지역기반 실감미디어 콘텐츠의 제공방법 및 시스템
KR101892566B1 (ko) * 2016-05-20 2018-08-28 주식회사 크레펀 지역기반 실감미디어 콘텐츠의 제공방법 및 시스템
CN106527687A (zh) * 2016-10-10 2017-03-22 北京小鸟看看科技有限公司 一种虚拟现实头盔及实现其双运算平台方法
WO2018080149A3 (ko) * 2016-10-25 2018-08-09 포항공과대학교 산학협력단 생체신호연동 가상현실 인지재활 시스템
JP2018109937A (ja) * 2016-12-28 2018-07-12 株式会社コロプラ 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム
US11068050B2 (en) 2017-02-21 2021-07-20 Samsung Electronics Co., Ltd. Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
CN110692068A (zh) * 2017-05-31 2020-01-14 本田技研工业株式会社 技能信息处理***、方法和装置
KR101901261B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
KR101901258B1 (ko) * 2017-12-04 2018-09-21 가천대학교 산학협력단 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
US11373379B2 (en) 2018-08-23 2022-06-28 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method for generating augmented reality images based on user interaction
JPWO2020039568A1 (ja) * 2018-08-23 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2020039568A1 (ja) * 2018-08-23 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP7317024B2 (ja) 2018-08-23 2023-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2022027940A (ja) * 2018-10-12 2022-02-14 株式会社豊崎会計事務所 情報処理装置
JP7468850B2 (ja) 2018-10-12 2024-04-16 株式会社豊崎会計事務所 情報処理装置
CN111655148A (zh) * 2018-12-12 2020-09-11 黄英进 基于增强现实的心里类型分析方法及智能设备
JP2021015185A (ja) * 2019-07-11 2021-02-12 株式会社ネクスコ・エンジニアリング北海道 投影システム、投影装置、投影方法及びプログラム
US11812180B2 (en) 2019-12-26 2023-11-07 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus
WO2021131543A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2022159118A (ja) * 2021-04-01 2022-10-17 カール・ツアイス・アーゲー 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム
JP7364726B2 (ja) 2021-04-01 2023-10-18 カール・ツアイス・アーゲー 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム

Similar Documents

Publication Publication Date Title
JP2016045815A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
US11977670B2 (en) Mixed reality system for context-aware virtual object rendering
US11451882B2 (en) Cinematic mastering for virtual reality and augmented reality
US11363349B2 (en) Geometry matching in virtual reality and augmented reality
JP6785282B2 (ja) アバタによる生放送方法及び装置
US10684467B2 (en) Image processing for head mounted display devices
JP2014187559A (ja) 仮想現実提示システム、仮想現実提示方法
KR102005106B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
KR102387314B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
US12014455B2 (en) Audiovisual presence transitions in a collaborative reality environment
JP2014182597A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN109479116B (zh) 信息处理设备、信息处理方法、以及存储介质
US20190005732A1 (en) Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
CN110691279A (zh) 一种虚拟直播的方法、装置、电子设备及存储介质
JP2014164537A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
JP2014182719A (ja) 仮想現実提示システム、仮想現実提示方法
CN111862711A (zh) 一种基于5g物联虚拟现实娱乐休闲学习装置
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2014170330A (ja) 仮想現実提示システム、仮想現実提示方法、仮想現実提示装置
KR20140136288A (ko) 사용자 참여형 테마파크 영상 제작 서비스 제공 시스템 및 방법
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020108177A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
CN118092630A (zh) 可穿戴设备、面部图像重建方法及装置、存储介质
JP2023181567A (ja) 情報処理装置、情報処理方法、情報処理システム、及びデータ生成方法