以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
A.システム構成
図1及び図2には、自由視点映像やVR映像の表示に適用することができるドーム型ディスプレイ100の構成例を示している。ユーザはドーム内に入ると投影された映像を観察することができる。但し、図1はドーム型スクリーン101を前額面で切った断面を示し、図2はドーム型スクリーン101を矢状面で切った断面を示している。
図示のドーム型ディスプレイ100は、ドーム型スクリーン101と、ドーム型スクリーン101を支持する支持体102と、2台のプロジェクタ103及び104を備えている。各プロジェクタ103及び104は、ベースバンドの映像信号に基づいて、ドーム型スクリーン101に向かって映像を投射する。また、ドーム型スクリーン101によって形成される空間の内部には、投影された映像を観察するユーザが着座する椅子106が設置されている。
ドーム型スクリーン101は、内周が投影画像の表示面となっている。ドーム型スクリーン101は、例えば軽量なFRP(Fiber Reinforced Plastics:繊維強化プラスチック)などの樹脂や、金属、ガラス、アクリルなどで製作される。ドーム型スクリーン101の内周面には、光(投影された映像)の乱反射を防ぐための塗装やコーティング、その他の表面処理が施されていることが好ましい。ドーム型スクリーン101の内周は球面若しくは半球形状をなす。球面若しくは半球形状をなすドーム型スクリーン101を用いると、水平方向及び垂直方向に広視野角な臨場感のある映像を投影することができる。なお、ドーム型スクリーン101の外形は特に限定されない。例えば、折り畳み式若しくは収納式のドーム型スクリーン(図示しない)でもよい。
支持体102は、互いの回転軸が一致する一対の軸部102A及び102Bを備え、この一対の軸部102A及び102Bでドーム型スクリーン101を矢状面内で水平軸回りに回転可能に支持する。但し、ドーム型スクリーン101を矢状面内で水平軸回りに回転可能に支持することができれば、一対の軸部102A及び102Bで支持する構造には限定されない。また、支持体102は、ドーム型スクリーン101を垂直軸回りに回転可能に支持する機構も備えていてもよい。さらに、支持体102は、上下動などドーム型スクリーン101が回転以外の自由度も持つように支持する構造であってもよい。
2台のプロジェクタ103及び104は、それぞれ映像復号部105から供給される映像信号(広視野角の映像信号)を、ドーム型スクリーン101の内周に投影する。各プロジェクタ103及び104は、レーザー、LED、水銀ランプ、キセノンランプ等を光源に用いて、高彩度で色再現性のよい画像をドーム型スクリーン101に投影できるものとする。
各プロジェクタ103及び104は、互いの投影画像でドーム型スクリーン101の内周の表示面全体をカバーできるように、ドーム型スクリーン101の端縁付近にて、ドーム型スクリーン101に対する相対位置及び姿勢が固定されている。各プロジェクタ103及び104は、例えば3軸方向及び各軸回りの6自由度を持つテーブル(図示しない)を介してドーム型スクリーン101に固定され、各々の光軸(投影方向)を微調整できるものとする。ドーム型スクリーン101を水平軸回りに回転させると(後述)、各プロジェクタ103及び104も一体となって動く。
例えば、各プロジェクタ103及び104からドーム型スクリーン101に投影される画像間の接合部分のスティッチング処理を行うことで、ドーム型スクリーン101で広視野角映像を提示することができる。スティッチング処理には任意のアルゴリズムを適用することができる。具体的には、投影される画像間の接合部分に幾何補正とエッジブレンディングなどを行なうことで、ドーム型スクリーン101で広視野角映像を提示してもよい。もちろん、幾何補正やエッジブレンディング処理には任意のアルゴリズムが適用され得る。
各プロジェクタ103及び104からの投影映像はそれぞれ4K(横4000×縦2000前後)の解像度を持つことを想定している。また、各プロジェクタ103及び104が持つ光学歪みや、ドーム型スクリーン101の内周の変形(経時変化を含む)などに起因する広視野角映像の歪みを画像処理によって補正するようにしてもよい。具体的には、各プロジェクタ103及び104が持つ光学歪みや輝度や色味の個体差、ドーム型スクリーン101の内周の変形(経時変化を含む)などに起因する広視野角映像の歪みが、画像処理によって補正され得る。映像の歪みの補正のために、例えば、各プロジェクタ103及び104からドーム型スクリーン101に既知形状からなるテスト・パターンを投影して、テスト・パターンの投影画像の歪みをキャンセルするような画像処理が実施されてもよい。具体的には、各プロジェクタ103及び104からドーム型スクリーン101に既知形状からなるテスト・パターンを投影し、外部カメラなどで投影されたテスト・パターンを撮影し、撮影された画像に基づいて、テスト・パターンの投影画像の歪みをキャンセルするような画像処理を行ってもよい。また、各プロジェクタ103及び104の位置姿勢推定や、ドーム型スクリーン101の形状推定などの三次元的な計測結果が、歪みをキャンセルする画像処理に利用されてもよい。また、各プロジェクタ103及び104をドーム型スクリーン101に固定したときの位置決め誤差に起因する投影画像の歪みも、画像処理によって補正するようにしてもよい。
各プロジェクタ103及び104から投影される全天周映像に、メニューやボタンなどを含んだGUI(Graphical User Interface)を重畳表示するようにしてもよい。これらのGUIは、ハンドジェスチャ入力や視線入力等の種々の入力手段によって操作されてよい。
ドーム型スクリーン101は、支持体102で回転可能に支持されている。図1及び図2に示したように、ドーム型スクリーン101をほぼ水平に支持している場合、ドーム型スクリーン101の表示面には水平方向に360度の全周囲映像を提示することができる。一方、図3及び図4に示すように、ドーム型スクリーン101を矢状面内で水平軸回りに90度だけ、軸部102A及び102Bの回転軸回りに回転させると、ドーム型スクリーン101の表示面には垂直方向に360度の全周囲映像を提示することができる。例えば、上空や高層などを想定した広視野角映像を観察する場合には、図3及び図4に示すようにドーム型スクリーン101を90度だけ回転させると、下方(例えば地面)の映像も提示することができる。また、図1~図4に示したように、ドーム型スクリーン101を水平方向又は垂直方向に設置するだけでなく、図5及び図6に示すように、ドーム型スクリーン101を矢状面内で水平軸回りに0度から90度の任意の角度に傾けて、ドーム型ディスプレイ100を使用することもできる。
また、図1~図6に示した構成例では、ドーム型ディスプレイ100は2台のプロジェクタ103及び104を備えているが、3台以上のプロジェクタを設置するように構成してもよい。図7には、プロジェクタ103及び104に加えて、さらに2台のプロジェクタ108及び109をドーム型スクリーン101に取り付けたドーム型ディスプレイ100の構成例を示している。
ドーム型スクリーン101に映像を投影するプロジェクタ103及び104として、例えば手のひらサイズで高解像度のピコプロジェクタを採用することもできる。ピコプロジェクタであれば、設置面積を要しないので、ドーム型スクリーン101への設置台数を増やすこともできる。図8には、多数のピコプロジェクタをドーム型スクリーン101に設置した様子を示している。プロジェクタの設置台数を増やしていくと、投影映像の輝度、コントラスト、解像度を向上させることができる。
また、ドーム型スクリーン101内のユーザがジェスチャー動作する際などに、あるプロジェクタからの投影映像がユーザの突き出した手によって遮られることがあるが、別のプロジェクタの投影映像で補うことができる。多数のプロジェクタを点灯させると、消費電力が大きくなる。そこで、設置したすべてのプロジェクタを同時に駆動させるのではなく、必要な台数のプロジェクタだけ適宜部分的に動作させるようにしてもよい。
例えば、ドーム型スクリーン101内にいるユーザの身体の姿勢や手の位置などに応じて、投影画像が影とならないプロジェクタを選択して、部分的に駆動させるように制御すればよい。カメラや距離センサなどをプロジェクタ毎に設置して各プロジェクタとドーム型スクリーン101表面までの間に障害物があるか又は投影映像に影ができているかを検出して、映像がうまく投影されないプロジェクタはオフにし、代わって隣接するプロジェクタをオンにすればよい。図8中、白で表示されたピコプロジェクタは点灯中で、グレーで表示されたピコプロジェクタは消灯中とする。
ドーム型スクリーン101への投影映像は、HMDで拡大虚像を観察する場合よりも、ユーザは被写体のスケール感を感じ易い、というメリットがある。例えば、ドーム型スクリーン101の内径を1.5~2メートル程度に設定すると、ユーザが等身大に感じる被写体(人物など)の映像を表示することができ、リアリティーが増す。例えば、カメラ目線をした人物を撮影した映像を投影した場合には、ユーザは映像内の人物が自分と目が合っている(アイ・コンタクトしている)ような、現実感の強い体験をすることができる。また、ドーム型ディスプレイ100は、HMDに比べると解放感があるが、水平方向に360度の全天周映像を提示することで没入感が増す。
要するに、ドーム型スクリーン101への投影映像は、現実により近い、囲まれた映像と言うことができる。さらに、ドーム型ディスプレイ100に、スピーカーやヘッドフォンと信号処理を利用した立体音響を組み合わせることで、ユーザに対して、映像と音声が録音が撮影された場所に居る、若しくはその場所に参加しているような感覚を与えることができる。
自由視点映像やVR映像を視聴できる表示装置として、HMDも挙げることができる。HMDは小型で設置場所に制限がなく、どこでも利用することができる。反面、ユーザはHMDを着用すると頭部が締め付けられる、装置の重さを首で支えなければならないなどの理由により、長時間使用すると疲れるという問題がある。また、HMDはユーザの肌に密着するので、発汗により装置がダメージを受けるという問題がある。また、HMDを装着するとユーザの顔や視界を覆い隠すので、ユーザは他の入力デバイスとの併用が困難である、表情を読み取ることができない、動くと手足を障害物にぶつける危険がある、といった問題もある。
これに対し、ドーム型ディスプレイ100の場合、ユーザは何も装着しない状態なので、解放感があり長時間の使用に耐え易いというメリットがある。また、ドーム型スクリーン101内のユーザをカメラの撮影画像などで観察することができ、顔認識(個人認証)や表情認識を行うことができる。また、ドーム型スクリーン101内に複数人が同時に入ることで、視聴映像を簡単に共有し、共同作業を実現し易い。
また、ドーム型ディスプレイ100は、ドームで閉じられた空間を利用したマルチモーダルなインタフェースを備えていてもよい。マルチモーダルなインタフェースは、例えば、ドーム内の温度や湿度を調整したり、匂いを発生させたり、ユーザに風(微風や向かい風、エア・ブラスト)や水しぶき(ウォター・ブラスト)を吹き付けたり、ユーザの身体に触覚(背中をつつくような効果、首筋や足元に何かが触れるような感覚など)や振動・揺動(椅子106の下からの衝撃や地響きなど)を加えたり、匂いや香りを与えたりして、視聴空間の環境を自在に制御する手段からなる。ドーム型スクリーン101によって作業空間と外界が仕切られるので、マルチモーダルなインタラクションを適用して、仮想現実空間と同じような臨場感のある体験をしてもらうことができる。
図1などに示した構成例では、ドーム型ディスプレイ100は、室内に設置して利用することを想定しているが、勿論、屋外に設置して利用してもよい。また、支持体102の下端にキャスターなどの移動用部品を取り付けて、設置場所を容易に移動できるようにしてもよい。また、1台のドーム型ディスプレイ100を1人で使用するだけでなく、複数人で使用することや、B2B(Business to Business)での利用も想定される。あるいは、ドーム形状ではなく、部屋の天井や壁面、あるいは乗用車の車室内の壁面を投影面に用いて、自由視点映像やVR映像を表示することも考えられる(後述)。
なお、本実施形態では、ドーム型ディスプレイ100は、自由視点映像の視点位置及び視線方向を変更可能であることと、立体視可能な映像を表示できることを前提とする。
視点位置の移動は、例えば自由視点映像を撮像している多視点カメラ又は広角カメラを搭載した移動体装置を移動させることなどによって実現する連続的な移動と(図22を参照のこと)、遠く離れた視点位置間を瞬間的に移動(ジャンプ)するという不連続的な移動を含むものとする。視点位置が連続的に移動する場合は、ドーム型スクリーン101に投影される映像も連続的に変化し、視点位置が不連続的に移動する場合は、ドーム型スクリーン101に投影される映像が次の視点位置の映像に瞬間的に切り替わる。なお、瞬間移動した視点位置の映像の少なくとも一部は、実写映像ではなく、VR映像やCG映像であってもよい。
また、視線方向の変更は、例えば自由視点映像を撮像しているカメラの向きを(ロール、ピッチ、又はヨーの少なくともいずれか1つの軸回りに)変更することに相当する(図22を参照のこと)。視線方向が変更すると、例えばドーム型スクリーン101のユーザの正面方向に表示される映像(画角)が、視線方向の変更を打ち消す方向に移動する(右方向に視線が移動したときには、表示映像は左方向にシフトし、変更前はユーザの右側に表示されていた映像領域が正面に表示されるようになる)。
また、本実施形態では、自由視点映像の上にUIメニューを表示することや、CG及びPicture in Pictureのインタラクション形式でコンテンツ・コントロールを行うこと(図37を参照のこと)を前提とする。
図9には、ドーム型ディスプレイ100において、映像を表示するとともにユーザとのインタラクションを実現するシステム900の構成例を示している。なお、図示のシステム900で実現されるインタラクションは、ドーム型ディスプレイ100だけではなく、自由視点映像やVR映像を表示するさまざまなタイプの表示装置に対しても適用することができるという点を十分理解されたい。すなわち、少なくともシステム900の出力系を、HMDによって置き換えることもできる。また、システム900は、ユーザが何も装着していない状態でもインタラクションを実現することができ、専用のコントローラを一切必要としないというメリットを有するが、この点の詳細については後述に譲る。
図示のシステム900は、ドーム型スクリーン101などの表示画面に映像を表示させる映像表示系と、表示映像に合わせた音響を出力する音響出力系と、ドーム内でこれら映像及び音響を視聴するユーザに関するセンサ情報を入力する入力系と、入力系からの入力情報に応じたフィードバックを出力する出力系を備え、制御部910によって各系統の動作が統括的に制御されるように構成されている。
制御部910は、例えばSoC(System-on-a-Chip)のような集積回路で構成される。制御部910としてのSoC上には、メイン・コントローラ911、メイン・メモリ912、通信部913、映像用のディジタル信号処理部(Video DSP)914、及び音響用のディジタル信号処理部(Aidio DSP)915などの各機能を実現するための複数の回路モジュールが実装されている。
メイン・コントローラ911は、ドーム型スクリーン101内における映像及び音響の出力を制御するとともに、ユーザに関するセンサ情報に基づくフィードバック出力を制御する。本実施形態では、メイン・コントローラ911は、ユーザの身体の動作に応じたインタラクション(後述)を実現する上で、ユーザの身体動作に応じたオブジェクトの変位情報に基づいてフィードバック出力を制御する「出力制御部」としても機能するものとする。また、メイン・コントローラ911は、出力制御部として、出力される音響に応じた映像の出力を制御してもよい。
メイン・メモリ912は、フラッシュ・メモリ又はDDR(Double-Data-Rate)などのSDRAMで構成され、メイン・コントローラ911の作業メモリとして使用される。
通信部913は、Wi-Fi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)などの無線通信モジュールで構成される。例えば、ストリーミング配信される自由視点映像及び立体音響音声を通信部913で受信して、ドーム型ディスプレイ100で再生することが可能である。但し、映像や音声のソースはストリーミングに限定されず、例えばBD(ブルーレイ・ディスク)などメディアに記録された映像や音声をドーム型ディスプレイ100で再生出力することもできる。また、後述するオーディオプレイヤ944からの音響信号を通信部913で受信してもよい。
映像用のDSP914は、内部にメモリ(フレーム・メモリ)を備えている。映像用DSP914は、通信部913で受信した映像信号をディジタル信号処理する。また、システム900は、映像表示系として、ドーム型スクリーン101に映像を投影する2台以上のプロジェクタ103、104…を備えている。映像用DSP914は、図1に示したドーム型ディスプレイ100の映像復号部105に相当し、信号処理した後のRGB形式の映像信号を各プロジェクタ103、104…に出力する。
音響用のDSP915は、通信部913、または不図示のオーディオインタフェースで受信した音響信号をディジタル信号処理し、内部メモリにバッファリングしながら、音響出力系に出力する。また、システム900は、音響出力系として、ヘッドフォン933、ヘッドレスト・スピーカー934、又はサブウーファー935のうち少なくとも1つを備えている。DSP915で処理された音響信号は、内部メモリから読み出されると、I2C(Inter―Integrated Circuit)などのインタフェースを介して出力され、DAC(Digital to Analog Converter)931でアナログ信号に変換され、さらに増幅部(AMP)932で増幅された後、スピーカー936、ヘッドフォン933、ヘッドレスト・スピーカー934、又はサブウーファー935のいずれかから音響出力される。
システム900は、入力系として、変位センサ941と、頭部検出カメラ942と、外付けセンサ943を備えている。
変位センサ941は、何も装着していない状態のユーザが使用するオブジェクトの所定の部位の位置情報を検出して、ユーザの身体動作に応じた所定の部位の3次元的な変位に対応する変位情報を取得する。オブジェクトは、例えば日常生活で使う家具やフィットネス器具などであり、これらオブジェクトの表面に取り付けられたマーカや画像認識処理により抽出することが可能な特徴点をモーション・キャプチャすることで、変位情報が取得される。変位情報を取得する方法の詳細については、後述に譲る。取得された変位情報は、SPI(Serial Peripheral Interface)などのインタフェースを介して制御部910に取り込まれ、ユーザの身体の動作に応じたフィードバックの出力制御に用いられる。変位センサ941は、ユーザの身体の動作に応じたインタラクションを実現する上で、「変位情報取得部」として機能する。
頭部検出カメラ942は、例えばドーム型スクリーン101内でユーザの正面に設置され、例えば骨格検出や音声認識の機能を利用してユーザの頭部を検出して、撮像したユーザの頭部の映像を制御部910にRGB出力する。なお、頭部検出カメラ942として、RGBカメラ、深度センサなどを有する既知のモーション・キャプチャ用センサあるいは情報処理装置が利用されてよい。頭部検出カメラ942から入力される映像に基づいて、ユーザの視線情報を取得することができる。
外付けセンサ943は、ドーム型ディスプレイ100に対して外付け接続された各種センサであり、センサの検出信号をSPIなどのインタフェースを介して制御部910に出力する。外付けセンサ943は、例えば温度や湿度を始めとして、ドーム内でのユーザの視聴環境を検出する。また、システム900がドーム型ディスプレイ100ではなく乗用車(自動運転対応の車両など)に組み込まれている場合には、外付けセンサ943は、ODB2(On Board Diagnosis second generation)を介して取り込まれる車両の各種検出情報を扱うこともできる。
オーディオプレイヤ944は、例えばドーム型ディスプレイ100に対して無線、または有線で接続され、通信部913、またはフォーンジャックなどのオーディオインタフェース(不図示)を介して制御部910に音響信号を出力する。オーディオプレイヤ944は、音響信号を出力するために、例えば音楽データを記憶していてもよいし、CD(コンパクトディスク)等のメディアから音楽データを読み出してもよい。
システム900が備える出力系は、上記のような入力系からの入力情報に応じたフィードバックを出力する。ユーザの身体の動作に応じたインタラクション(後述)を実現する上で、出力系は、ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報に基づく出力を行う「出力部」として機能する。
図9に示す例では、システム900は、フィードバックの出力系として、駆動系出力部951、外部出力部952、及びディスプレイUI部953を備え、さらに上述したヘッドフォン933、ヘッドレスト・スピーカー934、サブウーファー935などの音響出力部をフィードバックの出力系としても活用することができる。MCOM950は、制御部910からのSPIなどのインタフェースを介した指示に従って、これらのフィードバック出力系からの出力を制御する。
駆動系出力部951と外部出力部952は、マルチモーダル・インタフェースを構成し、ドーム内の温度や湿度を調整したり、ユーザに風(微風や向かい風、エア・ブラスト)や水しぶき(ウォター・ブラスト)を吹き付けたり、ユーザの身体に触覚(背中をつつくような効果、首筋や足元に何かが触れるような感覚など)や振動・揺動、軽い電気刺激などを加えたり、匂いや香りを与えたりして、視聴空間の環境を自在に制御する。
駆動系出力部951は、椅子106などのユーザが使用しているオブジェクトに対して振動や揺動を加えたり、オブジェクトを傾けたりするアクチュエータなどからなる。MCOM950は、例えばSPIなどのインタフェースを介して、駆動系出力部951からの出力を制御する。
外部出力部952は、エアコンや加湿器などのデバイスからなる。また、ドーム型ディスプレイ100が車両に組み込まれている場合には、エアコンECU(Electrinic Control Unit)なども外部出力部952に相当する。MCOM950は、例えばSPIなどのインタフェースを介して、外部出力部952からの出力を制御する。また、ネットワークを介した機器制御も含む。
ディスプレイUI部953は、ドーム型スクリーン101上に、自由視点映像などのコンテンツに重畳して表示されるUIメニューや、CG、OSD、Picture in Pictureなどに相当する。MCOM950とディスプレイUI部953間では、例えばI2Cなどのインタフェースを介してインタラクションが行われる。
また、MCOM950は、例えばI2Cなどのインタフェースを介してDAC931又はアンプ932を制御して、音響によるフィードバック出力を制御することができる。
以上、システム900の構成例について説明した。続いて、図10~図18を参照して、上述した構成の配置に関する検討を行う。図10A、図10Bは椅子1000に着座したユーザがドーム型スクリーン101に投影される映像を視聴する様子の例を示す模式図である。なお、図10A、図10Bでは、ドーム型スクリーン101を矢状面で切った断面を示している。
リクライニングチェアのシートバック(背もたれ)の角度(床面に垂直な直線との角度)は、一般に約30度と言われており、図10A、図10Bに示す例では、床面に垂直な直線と椅子1000のシートバックとの角度は28度である(図10Aを参照)。なお、図10Aでは、ユーザの頭が椅子1000のシートバックに沿った位置にある状態を示し、図10Bでは、ユーザが顎を引き、視線を水平に保った状態を示している。
ここで、スピーカー936の設置角度について検討する。なお、スピーカー936は、例えばサウンドバースピーカーであってもよい。ここで、高い周波数になる程、また用いられるコーンスピーカのサイズが小さい程、一般にスピーカーの指向性は鋭くなる。例えば、60mmのコーンスピーカをバー部に含むサウンドスピーカでは、5kHz程度の周波数から拡散を伴いにくくなる。したがって、ユーザが高い周波数まで最適に聴くためにはスピーカー936の向きをユーザに(特にユーザの顔、または耳に)向けることが望ましい。
そこで、スピーカー936の振動方向に正対する直線がユーザの顔と交差するための床面との角度は、図10Aに示すようにユーザの頭がシートバックに沿った位置にある場合には、35度程度であり、図10Bに示すようにユーザの視線が水平に保たれた場合には40度程度である。したがって、例えばスピーカー936は、スピーカー936の振動方向に正対する直線と床面とがなす角が35度~40度程度の角度になるように設置されることが望ましい。なお、以下では、例えばスピーカー936の振動方向に正対する直線と床面とがなす角が35度~40度となるようにスピーカー936が設置されることを、スピーカー936が仰角35度~40度で設置される等と表現する場合がある。
スピーカー936が仰角35度~40度で設置するためには、例えばドーム型スクリーン101の支持体がスピーカー936を設置するための構成を有していてもよいし、スピーカー936を設置するためのスピーカースタンドが別途用意されてもよい。
さらに、スピーカー936をドーム型スクリーン101下部の床面に設置した場合に、スピーカー936の振動方向に正対する直線がドーム型スクリーン101に遮られないようにするため、図10A、図10Bに示す例では、ドーム型スクリーン101は床面に対して45度の角度で設置されている。
また、一般的に輻輳が生じない距離が1.2メートルとされているため、図10A、図10Bに示すように、ユーザの目と、ドーム型スクリーン101内でユーザが注視する位置との距離が1.2メートル以上であるように、各構成が配置されることが望ましい。なお、球体の反射は球体の中心に集まるため、音響の反射による定在波の問題を避けるためには、ユーザの視聴位置をドーム型スクリーン101の中心から、離すことが望ましい。
また、上述したように、ドーム型スクリーン101の内径を1.5~2メートル程度に設定することでリアリティーが増すため、図10A、図10Bに示す例ではドーム型スクリーン101の内径を2メートルとしている。上述した情報を総合的に踏まえると、ドーム型スクリーン101の径の中心位置は、図10A、図10Bに示すように1.3メートル程度が望ましい。
ここで、人間の上下視野角は上方視野角が50度、下方視野角が75度であるため、図10A、図10Bに示すようにドーム型スクリーン101と椅子1000が配置されることで、ドーム型スクリーン101はユーザの上方視野角50度を覆うことが可能となる。
ただし、図10A、図10Bに示すように、ドーム型スクリーン101を床面に対して45度で設置した場合、ユーザの下方視野角75度を覆うことは困難である。そこで、下方視野角75度を極力覆うため、例えば、図11A、図11Bに示すように、ドーム型スクリーン101を床面に対して60度で設置することも可能である。
図11A、図11Bは椅子1000に着座したユーザが、床面に対して60度で設置されたドーム型スクリーン101に投影される映像を視聴する様子の例を示す模式図である。なお、図11A、図11Bに示されない各種の値は、図10A、図10Bに示した例と同様であってよい。また、図11Aでは、ユーザの頭が椅子1000のシートバックに沿った位置にある状態を示し、図11Bでは、ユーザが顎を引き、視線を水平に保った状態を示している。
図11A、図11Bに示す例においても、スピーカー936の振動方向に正対する直線がユーザの顔と交差するように、スピーカー936を仰角35度~40度で設置することが望ましい。しかし、図11A、図11Bに示すように、スピーカー936が仰角35度~40度で設置されると、スピーカー936の振動方向に正対する直線がドーム型スクリーン101に遮られてしまう。スピーカー936の振動方向に正対する直線がドーム型スクリーン101に遮られないようにスピーカー936を設置する場合、ドーム型スクリーン101の内側にスピーカー936を設置することになるが、係る場合には表示の妨げとなってしまう。
スピーカー936を用いずに音響を出力するためには、例えばアクチュエータでドーム型スクリーン101を振動させる方法や、透過型スクリーンを活用する方法等が考えられる。しかし、球体の反射は中心に集まるため、音響の反射による定在波の問題と、スクリーンの強度の問題、透過による画質劣化の問題等が発生することから現実的ではないと考えられる。
そこで、ドーム型スクリーン101を床面に対して50度程度で設置し、ドーム型スクリーン101の下端直下にスピーカー936を設置することが望ましい。係る配置により、下方視野角75度のより大部分を覆いつつ、スピーカー936とユーザの顔との間で、スピーカー936の振動方向に正対する直線がドーム型スクリーン101に遮られないようにすることが可能である。
なお、スピーカー936は、複数のスピーカが並んだアレイスピーカを含むサウンドバースピーカーであってもよい。そして、アレイスピーカを用いて、複数のスピーカから出る音の波を視聴エリアに均一に到達させ、包まれる音の広がりと、広いリスニングスポットを実現するように音響が制御されてもよい。
また、より低音域の音響を出力可能とするため、スピーカー936に加えて、低音域の音響を出力するサブウーファー935が設置されることが望ましい。サブウーファー935は、低音域の音響を出力するため指向性が低いものの、音圧は距離の二乗に反比例するため、例えば1メートル程度の近距離では、ユーザが音圧よって方向性を感じてしまう場合がある。そこで、ユーザまでの距離が確保されるように、サブウーファー935は、スピーカー936の真後ろに設置され、視聴位置への到達位相を合わせることが望ましい。また、サブウーファー935をドーム型スクリーン101の内部に設置すると、直接音が反射を起こす恐れがあるため、ドーム型スクリーン101の内部に直接音が届かない位置にサブウーファー935を設置することが望ましい。
上述した検討を踏まえ、望ましい構成の一例を図12A、図12Bに示す。図12A、図12Bは椅子1000に着座したユーザが、床面に対して50度で設置されたドーム型スクリーン101に投影される映像を視聴する様子の例を示す模式図である。なお、図12A、図12Bに示されない各種の値は、図10A、図10Bに示した例と同様であってよい。また、図12Aでは、ユーザの頭が椅子1000のシートバックに沿った位置にある状態を示し、図12Bでは、ユーザが顎を引き、視線を水平に保った状態を示している。また、図12A、図12Bにおいて、スピーカー936の振動方向に正対する直線がユーザの顔と交差するように、より望ましいスピーカー936の仰角がそれぞれ示されているが、スピーカー936は仰角35度~40度で設置されればよい。
図13には、図12A、図12Bに示した構成例の斜視図を示している。図12、図13に示すように、サブウーファー935は、スピーカー936(サウンドバースピーカー)の真後ろに設置される。なお、図12A、図12B、図13に示す例において、サブウーファー935、スピーカー936は、広く使用されている市販品でもよい。
一方、カスタマイズされた専用のシステムを用いることも可能である。図14には、サブウーファー935を支持体102に埋め込んで設置した構成例を示している。また、図15には、サブウーファー935を支持体102に埋め込み、スピーカー936を鉛直方向から見たドーム型スクリーン101の曲線に沿って同心円状にカーブするように支持体102に設置した構成例を示している。また、図16には、サブウーファー935、及びスピーカー936を支持体102に埋め込んで設置した構成例を示している。なお、図14~図16に示したいずれの構成においても、スピーカー936は仰角35度~40度で設置されることが望ましい。
上記のように、カスタマイズされた専用のシステムを用いることで、より囲まれた音響環境や、スピーカーが埋め込まれたことによるスピーカーの存在を感じないより没入可能な体験を実現することが可能となる。
なお、図12~図16では、音響出力系として、サブウーファー935とスピーカー936を備える例を示したが、本実施形態は係る例に限定されない。例えば、さらなる音響出力系として、ヘッドレスト・スピーカーやリアスピーカーが備えられてもよい。
図17には、椅子1000にヘッドレスト・スピーカー934、及びリアスピーカー937が備えられた構成例を示している。なお、図17に示す構成例は、椅子1000がヘッドレスト1040、ヘッドレスト・スピーカー934、及びリアスピーカー937を備えることを除いて、図12Aに示した構成例と同様である。ヘッドレスト・スピーカー934、及びリアスピーカー937が設けられることにより、ユーザの後ろから音響が出力され、より包み込まれるような音響環境が実現される。
なお、図17ではリアスピーカー937が備えられる例を示したが、リアスピーカー937を設ける代わりに、信号処理による音場補正を行うことで、望ましい位置(例えば図17に示したリアスピーカー937の位置)に、仮想的に音源を再配置してもよい。図18には、椅子1000にヘッドレスト・スピーカー934が備えられた構成例の斜視図を示している。
なお、変位情報に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、音像定位や反響を制御することで、ユーザの左右に設けられたヘッドレスト・スピーカー934を活用して、ユーザの頭の位置に合わせて信号処理された音響が出力されてもよい。
また、所謂バイノーラル録音された音響の再生の原理を応用した信号処理により、サブウーファー935とスピーカー936(サウンドバースピーカ-)の双方とも、またはスピーカー936のみを、ユーザの左右に設けられたヘッドレスト・スピーカー934で代用することも可能である。
B.ユーザの身体の動作に応じたインタラクション
図1~図7に示した構成例では、ドーム型スクリーン101に入ったユーザが椅子106に着座していることを想定しているが、ドーム型ディスプレイ100の使用方法はこれに限定されるものではない。ユーザは椅子以外のオブジェクトを使用している状態でも、ドーム型スクリーン101内に入り、自由視点映像やVR映像を視聴することができる。例えば、ソファやベッドといった日常生活で使う既存の家具などのオブジェクトや、フィットネスバイクやトレッドミルなどのフィットネス器具などをドーム型スクリーン101内に設置して、ユーザはこれらいずれかのオブジェクトを使用しながら、ドーム型スクリーン101に投影された映像を視聴することができる。
ユーザがオブジェクトを使用している状態は、椅子に着座しさらにはシートバックにもたれかかっている状態や、フィットネスバイクに跨ってペダルを漕いでいる状態、トレッドミル上で走行又は歩行している状態、ソファやベッドの上で寝そべり若しくは横たわっている状態などである。いずれの状態も、ユーザは何も装着していない状態である。また、基本的にはユーザの身体は使用中のオブジェクトには拘束されない解放された状態であるが、オブジェクトの上に乗るなどユーザの身体はオブジェクトに触れている。このため、体幹や上半身などユーザの身体が動作すると、これに応じてオブジェクトの所定の部位も回転や並進など3次元的な位置情報が変位する。
そこで、本明細書では、ユーザが使用しているオブジェクトの変位情報に基づいてユーザの体幹や上半身などの動作を直接的又は間接的に導き出し、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現する技術について、以下で提案する。
ユーザがオブジェクトの上に乗るなど、ユーザがオブジェクトを使用しているとき、ユーザの身体動作に応じてオブジェクトの所定の部位が3次元的に変位する。したがって、オブジェクトの所定の部位の位置情報に基づいて、所定の部位の変位情報を取得し、ユーザの体幹や上半身などの動作を直接的又は間接的に導き出すことになる。
そして、オブジェクトの所定の部位の変位情報に基づいて、ドーム型ディスプレイ100におけるフィードバック出力を制御することによって、ユーザの身体の動作に応じたインタラクションが実現される。
ドーム型ディスプレイ100における出力は、ドーム型スクリーン101への映像表示を含む。例えば、変位情報に基づいて、映像の明るさや解像度、自由視点映像内における表示位置(画角)や遷移方向、運動視差などを制御することで、ユーザに映像のフィードバックを与えることができる。また、ドーム型ディスプレイ100における出力は、音響出力を含む。例えば、変位情報に基づいて自由視点映像を視聴しているユーザの頭部位置を推定し、その頭部位置に向けて、音像定位や反響を制御することで、ユーザに音響のフィードバックを与えることができる。なお、ユーザの視線情報に応じて、いわゆる中心窩レンダリングをドーム型ディスプレイ100のレンダリングに適用してもよい。
さらに、ドーム型ディスプレイ100における出力は、マルチモーダル・インタフェースを用いた温度や風、湿度、匂い、音響効果といったドーム内の環境変化や、ユーザに加える触覚や傾き、加速度感、重力方向感、振動、揺動、軽い電気刺激などを含む。ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報に基づいて、これらマルチモーダル・インタフェースの出力を制御することで、臨場感を演出するようなフィードバックをユーザに与えることができる。
ここで言うオブジェクトの所定の部位は、例えばオブジェクトの表面に存在する特徴箇所である。
オブジェクトの特徴箇所は、赤外線などの不可視光又は可視光を発光する発光素子からなり、オブジェクトの表面上のあらかじめ決められた場所又は任意の場所に取り付けられている。あるいは特徴箇所は、発光素子のような能動的なマーカではなく、既知の2次元図形パターンなどからなる静的なビジュアル・マーカであってもよい。したがって、このような特徴箇所を、広角レンズなどを取り付けた1台又は2台以上のカメラで追跡(モーション・キャプチャ)することで、特徴箇所の変位情報を取得することができる。あるいは、オブジェクトの特徴箇所は、オブジェクトの表面に取り付けたマーカである必要はなく、画像認識処理やエッジ処理などを利用してオブジェクトの撮像画像から抽出することができる特徴点であってもよい。
そして、オブジェクトの所定の部位の位置情報に基づいて、体幹や上半身などなどユーザの身体動作に対応する3次元的な変位情報を取得することができる。例えば、オブジェクトの表面に存在する2つ以上の特徴箇所の変位を計測して、体幹や上半身などなどユーザの身体動作に応じた3次元的な変位情報を導き出すことができる。
具体的には、オブジェクトの表面上の少なくとも2つの特徴箇所の位置を計測すれば、これら少なくとも2つの特徴箇所により形成される直線の、ユーザの身体動作に応じた回転変位に対応する第1の変位情報を取得することができる。また、オブジェクトの表面上の少なくとも3つの特徴箇所の位置を計測すれば、これら少なくとも3つの特徴箇所により形成される面の3次元的な回転変位に対応する第1の変位情報を取得することができる。
オブジェクトの回転変位に対応した第1の変位情報は、オブジェクトを使用しているユーザの体幹の3次元的な変位を直接的又は間接的に表すものである。そして、第1の変位情報として取得されたオブジェクトの回転方向や回転方向における変位量(あるいは、回転角速度や回転角加速度)などに基づいて、ドーム型ディスプレイ100の映像表示や、マルチモーダル・インタフェースの出力などをフィードバック制御することによって、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現することができる。
また、オブジェクトの表面上の少なくとも3つの特徴箇所の位置を計測すれば、これら少なくとも3つの特徴箇所により形成される面の3次元的な並進変位に対応する第2の変位情報を取得することができる。さらに、これら少なくとも3つの特徴箇所により形成される面の3次元的な往復並進変位に対応する第3の変位情報も取得することができる。
オブジェクトの並進変位に対応した第2の変位情報や、オブジェクトの往復並進変位に対応した第3の変位情報は、オブジェクトを使用しているユーザの身体動作を直接的又は間接的に表すものである。そして、第2の変位情報又は第3の変位情報として取得されたオブジェクトの並進変位又は往復並進変位(若しくは、これらの並進変位方向、並進変位量、並進速度、並進加速度)などに基づいて、ドーム型ディスプレイ100の映像表示やマルチモーダル・インタフェースの出力などをフィードバック制御することによって、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現することができる。
ユーザが使用しているオブジェクトとして、例えば、椅子やソファ、ベッドなどの日常生活で使う既存の家具、フィットネスバイクやトレッドミルといったフィットネス器具などを挙げることができる。オブジェクトの多くは、床(具体的には、ドーム型スクリーン101の直下)に載置され、その上にユーザが乗るという形態で使用される。このような使用形態では、ユーザが身体動作を行なってもオブジェクトは床に対して相対移動を実質的に行わない(若しくは、ユーザは、オブジェクトを床に対して相対移動させるような身体動作を行わない)という拘束条件を課すことができる。そして、このような拘束条件下で、オブジェクトの回転変位に対応する第1の変位情報、オブジェクトの並進変位に対応する第2の変位情報、あるいはオブジェクトの往復並進変位に対応する第3の変位情報に基づいて、ドーム型ディスプレイ100の映像表示やマルチモーダル・インタフェースの出力などのフィードバック制御を行うようにしてもよい。
本明細書で開示する、ユーザの身体の動作に応じたインタラクション技術は、ユーザは専用のセンサを何も装着する必要がなく、且つ、コントローラやコンソールといった入力デバイスを操作しなくてもよい、という点に特徴がある。
また、椅子やソファ、ベッドなどの日常生活で使う既存の家具、フィットネスバイクやトレッドミルといったフィットネス器具など、ユーザが使用する各種のオブジェクトは広く使用されている市販品でよい。これら市販品からなるオブジェクトの表面に不可視光又は可視光を発光する素子やビジュアル・マーカなどからなるマーカを取り付けることで複数の特徴箇所を設置し、又は、画像認識処理により抽出することが可能な特徴点を特徴箇所として利用することで、ユーザの体幹などの身体動作に応じたオブジェクトの回転変位や並進変位に関する変位情報を取得することができる。すなわち、本明細書で開示する技術によれば、市販され又は広く普及しているさまざまな商品を取り込んで、ユーザの身体動作に応じて変位するオブジェクトとして活用して、ユーザの身体の動作に応じたインタラクションを実現することができ、専用のコントローラを一切必要としないのである。
ドーム型ディスプレイ100自体は、囲まれた映像と音響環境を組み合わせて、その場にいる感覚やその場に参加している感覚を再現することができ(前述)、ユーザはわざわざ現場に出向かなくてもさまざまな場所を訪れる体験を実現することができる。さらに、本明細書で提案するインタラクション技術を活用することで、その場で自分が参加している感覚をもドーム型ディスプレイ100で再現することが可能になる。
付言すれば、本明細書で提案するインタラクション技術は、椅子やベッドなどの日常生活で使用する家具を通じて体幹の変位などユーザの身体動作を検出して、入力に代替することができるので、身体の動きが不自由な障がい者に対して、コントローラやコンソールに置き換わる代替入力機能として展開することも可能である。また、本明細書で提案するインタラクション技術は、一般家庭だけではなく、病院やリハビリなどの施設で利用することができる。例えば、車椅子を利用しているユーザであれば、車椅子の3次元変位を検出し、ドアの開閉操作、リクライニングベッドの昇降操作、照明のオンオフ操作、ナースコール、カーテンの開閉などの種々の外部機器の制御に利用することができる。このケースにおいて、制御される外部機器は、車椅子の3次元変位を検出するカメラとネットワークを介して接続されていればよい。さらに、本明細書で提案するインタラクション技術は、飛行機や電車、バス、自動運転対応の乗用車など、スペースが限られた移動体でも利用することができる。
以下では、ユーザが使用する各オブジェクトについて、ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報を取得する方法や、さらには所得した変位情報に基づくフィードバック出力の制御方法に関する実施例について、詳細に説明する。
図19には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、ユーザが着座している椅子1000を例示している。図示の椅子1000は、シートバック及びアームレスト付きであるとする。椅子1000はドーム型スクリーン101の下に設置されており、ユーザは椅子1000に着座してドーム型スクリーン101に投影される映像を視聴することができる。
椅子1000のシートバック1010の四隅には、それぞれマーカ1011~1014が取り付けられている。各マーカ1011~1014は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。あるいは、マーカ1011~1014を椅子1000に取り付けるのではなく、画像認識処理により抽出することが可能な複数の特徴点をマーカの代わりに使用するようにしてもよい。また、椅子1000の左右の斜め後方にはカメラ1021及び1022がそれぞれ設置されている。変位情報取得部としての変位センサ941は、各カメラ1021及び1022の撮像画像中から各マーカ1011~1014の像を検出すると、3角測量の原理などに基づいて、各マーカ1011~1014の3次元的な位置情報を算出することができる。
ユーザが椅子1000に着座したまま、シートバック1010にもたれるなど、主に体幹の動作や上半身の傾き動作に応じて各マーカ1011~1014の3次元的な位置情報が変化する。変位情報取得部としての変位センサ941は、各カメラ1021及び1022の撮像画像を入力して、各マーカ1011~1014の位置情報を追跡し続けることで、ユーザの身体動作に応じた各マーカ1011~1014の3次元的な変位情報を取得することができる。
なお、図19には示していないが、椅子1000の着座部位やアームレスト1030にもマーカを取り付けてもよい。この場合、ユーザがアームレスト1030に肘をつくなどのユーザの身体動作に応じたアームレスト1030上のマーカが取り付けられた部位の3次元的な変位情報を取得することができる。
例えば、変位情報取得部としての変位センサ941は、椅子1000のシートバック1010に取り付けられたいずれか2つのマーカにより形成される直線の、ユーザの身体動作に応じた3次元的な回転変位に対応する第1の変位情報を取得することができる。
また、変位センサ941は、椅子1000のシートバック1010に取り付けられた3以上のマーカにより形成される面の、ユーザの身体動作に応じた3次元的な回転変位に対応する第1の変位情報を取得することができる。
変位センサ941は、3次元的な回転変位に対応する第1の変位情報として、例えば、回転方向や、回転方向への回転変位量、単位時間当たりの回転変位量(若しくは、回転角速度)、回転角加速度といった情報を取得する。例えば、シートバック1010の倒れ角度に関する回転変位量、回転角速度、回転角加速度を取得することができる。例えば、椅子1000のシートバック1010や座面の左右回転角度(但し、椅子1000が座面の回転機能を備えている場合)や、前後又は左右方向の倒れ角度に関する変位情報を取得して、出力制御部としての制御部910に入力することができる。
また、変位センサ941は、椅子1000のシートバック1010に取り付けられたマーカ1011~1014のうち少なくともいずれか1つの、ユーザの身体動作に応じた並進変位に対応する第2の変位情報や、ユーザの身体動作に応じた往復並進変位に対応する第3の変位情報を取得することができる。
変位センサ941は、並進変位又は往復並進変位に対応する第2の変位情報、第3の変位情報として、例えば、並進する方向や、並進方向への変位量、単位時間当たりの並進変位量(若しくは、並進速度)、並進加速度といった情報を取得する。例えば、椅子1000の上下、前後、左右の各方向への移動に関する変位情報を取得して、出力制御部としての制御部910に入力することができる。
変位センサ941による椅子1000に取り付けられたマーカ1011~1014の検出方法と、制御部910に入力される変位情報との対応関係を、以下の表1に例示する。
例えば、変位センサ941は、マーカ1011~1014のうち少なくともいずれか1つの3次元的な位置の変位情報を検出することにより、椅子1000の単位時間当たりの上下移動量を検出した結果を、椅子1000の上下移動量として、制御部910に入力する。椅子1000の上下移動量は、ユーザが椅子1000に着座した際の高さ方向の動作に対応する。なお、シートバック1010に取り付けられたマーカ1011~1014ではなく、着座部位やアームレスト1030に取り付けられたマーカ(いずれも図示しない)に基づいて椅子1000の上下方向の移動量を検出することもできる。
また、変位センサ941は、マーカ1011~1014のうち少なくともいずれか1つの3次元的な位置の変位情報を検出することにより、椅子1000の単位時間当たりの左右回転角度を検出した結果を、椅子1000の左右回転角度(但し、椅子1000が座面の回転機能を備えている場合)として、制御部910に入力する。
また、変位センサ941は、マーカ1011~1014のうち少なくともいずれか3つにより形成される面の3次元的な回転変位に対応する変位情報を検出することにより、椅子1000の単位時間当たりの前後方向の倒れ角度を検出した結果を、椅子1000の前後方向の倒れ角度として、制御部910に入力する。椅子1000の前後方向の倒れ角度は、ユーザが椅子1000に着座した際のシートバック1010に寄りかかり又は起き上がる動作に対応する。なお、椅子1000のシートバック1010のばね性を利用することができる場合には、変位センサ941は、シートバック1010に寄りかかっていたユーザが体を起こした際(図23を参照のこと)の戻りの所定の閾値を超える倒れ角角速度を検出し、これを制御部910に入力することもできる。
また、変位センサ941は、マーカ1011~1014のうち少なくともいずれか3つにより形成される面の3次元的な回転変位に対応する変位情報を検出することにより、椅子1000の単位時間当たりの左右方向の倒れ角度を検出した結果を、椅子1000の左右方向の倒れ角度として、制御部910に入力する。椅子1000の左右方向の倒れ角度は、ユーザが椅子1000に着座した際のアームレストに寄りかかり又は起き上がる動作に対応する。
また、変位センサ941は、マーカ1011~1014のうち少なくともいずれか1つの3次元的な位置の変位情報を検出することにより、椅子1000の単位時間当たりの前後並びに左右方向の移動量を検出した結果を、椅子1000の前後並びに左右方向の移動量として、制御部910に入力する。椅子1000の前後並びに左右方向の移動は、ユーザがキャスター付きの椅子1000に着座して、足で前後左右に位置を合わせる動作に対応する。なお、シートバック1010に取り付けられたマーカ1011~1014ではなく、着座部位やアームレスト1030に取り付けられたマーカ(いずれも図示しない)に基づいて椅子1000の前後並びに左右方向の移動量を検出することもできる。また、ユーザが椅子1000を揺らした際の揺動や振動も、椅子1000の前後並びに左右方向の移動量として検出することもできる。
そして、出力制御部としての制御部910は、変位センサ941から入力される椅子1000の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、椅子1000に着座しているユーザの身体動作に応じたインタラクションを実現する。
ユーザの身体動作に対応した椅子1000の変位情報と、制御部910が実行する出力制御との対応関係を以下の表2に例示する。但し、表2では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン101のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ942などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。
例えば、ユーザが着座している椅子1000の変位情報として上下移動量が入力されたときには、出力制御部としての制御部910は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下変化を付けるといった映像処理を実行する。また、制御部910は、単位時間当たりの上下移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたサラウンド・サウンド・フィールド(以下、「SSF」とする)の上下変化を制御するといった音響処理を実行する。なお、制御部910は、椅子1000の上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、移動量が第1の値に達したときに第1の出力を行い、移動量が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが着座している椅子1000の変位情報として左右回転角度が入力されたときには、出力制御部としての制御部910は、単位時間当たりの回転角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右変化を付けるといった映像処理を実行する(図20を参照のこと)。また、左右回転に連動して、UIメニューのカーソルを左右に移動させるといった映像処理を実行してもよい(図37を参照のこと)。また、制御部910は、単位時間当たりの左右回転角度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの左右変化を制御するといった音響処理を実行する。なお、制御部910は、椅子1000の左右回転角度に応じて映像処理や音響処理を連続的に変化させるのではなく、回転角度が第1の値に達したときに第1の出力を行い、回転角度が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが着座している椅子1000の変位情報として前後方向の角度が入力されたときには、出力制御部としての制御部910は、単位時間当たりの前後の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の前後倒れ角変化を付けるといった映像処理を実行する(図21を参照のこと)。また、前後の倒れ角に連動して、UIメニューのカーソルを移動させるといった映像処理を実行してもよい(図37を参照のこと)。あるいは、制御部910は、第1の倒れ角度が入力されたときには第1の出力を行い、第1の倒れ角度よりも大きい第2の倒れ角度が入力されたときには第1の出力とは異なる第2の出力を行うように制御してもよい。また、制御部910は、単位時間当たりの前後の倒れ角に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの前後倒れ角変化を制御するといった音響処理を実行する。なお、制御部910は、椅子1000の前後方向の角度に応じて映像処理や音響処理を連続的に変化させるのではなく、前後方向の角度が第1の値に達したときに第1の出力を行い、前後方向の角度が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが着座している椅子1000の変位情報として、シートバック1010に寄りかかっていたユーザがシートバック1010のばね性を利用して体を起こした際に、その戻りの倒れ角角加速度が所定の閾値を超えたことを発火条件として、出力制御部としての制御部910は、UIメニューのカーソル選択や、別の視点位置の自由視点映像(又はVR映像)へ瞬間移動させる(コンテンツの切り替え)といった映像処理(図37を参照のこと)を実行してもよい。また、制御部910は、自由視点映像の視点位置の瞬間移動(コンテンツの切り替え)を引き起こした前後の倒れ角の角加速度に合わせたSSFの効果音を発生させるといった音響処理を実行する。
また、ユーザが着座している椅子1000の変位情報として左右方向の角度が入力されたときには、出力制御部としての制御部910は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右倒れ角変化を付けるとともに、視点位置を左右に変化させる(例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を左右に変化させる)といった映像処理を実行する(図22を参照のこと)。また、制御部910は、左右の倒れ角度と同じ角度及び比例した角度で、映像の明るさを制御するようにしてもよい。また、制御部910は、単位時間当たりの左右の倒れ角に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの左右倒れ角変化を制御するといった音響処理を実行する。なお、制御部910は、椅子1000の左右方向の角度に応じて映像処理や音響処理を連続的に変化させるのではなく、左右方向の角度が第1の値に達したときに第1の出力を行い、左右方向の角度が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが着座している椅子1000の変位情報として前後並びに左右方向の移動量が入力されたときには、出力制御部としての制御部910は、単位時間当たりの前後並びに左右の移動量と同じ移動量及び比例した移動量で、視聴中の自由視点映像に運動視差の前後並びに左右の変化を付けるといった映像処理を実行する。また、制御部910は、単位時間当たりの前後並びに左右の移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの前後左右変化を制御するといった音響処理を実行する。また、ユーザが椅子1000を揺らした際の揺動や振動に起因する椅子1000の前後並びに左右方向の移動に関する変位情報が入力されたときには、制御部910は、ユーザが椅子1000を揺らす動作に対応した出力制御を行うようにしてもよい。
続いて、ユーザが使用しているフィットネス器具から変位情報を取得して、ユーザの身体の動作に応じたインタラクションを実現する実施例について説明する。
図24には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、トレッドミル1500を例示している。図示のトレッドミル1500は、踏み台1510と操作パネル1520を備えている。踏み台1510の上面では、無端ベルト1511が周回移動しており、ユーザはこの無端ベルト1511上を走行又は歩行することができる。操作パネル1520は、無端ベルト1511上に乗った状態のユーザが向き合う位置に配設される。ユーザは、操作パネル1520を介して踏み台1510の傾斜や無端ベルト1511の走行速度の調整を行うことができる。また、操作パネル1520上には、走行距離や平均速度、心拍数、消費カロリーなどの運動情報が表示される。また、操作パネル1520の左右両端からは、ユーザが把持することができる手摺りフレーム1521、1522が、無端ベルト1511の移動方向に向かって伸びている。
トレッドミル1500は、ドーム型スクリーン101の下に設置されており、ユーザは、無端ベルト1511上で走行又は歩行しながらドーム型スクリーン101に投影される映像を視聴することができる。ユーザは、左右いずれか一方に重心をずらしながら無端ベルト1511上を走行又は歩行することもある。また、ユーザは、無端ベルト1511上を走行又は歩行中に、左右いずれか一方又は両方の手摺りフレーム1521、1522を把持して身体を支えることもある。
トレッドミル1500の無端ベルト1511上には、周回移動する方向に、複数のマーカ1531、1532、…が取り付けられている。マーカ1531、1532、…の間隔は任意でよいが、無端ベルト1511のいずれの周回位置でも少なくとも1つのマーカ1531が踏み台1510の上面に露出していることが好ましい。また、操作パネル1520の左右両端に1つずつマーカ1541、1542が取り付けられている。勿論、操作パネル1520上に3以上のマーカを取り付けていてもよい。
各マーカ1531、1532、…、並びに1541、1542は、例えば、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカである。また、トレッドミル1500の左右の斜め後方にはカメラ1551及び1552がそれぞれ設置されている。変位情報取得部としての変位センサ941は、各カメラ1551及び1552の撮像画像中から各マーカ1531、1532、…、並びに1541、1542の像を検出すると、3角測量の原理などに基づいて、各マーカ1531、1532、…、並びに1541、1542の3次元的な位置情報を算出することができる。
無端ベルト1511が周回移動すると、無端ベルト1511上に取り付けられた各マーカ1531、1532、…も直線的に移動する。したがって、変位情報取得部としての変位センサ941は、無端ベルト1511上の各マーカ1531、1532、…の単位時間当たりの移動量に基づいて、ユーザが無端ベルト1511上で走行又は歩行する速度を取得することができる。言い換えれば、市販されているトレッドミル1500をドーム型スクリーン101の下に設置するとともに無端ベルト1511上にマーカ1531、1532、…を取り付けるだけで、システム900は、トレッドミル1500とは電気的に接続することなく、ユーザの走行又は歩行速度に関する情報を取得することができる。なお、トレッドミル1500は、床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質がある。トレッドミル1500の左右方向をX、上下方向をY、前後方向(無端ベルト1511の進行方向)をZと定義したとき、X方向は固定するという拘束条件下で、各マーカ1531、1532、…の並進の変位情報を取得することができる。また、Y方向は、その変位によって例えばユーザの歩調を検出することができるので固定せず、Z方向は、その方向に無端ベルト1511が動くので固定しない。
また、ユーザが、左右いずれか一方に重心をずらしながら無端ベルト1511上を走行又は歩行しているときや、左右いずれか一方又は両方の手摺りフレーム1521、1522を把持して身体を支えているときには、トレッドミル1500は左右いずれか一方に傾斜する。このような左右の傾斜は、ユーザが映像における進行方向を左右に変化させたい意図を表す場合もある。変位情報取得部としての変位センサ941は、操作パネル1520の左右両端にそれぞれ取り付けられているマーカ1541、1542の3次元的な位置情報に基づいて、操作パネル1520若しくはトレッドミル1500本体の左右の倒れ角度を検出すると、左右の進行方向の変化を意図する情報として、出力制御部としての制御部910に入力することができる。あるいは、映像の進行方向が所定の方向に固定されているときに左右の倒れ角度を検出した場合、ユーザがトレーニングを終了することを意図していると見做してもよい。あるいは、左右の倒れ角度を検出に基づいてランニングフォームが乱れていると推定することで、ユーザにフォームを矯正するためのフィードバックを行ってもよい。なお、トレッドミル1500が床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質を考慮すると、Y軸回りの回転は固定するという拘束条件下で、各マーカ1541、1542の回転に関する変位情報を取得することができる。また、X軸回りの回転変位によって例えばユーザの前後位置を検出可能なので固定せず、Z軸回りの回転変位によって例えばユーザの左右の足を検出することができるので、固定しない。
図25には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、フィットネスバイク1600を例示している。図示のフィットネスバイク1600は、サドル1610と、ハンドル1620と、前輪1630を備えている。フィットネスバイク1600は、ドーム型スクリーン101の下に設置されており、ユーザはフィットネスバイク1600で走行しながらドーム型スクリーン101に投影される映像を視聴することができる。
ユーザは、サドル1610に跨ると、前傾姿勢となり、ハンドル1620を両手で把持する。また、ユーザは、サドル1610に跨ってペダル(図示しない)を漕ぐが、このペダルの回転動作に連動して前輪1630も回転する(図26を参照のこと)。また、ユーザは、フィットネスバイク1600の走行速度を上げるために立ち漕ぎ動作を行うことや(図27を参照のこと)、カーブを曲がるコーナリングの姿勢をとるために左又は右に倒れ込む動作を行う(図28を参照のこと)、など、ユーザがさまざまな姿勢をとることが想定される。
フィットネスバイク1600の前輪1630の側面には、回転方向に、1以上のマーカ1641、…が取り付けられている。あるいは、図示しないが、前輪1630ではなく、左右いずれか少なくとも一方のペダルにマーカを取り付けてもよい。また、サドル1610の後端縁の左右に一対のマーカ1651、1652が取り付けられている。あるいは、図示しないが、サドル1610ではなくハンドル1620の左右端に一対のマーカを取り付けてもよい。
各マーカ1641、…、並びに1651、1652は、例えば、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカである。また、フィットネスバイク1600の左右の斜め後方にはカメラ1661、1662がそれぞれ設置されている。変位情報取得部としての変位センサ941は、各カメラ1661及び1662の撮像画像中から各マーカ1641、…、並びに1651、1652の像を検出すると、3角測量の原理などに基づいて、各マーカ1641、…、並びに1651、1652の3次元的な位置情報を算出することができる。
変位センサ941によるフィットネスバイク1600に取り付けられたマーカ1641、…、並びに1651、1652の検出方法と、制御部910に入力されるフィットネスバイク1600の変位情報との対応関係を、以下の表3に例示する。
ユーザがペダルを漕いで前輪1630が図26に示すように回転すると、前輪1630の側面に取り付けられたマーカ1641、…も回転方向に沿って移動する。したがって、変位センサ941は、前輪1630の側面に取り付けられたマーカ1641、…の3次元的な位置情報を検出することにより、単位時間当たりの前輪1630の回転数を検出した結果を、前輪1630の回転速度として、制御部910に入力する。前輪1630の回転速度から、フィットネスバイク1600の走行速度に換算することができる。前輪1630ではなくペダルに取り付けたマーカの3次元的な位置情報に基づいても、同様にフィットネスバイク1600の走行速度を取得することができる。なお、フィットネスバイク1600は、床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質がある。フィットネスバイク1600の左右方向をX、上下方向をY、前後方向をZと定義したとき、X方向は固定するという拘束条件下で、各マーカ1641、…、並びに1651、1652の変位情報を取得することができる。また、Y方向は、その変位によって例えばサドル1610に座るユーザの重量を検出することができるので固定しない。また、ユーザがペダルを漕ぐ姿勢に応じてZ方向に体重移動し、これに伴ってフィットネスバイク1600本体の前後方向の倒れ角度も変化するので、Z方向には固定しない。
また、ユーザがフィットネスバイク1600の走行速度を上げるために立ち漕ぎ動作を行ったり立ち漕ぎをやめたりして、ユーザの身体が図27に示すように上下に移動すると、サドル1610に課される重量が変動することにより上下に移動する。したがって、変位センサ941は、サドル1610の後端縁に取り付けられたマーカ1651、1652のうち少なくとも1つの3次元的な位置情報を検出することにより、サドル1610の単位時間当たりの上下移動量を検出した結果を、ユーザの立ち漕ぎ動作に伴うフィットネスバイク1600の上下移動量として、制御部910に入力する。
また、ユーザが、図28に示すようにカーブを曲がるコーナリングの姿勢をとるために左又は右に倒れ込んで漕ぐと、サドル1610も左又は左右に傾斜する。したがって、変位センサ941は、サドル1610の後端縁に取り付けられたマーカ1651、1652のうち少なくとも1つの3次元的な位置情報を検出することにより、サドル1610の単位時間当たりの左右の倒れ角度を検出した結果を、ユーザのコーナリングに伴う倒れ角度として、制御部910に入力する。なお、フィットネスバイク1600が床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質を考慮しても、XYZの各軸回りを固定せずに変位情報を取得するべきである。例えば、フィットネスバイク1600本体のX軸回りの回転変位によって、ユーザがサドル1610に座る前後位置を検出することができる。また、フィットネスバイク1600本体のY軸回り回転変位によって、ユーザの身体の回転(ひねり)を検出することができる。また、フィットネスバイク1600本体のZ軸回りの回転変位によって、ユーザの進行方向を左右に変化させようとする際の左右の体重移動を検出することができる。
なお、説明を省略したが、ユーザがトレッドミル1500を走行している場合においても、無端ベルト1511上に取り付けたセンサ1531、1532…、並びに操作パネル1520上に取り付けたセンサ1541、1542の検出結果に基づいて、表3と同様の変位情報を取得して、出力制御部としての制御部910への入力を行うことができる。
そして、出力制御部としての制御部910は、変位センサ941から入力される変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、フィットネスバイク1600を使用しているユーザの身体の動作に応じたインタラクションを実現する。
ユーザの身体動作に対応したフィットネスバイク1600の変位情報と、制御部910が実行する出力制御との対応関係を以下の表4に例示する。但し、表4では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン101のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ942などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。
例えば、ユーザが使用しているフィットネスバイク1600の変位情報として前輪1630の回転速度が入力されたときには、出力制御部としての制御部910は、前輪1630の回転速度から換算されるフィットネスバイク1600の走行速度と同じ速度及び比例した速度で、視聴中の自由視点映像に運動視差の前後の変化を付けるといった映像処理を実行する。また、制御部910は、換算されるフィットネスバイク1600の走行速度と同じ速度及び比例した速度で、視聴中の自由視点映像の視点位置を前後又は左右に変化させる(例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を前後又は左右に変化させる)といった映像処理を実行する(図22を参照のこと)。また、制御部910は、前輪1630の回転速度から換算されるフィットネスバイク1600の走行速度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの前後左右変化を制御するといった音響処理を実行する。なお、制御部910は、前輪1630の回転速度に応じて映像処理や音響処理を連続的に変化させるのではなく、前輪1630の回転速度が第1の値に達したときに第1の出力を行い、前輪1630の回転速度が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが使用しているフィットネスバイク1600の変位情報として上下移動量が入力されたときには、出力制御部としての制御部910は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下の変化を付けるといった映像処理を実行する。また、制御部910は、単位時間当たりの上下移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの上下変化を制御するといった音響処理を実行する。なお、制御部910は、フィットネスバイク1600の上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、上下移動量が第1の値に達したときに第1の出力を行い、上下移動量が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
また、ユーザが使用しているフィットネスバイク1600の変位情報として左右の倒れ角度が入力されたときには、出力制御部としての制御部910は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右倒れ角度の変化を付けるといった映像処理を実行する。また、制御部910は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像の視点位置の進行方向を左右に変化させる(例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を左右に変化させる)といった映像処理を実行する(図22を参照のこと)。また、制御部910は、単位時間当たりの左右の倒れ角度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの左右の倒れ角度変化を制御するといった音響処理を実行する。なお、制御部910は、フィットネスバイク1600の左右の倒れ角度に応じて映像処理や音響処理を連続的に変化させるのではなく、倒れ角度が第1の値に達したときに第1の出力を行い、倒れ角度が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
なお、説明を省略したが、ユーザがトレッドミル1500を走行している場合においても、出力制御部としての制御部910は、トレッドミル1500上でのユーザの走行又は歩行速度や、トレッドミル1500の上下移動量、左右の倒れ角度などの変位情報に基づいて、ユーザに対して表4と同様のフィードバック出力を行うことができる。
上記では、基本的には図1~図7に示したドーム型ディスプレイ100で自由視点映像を表示することを前提として、椅子などの家具やフィットネス器具をドーム型スクリーン101の下に設置した実施例について説明してきた。しかしながら、部屋の天井や壁面、あるいは乗用車の車室内の壁面などさまざまなデバイスを用いて自由視点映像やVR映像を表示することが可能である。また、表示デバイスの種類に応じて、さまざまなオブジェクトを使用しているユーザの身体動作に応じた変位情報に基づくインタラクションを実現することができる。
図29には、ユーザが、椅子1000に着座しながら、部屋の天井や壁面2000に表示されている映像を視聴している様子を示している。実施例1で説明したのと同様の方法で、椅子1000に取り付けられたマーカの3次元的な位置情報を検出してユーザの身体動作に応じた椅子1000の変位情報を取得することができる。また、取得した変位情報に応じて、実施例1と同様の映像処理や音響処理を行うようにしてもよい。
図30及び図31には、ユーザが幌2101付きの椅子2100に着座している様子を示している。幌2101は開閉操作が可能であり、図31に示すように閉じた幌2101の内壁面をスクリーンとして用いて、自由視点映像やVR映像を投影することができる。したがって、ユーザは、椅子2100に着座するとともに幌2101を閉じて、幌2101の内壁面に表示された映像を視聴することができる。
また、椅子2100のアームレスト2102には複数のマーカ2111、2112…が取り付けられている。各マーカ2111、2112…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。アームレスト2102に対向して、カメラ2120が設置されている。変位情報取得部としての変位センサ941は、カメラ2120の撮像画像中から各マーカ2111、2112…の像を検出すると、各マーカ2111、2112…の3次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じた椅子2100の変位情報を取得することができる。
また、図示を省略するが、椅子2100のシートバックにもマーカを取り付けるとともに、そのマーカを撮像するカメラを設置して、椅子2100の前後方向の倒れ角度や、倒れ角速度、倒れ角加速度といったユーザの身体動作に応じた変位情報を取得することができる。
そして、出力制御部としての制御部910は、変位センサ941から入力される椅子2100の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、椅子2100に着座しているユーザの身体動作に応じたインタラクションを実現する。
図32には、ユーザが乗用車の車室2300内の座席2301に着座している様子を示している。乗用車は、例えば自動運転対応の車両であり、車室2300の壁面をスクリーンとして用いて自由視点映像やVR映像を投影することができ、あるいは車室2300に映像を表示するディスプレイ(図示しない)が持ち込まれているものとする。ユーザは、座席2301に着座して、表示された映像を視聴することができる。
また、座席2301には、複数のマーカ2311…が取り付けられている。各マーカ2311…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。車室2300の天井には、カメラ2320が設置されている。変位情報取得部としての変位センサ941は、カメラ2120の撮像画像中から各マーカ2311…の像を検出すると、各マーカ2311…の3次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じた座席2301の変位情報を取得することができる。
そして、出力制御部としての制御部910は、変位センサ941から入力される座席2301の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、座席2301に着座しているユーザの身体動作に応じたインタラクションを実現する。制御部910は、取得した変位情報に応じて、実施例1と同様の映像処理や音響処理を行うようにしてもよい。なお、複数のユーザが乗用車の車室2300内に存在する場合、出力制御部としての制御部910は、全てのユーザの影にならないように、またはユーザの顔に照射しないように映像処理の出力を制御してもよい。
図33並びに図34には、ユーザがベッド2400又は2500に横たわっている様子をそれぞれ示している。ユーザは、ベッドに横たわったり仰向けになったりし映像を視聴することも多い。図33に示す例では、横たわっているユーザが、図示しないディスプレイの映像を視聴しているものとする。また、図34に示す例では、ベッド2500のリクライニング2501を起こして、ベッド2500の正面に設置されたディスプレイ2510の映像を視聴している。
また、ユーザは、ベッドの上でも、さまざまな身体動作を行う。例えば、ユーザは、寝返りを打つ、寝そべったまま伸びをする、枕の位置や高さを調整する、といった身体動作を行う。ユーザが肘枕や腕枕をしているときには、同様に、枕の位置や高さを調整する動作を行う。また、図34に示すようにリクライニング2501付きのベッド2500を使用している際には、リクライニング2501の高さ調整操作のための動作を行う。
上記のようなユーザのベッド上での身体動作に応じて、ベッドの表面は上下に移動し、又は、前後左右に移動する。例えば、ベッドの表面に複数のマーカを取り付け、各マーカの3次元的な位置情報に基づいて、ユーザの身体動作に応じたベッドの変位情報を取得することができる。
図33に示す例では、ベッド2400の表面上には複数のマーカ2401、2402、…が取り付けられるとともに、ベッド2400の上方に設置した2台のカメラ2411、2412でベッド2400の表面を撮像している。また、図34に示す例では、ベッド2500のリクライニング2501に複数のマーカ2521、2522、…が取り付けられているとともに、ベッド2500の上方に設置した2台のカメラ2531、2532で、リクライニング2501を含むベッド2500の表面を撮像している。
マーカ2401、2402、…、並びにマーカ2521、2522、…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。変位情報取得部としての変位センサ941は、カメラ2411、2412の撮像画像中から各マーカ2401、2402、…の像を検出すると、各マーカ2401、2402、…の3次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じたベッド2400の変位情報を取得することができる。同様に、変位センサ941は、カメラ2531、2532の撮像画像中から各マーカ2521、2522、…の像を検出すると、各マーカ2521、2522、…の3次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じたベッド2500の変位情報を取得することができる。
変位センサ941によるベッドの表面に取り付けられたマーカの検出方法と、制御部910に入力されるベッドの変位情報との対応関係を、以下の表5に例示する。
ユーザがベッド上に横たわり足を伸ばしてベッドボードに枕越しに寄りかかる際のリクライニング調整を行う、ベッド上での枕(肘枕や腕枕を含む)の高さを調整する、ベッドの表面を叩く、といった上下方向の身体動作(図35を参照のこと)を行うと、ベッドの表面は上下方向に移動(揺動や振動を含む)する。したがって、変位センサ941は、ベッドの表面に取り付けられたマーカの3次元的な位置情報を検出することにより、単位時間当たりのベッドの表面の上下移動量を検出した結果を、制御部910に入力する。
また、ユーザがベッド上に横たわり足を伸ばしてベッドボードに枕越しに寄りかかる際の左右の寝返りの動作(図36を参照のこと)を行うと、ベッドの表面は前後又は左右方向に移動する。したがって、変位センサ941は、ベッドの表面に取り付けられたマーカの3次元的な位置情報を検出することにより、単位時間当たりのベッドの表面の前後又は左右方向の移動量を検出した結果を、制御部910に入力する。
そして、出力制御部としての制御部910は、変位センサ941から入力されるベッド2400の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、ベッド2400に横たわっているユーザの身体動作に応じたインタラクションを実現する。
ユーザの身体動作に対応したベッドの変位情報と、制御部910が実行する出力制御との対応関係を以下の表6に例示する。但し、表6では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン101のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ942などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。
ユーザが横たわっているベッドの変位情報として上下移動量が入力されたときには、出力制御部としての制御部910は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下変化を付けるといった映像処理を実行する(図22を参照のこと)。また、出力制御部としての制御部910は、ユーザがベッドのばね性を利用して表面を叩いた際の上下移動加速度が所定の閾値を超えたことを発火条件として、UIメニューのカーソル選択や、別の視点位置の自由視点映像(又はVR映像)へ瞬間移動させる(コンテンツの切り替え)といった映像処理(図37を参照のこと)を実行してもよい。また、制御部910は、単位時間当たりの上下移動量と組み合わせた前後左右移動量に基づいてユーザの頭部位置及び正面方向を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの上下変化を制御するといった音響処理を実行する。なお、制御部910は、ベッドの上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、上下移動量が第1の値に達したときに第1の出力を行い、上下移動量が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。また、ユーザがベッドを叩くことにより生じた上下移動に関する変位情報が入力されたときには、制御部910は、ユーザがベッドを叩く動作に対応した出力制御を行うようにしてもよい。
また、ユーザが横たわっているベッドの変位情報として前後左右移動量が入力されたときには、出力制御部としての制御部910は、単位時間当たりの上下移動量と組み合わせた前後左右移動量よりユーザの頭部位置及び正面方向を推定し、同じ移動量と移動角度、及び比例した移動量と移動角度で、視聴中の自由視点映像に運動視差の位置及び角度変化を付けるといった映像処理(図22を参照のこと)を実行する。また、出力制御部としての制御部910は、単位時間当たりの上下移動量と組み合わせた前後左右移動量よりユーザの頭部位置及び正面方向を推定し、同じ移動量と移動角度、及び比例した移動量と移動角度で、視聴中の自由視点映像の視点位置の左右の進行方向を変化させて、UIメニューのカーソル移動や、UIメニュー及びコンテンツの表示位置移動といった映像処理(図37を参照のこと)を実行してもよい。また、制御部910は、ユーザがベッドの上で寝転がったり寝返りを打ったりするときの頭部の向きに合うように、入力された変位情報に基づいて映像の向きを制御するようにしてもよい。また、制御部910は、単位時間当たりの上下移動量と組み合わせた前後左右移動量に基づいてユーザの頭部位置及び正面方向を推定し、その頭部位置に向けて、映像の視点位置(カメラの撮像位置)に合わせたSSFの位置及び角度変化を制御するといった音響処理を実行する。なお、制御部910は、ベッドの前後左右移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、前後左右移動量が第1の値に達したときに第1の出力を行い、前後左右移動量が第1の値より大きい第2の値に達したときに第1の出力とは異なる第2の出力を行うといったように、段階的な出力制御を行うようにしてもよい。
ベッドは、椅子と同様に、ユーザの身体動作に応じた変位情報を取得することが可能な家具であると言うことができる。ベッドは、椅子と同等又はそれ以上に使用時間の長く、本明細書で開示する技術を適用可能な重要な家具であるということもできる。さらに、ベッドが使用される病院やリハビリなどの施設でも、本明細書で開示する技術を展開していくことができる。
図38には、システム900において、ユーザの身体動作に応じたオブジェクトの変位情報に基づいてユーザへのインタラクションを制御するための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、映像に関するインタラクションに限定した処理手順を示している。
変位情報取得部としての変位センサ941は、ユーザが使用しているオブジェクトからマーカの動きを検出することができたときには(ステップS2901のYes)、まず、マーカの単位時間当たりの上下の移動の検出を試みる(ステップS2902)。そして、マーカの上下の移動を検出することができたときには(ステップS2902のYes)、変位センサ941は、マーカの上下移動に関する移動量、移動速度、移動加速度などの変位情報を算出すると(ステップS2903)、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部910に出力する。
また、変位センサ941は、マーカの上下の移動を検出することができなかったときには(ステップS2902のNo)、変位センサ941は、続いて、マーカの単位時間当たりの左右のパン回転の検出を試みる(ステップS2904)。そして、マーカの左右のパン回転を検出することができたときには(ステップS2904のYes)、変位センサ941は、マーカの左右のパン回転に関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると(ステップS2905)、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部910に出力する。
また、変位センサ941は、マーカの左右のパン回転を検出することができなかったときには(ステップS2904のNo)、変位センサ941は、続いて、マーカの単位時間当たりの前後方向のチルト角の検出を試みる(ステップS2906)。そして、マーカの前後方向のチルト角を検出することができたときには(ステップS2906のYes)、変位センサ941は、マーカの前後方向のチルト角に関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると(ステップS2907)、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部910に出力する。
また、変位センサ941は、マーカの前後方向のチルト角を検出することができなかったときには(ステップS2906のNo)、変位センサ941は、マーカの単位時間当たりの左右方向のロール角の検出をさらに試みる(ステップS2908)。そして、マーカの左右方向のロールを検出することができたときには(ステップS2908のYes)、変位センサ941は、マーカの左右方向のロールに関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると(ステップS2909)、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部910に入力する。
出力制御部としての制御部910は、変位センサ941から入力されるオブジェクトの変位情報に基づいて、オブジェクトを使用しているユーザの頭部位置を推定すると、ユーザが視聴中の自由視点映像をその頭部位置から見える映像に変換するための射影ベクトルを生成し(ステップS2910)、その射影ベクトルで変換した映像を表示(プロジェクタから投影)する(ステップS2911)。
また、制御部910は、ステップS2910及びS2911における処理と並行して、オブジェクトの変位情報に基づいてユーザの頭部位置を推定して、映像の視点位置に合わせたSSFの変化を制御したり、オブジェクトの変位情報に基づいてマルチモーダル・インタフェースの出力を制御したりするようにしてもよい。
オブジェクトの種類に応じて、マーカの動きから取得すべきオブジェクトの変位情報(言い換えれば、ユーザへのフィードバック出力の制御に使用する変位情報)の種類が相違する。例えば、オブジェクトが椅子であれば主にシートバックの前後上下左右の移動や前後の倒れ角に関する変位情報を取得し、オブジェクトがフィットネスバイクやトレッドミルなどのフィットネス器具であれば主に走行方向や速度、加速度、走行方向に関する変位情報を取得し、オブジェクトがベッドであればベッドの上下方向並びに前後左右の平面方向に関する変位情報を取得する必要がある。
したがって、変位情報取得部としての変位センサ941は、オブジェクトの種類を特定すると、オブジェクト上から検出した各マーカの3次元位置の情報(すなわち、マーカの動き)から、特定したオブジェクトの種類に応じた変位情報を算出し、これを出力制御部としての制御部910に入力すればよい。
システム900において、オブジェクトの種類を特定する方法としては、オブジェクトに取り付けられたマーカの動きに基づいて自動判別する方法や、オブジェクトの種類と一意な固有のマーカを使用する方法などが挙げられる。勿論、システム900のオペレータやオブジェクトを使用するユーザがオブジェクトの種類をシステム900に手入力するようにしてもよい。また、機械学習やディープラーニングを利用して、オブジェクトの画像データからマーカを用いずにオブジェクトの種類が特定されてもよい。
図39には、変位情報取得部としての変位センサ941が、マーカの動きに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順をフローチャートの形式で示している。
変位センサ941は、オブジェクトを撮像しているカメラの撮像画像からマーカの動きを検出することができたときには(ステップS3001のYes)、各マーカの3次元的な位置情報の算出を試みる(ステップS3002)。そして、算出することができたマーカの3次元位置情報を蓄積する(ステップS3003)。
次いで、変位センサ941は、蓄積した3次元位置情報からマーカの動きの種類の検出を試みる(ステップS3004)。そして、マーカの動きの種類を検出することができたときには(ステップS3004のYes)、変位センサ941は、検出した動きに基づいて、オブジェクトの種類を判別する(ステップS3005)。
例えば、オブジェクトが椅子であれば、主にシートバックの前後上下左右の移動や前後の倒れ角に相当するマーカの動きを検出することができる。また、オブジェクトがフィットネスバイクであれば、前輪又はペダルの回転や、サドル又はハンドルの左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがトレッドミルであれば、主に無端ベルトの前後方向の移動や、操作パネル又は踏み台の前後左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがベッドであれば、ベッドの上下方向並びに前後左右の平面方向に相当するマーカの動きを検出することができる。変位センサ941は、ステップS3005では、ステップS3004で検出したマーカの動きがどのオブジェクトのどのような動きに相当し又は類似するかを判別する。この判別処理に、例えば機械学習を導入して、判別精度を向上させるようにしてもよい。
次いで、変位センサ941は、ステップS3005で判別したオブジェクトが使用されている場合に、ユーザの身体動作に応じた出力制御(すなわち、何も装着していないユーザに対するインタラクション)を行うために必要となる変位情報を、ステップS3003で蓄積しておいた3次元位置情報に基づいて算出する(ステップS3006)。
例えば、オブジェクトが椅子であれば、変位センサ941は、シートバックの前後上下左右の移動や前後の倒れ角に関する変位情報を算出する。また、オブジェクトがフィットネスバイクであれば、変位センサ941は、前輪又はペダルの回転速度や、サドル又はハンドルの左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがトレッドミルであれば、変位センサ941は、無端ベルトの前後方向の移動速度や、操作パネル又は踏み台の前後左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがベッドであれば、変位センサ941は、ベッドの上下方向並びに前後左右の平面方向に関する変位情報を算出する。
そして、変位センサ941は、オブジェクトの種類に応じて算出した変位情報を、出力制御部としての制御部910に入力する(ステップS3007)。
また、図40には、変位情報取得部としての変位センサ941が、固有マーカに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順をフローチャートの形式で示している。
固有マーカは、例えば、オブジェクトの識別情報を表す明滅パターンで不可視光又は可視光を発光する素子や、オブジェクトの識別情報を表す図形パターンからなるビジュアル・マーカである。
変位センサ941は、カメラの撮像画像に含まれるマーカから、オブジェクトの識別情報を検出することができたときには(ステップS3101のYes)、検出した識別情報に基づいて、オブジェクトの種類を特定する(ステップS3102)。
そして、変位センサ941は、オブジェクトを撮像しているカメラの撮像画像からマーカの動きを検出することができたときには(ステップS3103のYes)、各マーカの3次元的な位置情報の算出を試みる(ステップS3104)。そして、算出することができたマーカの3次元位置情報を蓄積する(ステップS3105)。
次いで、変位センサ941は、蓄積した3次元位置情報から、ステップS3102で特定したオブジェクトに対応するマーカの動きの種類の検出を試みる(ステップS3106)。
例えば、オブジェクトが椅子であれば、主にシートバックの前後上下左右の移動や前後の倒れ角に相当するマーカの動きを検出することができる。また、オブジェクトがフィットネスバイクであれば、前輪又はペダルの回転や、サドル又はハンドルの左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがトレッドミルであれば、主に無端ベルトの前後方向の移動や、操作パネル又は踏み台の前後左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがベッドであれば、ベッドの上下方向並びに前後左右の平面方向に相当するマーカの動きを検出することができる。
そして、オブジェクトに対応するマーカの動きの種類を検出することができたときには(ステップS3106のYes)、変位センサ941は、ユーザの身体動作に応じた出力制御(すなわち、何も装着していないユーザに対するインタラクション)を行うために必要となる変位情報を、ステップS3105で蓄積しておいた3次元位置情報に基づいて算出する(ステップS3107)。
例えば、オブジェクトが椅子であれば、変位センサ941は、シートバックの前後上下左右の移動や前後の倒れ角に関する変位情報を算出する。また、オブジェクトがフィットネスバイクであれば、変位センサ941は、前輪又はペダルの回転速度や、サドル又はハンドルの左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがトレッドミルであれば、変位センサ941は、無端ベルトの前後方向の移動速度や、操作パネル又は踏み台の前後左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがベッドであれば、変位センサ941は、ベッドの上下方向並びに前後左右の平面方向に関する変位情報を算出する。
そして、変位センサ941は、オブジェクトの種類に応じて算出した変位情報を、出力制御部としての制御部910に入力する(ステップS3108)。
続いて、映像表示の一例として、出力制御部としての制御部910が、音響信号に応じた画像を表示させるビジュアライザー機能を有する実施例について説明する。図41には、本実施例の構成例を示しており、図42には、図41に示した構成のうち、ドーム型スクリーン101のみを示している。さらに、図43には、ドーム型スクリーン101に対して略正対する視点における、図41に示したユーザの視界を示している。
本実施例は、ゲームや映像コンテンツなどのデジタルコンテンツの再生また実行時に、それらの音響信号の変化に応じて動的に変化するエフェクト画像を出力することができるビジュアライザー機能を有する、デジタルコンテンツ再生機に適用することができる。
ビジュアライザーは、本実施例において出力制御部としての制御部910が有する機能であり、音響信号の変化に応じて動的に変化するエフェクト画像を出力(表示)する機能である。エフェクト画像は、出力制御部としての制御部910がビジュアライザー機能を果たすために必要な表示を行う画像である。ユーザは、ドーム型スクリーン101に表示されるエフェクト画像を見て、そのエフェクト画像が自分の嗜好に合わない場合には、再生されるデジタルコンテンツを交換してもよい。係る構成により、ビジュアライザー機能を利用して、自分の嗜好に合致したエフェクト画像を探索して再生することができる。
なお、本実施例において、エフェクト画像が表示される表示部(ドーム型スクリーン101)は、ドーム形状をしているが、エフェクト画像が表示される表示部は、フラットなスクリーンであっても構わないし、テレビジョン画面であっても構わない。
本実施例におけるエフェクト画像は、所定の空間に配置された椅子1000にユーザが座って体感できるように再生される。なお、図41では、椅子1000が設置される例が示されているが、図24、図25を参照して説明したように、椅子1000に代えて、フィットネスバイクやトレッドミルなどのフィットネス器具等を設置して、本実施例に係るビジュアルライザー機能を視聴者が体感できるように構成してもよい。
出力制御部としての制御部910は、音響信号における音の高さや大きさ、ビート、周波数特性等、音響信号の解析結果に応じて、ドーム型スクリーン101に表示されるエフェクト画像を変化させて、ビジュアライザー機能を実現させてもよい。なお、制御部910は、曲調解析アルゴリズム(12音解析)を用いて音響の解析結果を取得してもよく、また所謂ハイレゾリューション領域の信号を解析する機能を有してもよい。
また、出力制御部としての制御部910は、入力された音響信号の解析結果に応じたエフェクト画像を出力させると共に、当該音響信号に従って、音響出力系から音響を出力(再生)させる。
図44~図54には、ドーム型スクリーン101に表示されるエフェクト画像の変化の例を順に示している。図44~図54に示すように、エフェクト画像において、ダイヤモンド形状の粒子(3Dモデル)が音響信号の解析結果に応じて変化する。
また、図55~図62には、エフェクト画像の変化をより詳細に示すため、エフェクト画像に含まれる一部の粒子のみを示している。なお、図44と図55、図45と図56、図46と図57、図47と図58、図49と図59、図51と図60、図52と図61、そして図53と図62、がそれぞれ対応している。
図55~図62に示す本実施例の場合には、本実施例に係るビジュアライザーのエフェクト画像に含まれて表示される粒子単体に注目すると、各粒子は、ドーム型スクリーン101の内壁の中心付近からその外縁に向けて放射方向に複数段階を経て、仮想空間における位置、大きさ、向き、角度などを変化させながら、全体として大きく動き回るという特性を有している。
図55~図62に示された粒子群は、単一の粒子群レイヤーを構成するものと見做されてもよい。この場合、図55~図62に示された三つの粒子は、粒子群レイヤーを構成する粒子の一部に過ぎず、各粒子群レイヤーは四つ以上の粒子によりに構成されてよい旨に留意されたい。この構成において、複数の互いに異なる粒子群レイヤーが仮想空間において奥行方向に重ねられた画像が、図44~図54に示されたエフェクト画像を構成し得る。この場合、図44~図54に示されたエフェクト画像は、例えば、約10層の粒子群レイヤーによって構成される。複数の粒子群レイヤーは、音響信号の変化に連動して、仮想空間において奥行方向に互いに離間または接近する。粒子群レイヤー間の離間速度(接近速度)は適宜設定され得る。例えば、音楽のテンポが速い程、離間速度(接近速度)が速く設定されてもよい。複数の粒子群レイヤーが互いに離間すると、手前側の粒子群レイヤーがドーム型スクリーン101の外縁に近づく。また、粒子群レイヤーは、視聴者に対し接近するに伴ってレイヤー内で(二次元的に)放射状に拡散する。この結果、複数の粒子群レイヤーは、仮想空間において三次元的に膨張しているように視聴者に観測される。したがって、本実施例によれば、高い没入感覚を呈するビジュアルライザー機能を視聴者に提供することができる。なお、没入感覚を高めるために、複数の粒子群レイヤーのうち少なくとも1つの粒子群レイヤーが、視聴者の前方の位置から後方の位置に移動するように構成されてよい。これにより、エフェクト画像に包み込まれる感覚を視聴者に提供することができる。視聴者の前方の位置から後方の位置に移動する粒子群レイヤーは、複数の粒子群レイヤーが収縮した状態において最も手前側に位置する粒子群レイヤーであってもよい。すなわち、複数の粒子群レイヤーが収縮した状態において、全ての粒子群レイヤーが視聴者の前方に位置するとよい。このように構成することで、視聴者は、エフェクト画像に包まれていない状態からエフェクト画像に包まれている状態への遷移映像を体験することができ、高い没入感覚を得ることができる。
なお、音楽の開始まで、仮想空間に配置された粒子が無秩序に仮想空間を漂うように表示が制御されてもよい。そして、散乱していた粒子をユーザの前方に集めることで、音楽の開始とともに図43のエフェクト画像が形成されるように表示が制御されてもよい。なお、音楽が開始する以前の状態において、粒子の形状は球状等のダイヤモンド形状とは異なる形状であってよく、音楽の開始とともにダイヤモンド形状に変化するように表示が制御されてもよい。また、音楽の終了とともに、粒子のダイヤモンド形状を解除しつつ粒子が無秩序に仮想空間を漂うように表示を戻してもよい。このような構成によれば、視聴する音楽を切り替える間も、視聴者は表示された粒子に包まれている感覚を維持できるため、視聴者は高い没入感覚を得ることができる。
本実施例によれば、ドーム型スクリーン101の内壁の外縁付近に近づくにつれて、エフェクト画像として表示される粒子の相対的な長さを伸ばすようにエフェクト画像が構成されているので、内壁の中心付近を注視する傾向があるユーザは、あたかも3次元的な仮想空間に自分がいるかのような没入感覚を疑似体験することができる。
なお、仮想空間における位置、大きさ、向き、角度だけでなく、粒子の色や明るさなどが変化してもよい。また、図41~図62では、ダイヤモンド形状の粒子が表示される例を示したが、他の形状の3Dモデルが表示されてもよい。
また、本実施例は、図44~図54に示すようなデジタルコンテンツ再生機のビジュアライザー機能により動的に変化するエフェクト画像が、内壁部に表現されたドーム形状またはフラット形状の表示スクリーン、またはその表示スクリーンを構成要素として含むデジタルコンテンツ再生機としても捉えることができる。
また、本実施例においても、出力制御部としての制御部910は、ユーザの身体動作に応じた3次元的な変位に対応する変位情報に基づいて、フィードバック出力を行うように制御してもよい。例えば、出力制御部としての制御部910は、椅子1000の前後又は左右方向の倒れ角度に関する変位情報に応じて、エフェクト画像の前後又は左右の運動視差が変化するように映像処理を実行してもよい(図20、図21を参照のこと)。
上記の通り、本明細書で提案するインタラクション技術は、専用のコントローラを必要とせずに、一般的なオブジェクトを利用してUI操作や機器の入力を行うことができる。一方で、専用のコントローラを用いないことから、ユーザはオブジェクトの操作方法を把握することが難しく、オブジェクトの操作に戸惑う可能性がある。そこで、例えばユーザがオブジェクトの利用を開始した際に、当該オブジェクトを用いて利用できる操作を表示部に表示してもよい。この際、システムが認識しているオブジェクトの種類が表示されることが好ましい。また、ユーザがオブジェクトを利用し始めたか否かは、システムにより取得されるオブジェクトの変位情報に基づいて判定されてもよい。なお、認識されたオブジェクトにより操作可能な制御の初期設定は、特定されたオブジェクトの種類に応じてネットワーク上から自動的に取得されてもよい。また、オブジェクトによる入力操作の最中にユーザが利用可能な操作を忘れる可能性もある。そこで、特定の操作(例えば、椅子を叩く)に応じて現在利用可能なオブジェクトの操作リストが表示されてもよい。勿論、オブジェクトにより利用可能な操作は適宜ユーザによって変更されてもよい。
続いて、ユーザが有するユーザ端末を用いた実施例について説明する。図63には、ユーザ端末700が配置された構成例の斜視図を示している。ユーザ端末700は、例えばユーザが普段利用している端末(情報処理装置)であり、ユーザがシステム900を利用していない際にもユーザに利用される端末であってよい。本実施例は、出力部(映像出力系または音響出力系)と、出力制御部を備える情報処理装置(システム)である。詳細は後述するが、本実施例の出力制御部は、ユーザの身体動作に関するセンサ情報と、ユーザ端末700から取得される端末情報に基づいて、出力部を制御するように構成されている。
なお、図63では、ユーザ端末700がスマートフォンである例を示しているが、ユーザ端末700は係る例に限定されない。ユーザ端末700は、ユーザが普段持ち歩く携帯(hand-held)端末や、身に付けたりして利用するウェアラブル端末であればよい。例えば、携帯端末はタブレット端末であってもよいし、ユーザに装着されるウェアラブル端末(ウェアラブルデバイス)は腕時計型のスマートウォッチ等であってもよい。
また、図63に示す例では、ユーザの身体動作に応じた変位情報を取得するオブジェクトが椅子1000である例を示しているが、本技術は係る例に限定されない。例えば、ユーザの身体動作に応じた変位情報を取得するオブジェクトが上述したトレッドミルやフィットネスバイク等のフィットネス器具、またはソファ、ベッド等の家具である場合にも、ユーザ端末700が用いられてよい。
さらに、図63に示す例では、椅子1000のヘッドレスト1040に設けられた窪みにユーザ端末700が配置される例を示しているが、ユーザ端末700の配置は係る例に限定されない。例えば、ユーザ端末700は、椅子1000のアームレスト上に配置されてもよいし、ユーザの膝の上に配置されてもよいし、ユーザに把持されていてもよいし、ユーザの胸ポケットに入っていてもよい。また、ユーザの身体動作に応じた変位情報を取得するオブジェクトが椅子1000ではない場合であっても、当該オブジェクトの所定の位置にユーザ端末700が配置されてもよい。また、ユーザ端末700がスマートウォッチ等のウェアラブルデバイスである場合、ユーザ端末700はユーザの腕等に装着されていてもよい。
図64には、ユーザ端末700の構成例を示している。図64に示すように、ユーザ端末700は、端末コントローラ710、メモリ720、通信部730、センサ部740、ストレージ部750、表示部760、スピーカー770、及び操作入力部780を備える情報処理装置である。
端末コントローラ710は、ユーザ端末700の全体を制御する。また、端末コントローラ710は、様々なアプリケーション(例えば音声対話アプリケーション)を実行する。また、端末コントローラ710は、センサ部740により取得されたセンサ情報に基づく認識(例えば音声認識等)を実行してもよい。なお、システム900とユーザ端末700とが連携する場合に、端末コントローラ710が実行するアプリケーションや、認識については後述する。
メモリ720は、フラッシュ・メモリ又はDDR(Double-Data-Rate)などのSDRAMで構成され、端末コントローラ710の作業メモリとして使用される。
通信部730は、Wi-Fi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)などの無線通信モジュールで構成される。通信部730は、図9を参照して説明したシステム900の通信部913と接続されてもよく、例えばセンサ部740により取得されたセンサ情報等を通信部913へ送信してもよい。係る構成により、システム900はユーザ端末700と連携してより多様な機能を実現することが可能となる。システム900とユーザ端末700の連携についての詳細は後述する。
センサ部740はユーザまたは周辺環境に関する各種情報(環境情報)を取得(センシング)する機能を有する。例えばセンサ部740は、図64に示すように、カメラ741、マイクロフォン742、ジャイロセンサ743、加速度センサ744、方位センサ745、位置測位部746、心拍センサ747、及び体温センサ748を含む。
カメラ741は、実空間の情報を撮像画像として取得する。カメラ741は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
また、カメラ741は複数設けられていてもよく、カメラ741が複数設けられる場合、複数のカメラ741は同じ方向を撮像するように設けられてもよいし、異なる方向を撮像するように設けられてもよい。例えば、カメラ741は、主にユーザの方向を撮像する内向きカメラと、主にユーザの視界方向を撮像する外向きカメラを含んでもよい。
マイクロフォン742は、ユーザの音声や周囲の環境音を収音し、音響信号として取得する。
ジャイロセンサ743は、例えば3軸ジャイロセンサにより実現され、角速度(回転速度)を検出する。
加速度センサ744は、例えば3軸加速度センサ(Gセンサとも称す)により実現され、移動時の加速度を検出する。
方位センサ745は、例えば3軸地磁気センサ(コンパス)により実現され、絶対方向(方位)を検出する。
位置測位部746は、外部からの取得信号に基づいてユーザ端末700の現在位置を検知する機能を有する。例えば位置測位部746は、GPS(Global Positioning System)測位部により実現され、GPS衛星からの電波を受信して、ユーザ端末700が存在している位置を検知し、位置情報を取得する。また、位置測位部746は、GPSの他、例えばWi-Fi(登録商標)、Bluetooth(登録商標)、携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
心拍センサ747は、ユーザ端末700を有するユーザの心拍を検知し、心拍情報を取得する。
体温センサ748は、ユーザ端末700を有するユーザの体温を検知し、体温情報を取得する。
なお、図64に示したセンサ部740に含まれるセンサは一例であって、本技術は係る例に限定されない。例えば、センサ部740は図示した全てのセンサを含まなくてもよいし、各センサはそれぞれ複数であってもよい。また、センサ部740は、他のセンサを含んでもよく、例えばユーザの発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、***、皮膚温度、皮膚電気抵抗、MV(マイクロバイブレーション)、筋電位、またはSPO2(血中酸素飽和度))等の生体情報を取得するセンサを含んでもよい。
また、各種センサは、機種依存性が存在し得るため、各種センサから得られるセンサ情報からキャリブレーションを行うことが望ましい。例えば、専用のアプリケーション上の指示に従って、事前に決まった特定の動きや動作、操作などを行う事により各種センサから得られるセンサ情報を元に補正パラメータを算出してキャリブレーションが実行されてもよい。
また、システム900とユーザ端末700とが連携する場合の、センサ部740のセンシング対象、及びセンシング結果の反映対象については後述する。
ストレージ部750は、上述した端末コントローラ710が処理を実行するためのプログラムやパラメータを記憶する。また、ストレージ部750は、ユーザ端末700を利用するユーザに関するプロファイル情報を記憶してもよい。
プロファイル情報は、例えばユーザがユーザ端末700を利用した際の履歴情報を含んでもよい。履歴情報には、例えば、ユーザ端末700におけるコンテンツの再生に関する再生履歴、ユーザ端末700の操作に関する操作履歴等が含まれてもよい。
また、プロファイル情報は、ユーザの個人情報を含んでもよい。個人情報には、例えばユーザの国籍、年齢、性別、身長、座高、体重、またはスケジュール等の情報が含まれてもよい。なお、個人情報は、例えばユーザの明示的な操作に基づいて得られた情報でもよいし、ユーザのコンテンツ視聴履歴や操作履歴等に基づく推定により得られた情報であってもよい。
また、プロファイル情報は、ユーザの嗜好性を示す嗜好性情報を含んでもよい。嗜好性情報には、例えばコンテンツに関する嗜好性を示すコンテンツ嗜好性情報、及び表示部760やスピーカー770の出力に係る調整値に関する嗜好性を示す出力調整値嗜好性情報が含まれてもよい。なお、嗜好性情報は、例えばユーザの明示的な操作に基づいて得られた情報でもよいし、ユーザのコンテンツ視聴履歴や操作履歴等に基づく学習により得られた情報であってもよい。
なお、システム900とユーザ端末700とが連携する場合の、プロファイル情報の活用については後述する。
表示部760は、例えば液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置等により実現され、端末コントローラ710の制御に従って各種画面を表示する。
スピーカー770は、例えば端末コントローラ710の制御に従って音響出力する。
操作入力部780は、タッチセンサ、マウス、キーボード、ボタン、スイッチ及びレバー等、ユーザが情報を入力するための物理的な構造を有する操作部材により実現される。本開示において、ユーザが何らかの操作を行うためにユーザ端末700に対して入力した情報を「入力操作情報」と呼ぶ場合がある。なお、ユーザによる入力操作は、上記の操作部材を介した操作に限定されず、例えばセンサ部740により取得されるジェスチャー入力操作や音声入力操作等も含まれ得る。
以上、ユーザ端末700の構成例について説明した。続いて、システム900とユーザ端末700とが連携する場合の、センサ部740のセンシング対象、及びセンシング結果の反映対象について順次説明を行う。センシング対象と、センサ部740に含まれる各センサの対応関係を以下の表7に例示する。
例えば、ユーザが椅子に着座している場合、センサ部740のセンシングに基づいて、ユーザの身体動作に応じた椅子の変位情報が取得されてもよい。係る場合、ユーザ端末700が変位情報取得部として機能し得る。また、係る場合、椅子の変位情報は、例えば実施例1で説明した椅子1000の変位情報と同様であってもよい。なお、本開示において、ユーザの身体動作に関するセンサ情報を取得するセンサ部740が、「第1のセンサ部」として見做されてもよい。
椅子の変位情報は、例えばセンサ部740のカメラ741の撮像画像に基づいて取得されてもよい。なお、カメラ741の撮像画像に基づく変位情報の取得方法は、実施例1で説明した変位情報の取得方法と同様であってもよい。
また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、椅子の変位情報が取得されてもよい。
また、ユーザがトレッドミルを使用している場合、センサ部740のセンシングに基づいて、ユーザの身体動作に応じたトレッドミルの変位情報が取得されてもよい。係る場合にも、ユーザ端末700が変位情報取得部として機能し得る。また、係る場合、トレッドミルの変位情報は、例えば実施例2で説明したトレッドミル1500の変位情報と同様であってもよい。
トレッドミルの変位情報は、例えばセンサ部740のカメラ741の撮像画像に基づいて取得されてもよい。なお、カメラ741の撮像画像に基づく変位情報の取得方法は、実施例2で説明した変位情報の取得方法と同様であってもよい。
また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、トレッドミルの変位情報が取得されてもよい。
また、ユーザがフィットネスバイクを使用している場合、センサ部740のセンシングに基づいて、ユーザの身体動作に応じたフィットネスバイクの変位情報が取得されてもよい。係る場合にも、ユーザ端末700が変位情報取得部として機能し得る。また、係る場合、フィットネスバイクの変位情報は、例えば実施例2で説明したフィットネスバイク1600の変位情報と同様であってもよい。
フィットネスバイクの変位情報は、例えばセンサ部740のカメラ741の撮像画像に基づいて取得されてもよい。なお、カメラ741の撮像画像に基づく変位情報の取得方法は、実施例2で説明した変位情報の取得方法と同様であってもよい。
また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、フィットネスバイクの変位情報が取得されてもよい。
また、ユーザがベッドに横たわっている場合、センサ部740のセンシングに基づいて、ユーザの身体動作に応じたベッドの変位情報が取得されてもよい。係る場合にも、ユーザ端末700が変位情報取得部として機能し得る。また、係る場合、ベッドの変位情報は、例えば実施例4で説明したベッド2400、またはベッド2500の変位情報と同様であってもよい。
ベッドの変位情報は、例えばセンサ部740のカメラ741の撮像画像に基づいて取得されてもよい。なお、カメラ741の撮像画像に基づく変位情報の取得方法は、実施例2で説明した変位情報の取得方法と同様であってもよい。
また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、ベッドの変位情報が取得されてもよい。
上述したように、ユーザ端末700が変位情報取得部として機能する場合、システム900は変位センサ941を備えなくてもよく、構成が簡易化される効果がある。
また、センサ部740のセンシングに基づいて、ユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。上述したような変位情報に基づいて頭部位置及び頭部姿勢が推定されてもよいし、より直接的に頭部位置及び頭部姿勢の情報がセンシングされてもよい。例えば、センサ部740のカメラ741の撮像画像に基づいてユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。例えば、ユーザの視界方向を撮像する外向きカメラの撮像画像と投影映像の対応に基づいて、ユーザ方向を撮像する内向きカメラの撮像画像に映るユーザの頭部の位置、及び姿勢が推定されてもよい。また、ユーザ端末700は、上述した頭部検出カメラ942と同様に、カメラ741の撮像画像からユーザの頭部を検出して、ユーザの頭部の映像を制御部910に送信してもよい。係る場合、システム900は頭部検出カメラ942を備えなくてもよく、構成が簡易化される効果がある。
また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、ユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。
また、センサ部740のセンシングに基づいて、ユーザの体の傾きの情報が取得されてもよい。体の傾きの情報には、例えば重心動揺、及び揺すりの情報が含まれてもよい。例えば、センサ部740のカメラ741の撮像画像に基づいて体の傾きの情報が取得されてもよい。また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、体の傾きの情報が取得されてもよい。
また、センサ部740のセンシングに基づいて、ユーザの手の動き(ハンドジェスチャ)の情報が取得されてもよい。手の動きの情報には、例えば、拍手、手を振る、腕を組む、等の手の動作に関する情報が含まれてもよい。例えば、センサ部740のカメラ741の撮像画像に基づいて手の動きの情報が取得されてもよい。また、センサ部740のマイクロフォン742、ジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、手の動きの情報が取得されてもよい。
また、センサ部740のセンサ情報に基づいて、各プロジェクタ103及び104から投影されたドーム型スクリーン101上の輝度、及び輝度調整値の嗜好性の情報が取得されてもよい。例えば、センサ部740のカメラ741の撮像画像に基づいて、輝度の情報が取得されてもよい。また、センサ部740の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて輝度調整値の嗜好性の情報がユーザごとに取得されてもよい。
また、センサ部740のセンサ情報に基づいて、各プロジェクタ103及び104から投影されたドーム型スクリーン101上の画質、及び画質調整値の嗜好性の情報が取得されてもよい。例えば、センサ部740のカメラ741の撮像画像に基づいて、画質の情報が取得されてもよい。また、センサ部740の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて画質調整値の嗜好性の情報がユーザごとに取得されてもよい。
また、センサ部740のセンサ情報に基づいて、システム900により出力されるコンテンツの嗜好性の情報がユーザごとに取得されてもよい。例えば、センサ部740の心拍センサ、または体温センサにより取得された心拍、または体温に基づいてコンテンツの嗜好性の情報がユーザごとに取得されてもよい。
また、センサ部740のセンサ情報に基づいて、システム900の音響出力系から出力される音響の音量、及び音量調整値の嗜好性の情報が取得されてもよい。例えば、センサ部740のマイクロフォン742により取得された音響信号(音情報)に基づいて、音量の情報が取得されてもよい。また、センサ部740の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて音量調整値の嗜好性の情報がユーザごとに取得されてもよい。
また、センサ部740のセンサ情報に基づいて、システム900の音響出力系から出力される音響の音質、及び音質調整値の嗜好性の情報が取得されてもよい。例えば、センサ部740のマイクロフォン742により取得された音響信号に基づいて、音質の情報が取得されてもよい。また、センサ部740の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて音質調整値の嗜好性の情報がユーザごとに取得されてもよい。
また、センサ部740のセンサ情報に基づいて、場所の情報が取得されてもよい。例えば、場所の情報は、センサ部740の位置測位部746により取得されてもよい。また、また、センサ部740のジャイロセンサ743、加速度センサ744、または方位センサ745のうち少なくとも1以上のセンサにより取得されたセンサ情報を組み合わせることで、場所の情報が取得されてもよい。なお、場所の情報は、例えば本明細書で提案する技術が飛行機や電車、バス、乗用車等の移動体に適用された場合に、取得されることが望ましい。
以上、センサ部740のセンシング対象の例について説明した。なお、上述した撮像画像に基づいて情報を取得する処理、及びセンサ情報を組み合わせて情報を取得する処理は、ユーザ端末700の端末コントローラ710により実行されてもよいし、システム900のメイン・コントローラ911により実行されてもよい。
続いて、センシング結果の反映対象について説明を行う。出力制御部としての制御部910は、センサ部740によるセンシング結果をインタラクションに反映させる。センシング対象と、センシング結果の反映対象の対応関係を以下の表8に例示する。
例えば、センサ部740のセンシングに基づいて、椅子の変位情報が取得された場合、出力制御部としての制御部910は、椅子の変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、椅子の変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例1で説明した椅子1000の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部910は、椅子の変位情報に応じて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部910は、椅子の変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。
また、センサ部740のセンシングに基づいて、トレッドミルの変位情報が取得された場合、出力制御部としての制御部910は、トレッドミルの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、トレッドミルの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例2で説明したトレッドミル1500の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部910は、トレッドミル上でのユーザの走行又は歩行速度や、トレッドミルの上下移動量、左右の倒れ角度などの変位情報に基づいて、画面描画速度を変化させる映像処理を実行してもよい。また、出力制御部としての制御部910は、トレッドミルの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。
また、センサ部740のセンシングに基づいて、フィットネスバイクの変位情報が取得された場合、出力制御部としての制御部910は、フィットネスバイクの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、フィットネスバイクの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例2で説明したフィットネスバイク1600の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部910は、車輪の回転速度(フィットネスバイクの変位情報の一例)に応じて、画面描画速度を変化させる映像処理や音響のピッチ・テンポを変化させる音響処理を実行してもよい。また、出力制御部としての制御部910は、フィットネスバイクの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。
また、センサ部740のセンシングに基づいて、ベッドの変位情報が取得された場合、出力制御部としての制御部910は、ベッドの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、ベッドの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例4で説明したベッド2400又は2500の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部910は、ベッドの変位情報に応じて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部910は、ベッドの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。
また、センサ部740のセンシングに基づいて、ユーザの頭部位置及び頭部姿勢の情報が取得された場合、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいて、映像処理や音響処理の出力を制御してもよい。例えば、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいて、映像の視点位置に合わせたSSFの変化を制御してもよい。または、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部910は、頭部位置及び頭部姿勢の情報に基づいてUIメニューの操作に係る映像処理を実行してもよい。
また、センサ部740のセンシングに基づいて、ユーザの体の傾きの情報が取得された場合、出力制御部としての制御部910は、体の傾きの情報に基づいて、映像処理や音響処理の出力を制御してもよい。例えば、出力制御部としての制御部910は、体の傾きの情報に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部910は、体の傾きの情報に基づいて、映像の視点位置に合わせたSSFの変化を制御してもよい。または、出力制御部としての制御部910は、体の傾きの情報の情報に基づいて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部910は、体の傾きの情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部910は、体の傾きの情報に基づいてUIメニューの操作に係る映像処理を実行してもよい。
また、センサ部740のセンシングに基づいて、ユーザの手の動きの情報が取得された場合、出力制御部としての制御部910は、手の動きの情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部910は、手の動きの情報に基づいてUIメニューの操作に係る映像処理を実行してもよい。
また、センサ部740のセンサ情報に基づいて、ドーム型スクリーン101上の輝度の情報が取得された場合、出力制御部としての制御部910は、輝度の情報に基づいて、各プロジェクタ103及び104の輝度調整を実行してもよい。また、同様に、センサ部740のセンサ情報に基づいて、輝度調整値の嗜好性の情報が取得された場合、出力制御部としての制御部910は、輝度調整値の嗜好性の情報に基づいて、各プロジェクタ103及び104の輝度調整を実行してもよい。
また、センサ部740のセンサ情報に基づいて、ドーム型スクリーン101上の画質の情報が取得された場合、出力制御部としての制御部910は、画質の情報に基づいて、各プロジェクタ103及び104の画質調整を実行してもよい。また、同様に、センサ部740のセンサ情報に基づいて、画質調整値の嗜好性の情報が取得された場合、出力制御部としての制御部910は、画質調整値の嗜好性の情報に基づいて、各プロジェクタ103及び104の画質調整を実行してもよい。なお、出力制御部としての制御部910が実行する画質調整は、例えば色、コントラスト、またはシャープネスの調整を含んでもよい。
また、センサ部740のセンサ情報に基づいて、コンテンツの嗜好性の情報が取得された場合、出力制御部としての制御部910は、コンテンツの嗜好性の情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部910は、コンテンツの嗜好性の情報に基づいて、ユーザへコンテンツを推薦する(例えばおすすめのコンテンツを表示させる)出力制御を実行してもよい。
また、センサ部740のセンサ情報に基づいて、システム900の音響出力系から出力される音響の音量の情報が取得された場合、出力制御部としての制御部910は、音量の情報に基づいて、システム900の音響出力系から出力される音響の音量調整を実行してもよい。また、同様に、センサ部740のセンサ情報に基づいて、音量調整値の嗜好性の情報が取得された場合、出力制御部としての制御部910は、音量調整値の嗜好性の情報に基づいて、音量調整を実行してもよい。
また、センサ部740のセンサ情報に基づいて、システム900の音響出力系から出力される音響の音質の情報が取得された場合、出力制御部としての制御部910は、音質の情報に基づいて、システム900の音響出力系から出力される音響の音質調整を実行してもよい。また、同様に、センサ部740のセンサ情報に基づいて、音質調整値の嗜好性の情報が取得された場合、出力制御部としての制御部910は、音質調整値の嗜好性の情報に基づいて、音質調整を実行してもよい。なお、出力制御部としての制御部910が実行する音質調整は、例えば音響出力系の周波数特性、位相特性、または遅延特性の調整を含んでもよい。
また、センサ部740のセンサ情報に基づいて、場所の情報が取得された場合、出力制御部としての制御部910は、場所の情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。例えば、出力制御部としての制御部910は、場所の情報に基づいて、付近の名所等を案内するコンテンツを出力させてもよいし、付近の店舗等を宣伝するコンテンツを出力させてもよい。
以上、システム900とユーザ端末700とが連携する場合の、センサ部740のセンシング対象、及びセンシング結果の反映対象について説明した。なお、上記では主に映像処理、または音響処理に関する出力制御にセンシング結果が反映される例を説明したが、本技術は係る例に限定されない。例えば、出力制御部としての制御部910は、体温センサ748により取得された体温の情報に基づいて、外部出力部952に含まれるエアコンの出力を制御してもよい。また、上記では、ユーザがシステム900を利用している際のセンサ部740のセンシングについて主に説明したが、本技術は係る例に限定されない。例えば、ドーム型ディスプレイ100の設置時に、センサ部740のカメラ741の撮像画像に基づいて、幾何補正やエッジブレンディング処理が行われてもよい。また、経時変化のズレを補正する際にも、カメラ741の撮像画像に基づいて補正が行われてもよい。
続いて、システム900とユーザ端末700とが連携する際の、プロファイル情報の活用について説明を行う。出力制御部としての制御部910は、ユーザ端末700のストレージ部750に記憶されたプロファイル情報に基づいてインタラクションを制御してもよい。
例えば、出力制御部としての制御部910は、プロファイル情報に含まれる履歴情報に基づいて、コンテンツを出力させてもよい。例えば、出力制御部としての制御部910は、再生履歴に基づき、ユーザが過去に再生したコンテンツに類似したコンテンツを出力させてもよい。また、出力制御部としての制御部910は、再生履歴に基づき、ユーザが過去に頻繁に再生したコンテンツを出力させてもよい。
また、出力制御部としての制御部910は、プロファイル情報に含まれる個人情報に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部910は、個人情報に応じて、適したコンテンツを出力させてもよい。また、出力制御部としての制御部910は、ユーザが高齢である場合、表示させる文字の大きさを大きくしてもよい。また、出力制御部としての制御部910は、ユーザの身長や座高の情報に応じて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部910は、ユーザのスケジュールの情報に基づいて、スケジュールを表示させたり、スケジュールに含まれる予定を通知させたりしてもよい。なお、ユーザがコンテンツを視聴している際に、スケジュールの情報等のプロファイル情報をコンテンツ映像に重畳させる場合、プロファイル情報はユーザの正面に対応する領域以外に配置され、コンテンツ試聴を阻害しないようにすることが望ましい。
また、出力制御部としての制御部910は、プロファイル情報に含まれる嗜好性情報に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部910は、コンテンツ嗜好性情報に応じて、ユーザが嗜好すると推定されるコンテンツを出力させてもよい。また、出力制御部としての制御部910は、出力調整値嗜好性情報に基づいて、輝度、画質、音量、音質等の出力に係る調整を実行してもよい。係る構成により、ユーザごとの調整が速やかに行われるため、例えば映像酔いを軽減させることが可能となる。店舗等において、ユーザが頻繁に交代する場合に、このようなプロファイル情報に基づいたユーザごとの調整は特に有効となる。
以上、システム900とユーザ端末700とが連携する際の、プロファイル情報の活用について説明した。なお、システム900とユーザ端末700とが連携する際の、ストレージ部750に記憶された情報の活用は上記に限定されず、例えば、出力制御部としての制御部910は、ストレージ部750に記憶されたコンテンツを出力させてもよい。
続いて、システム900とユーザ端末700とが連携する際に、ユーザ端末700のその他の機能と連携する例について説明する。出力制御部としての制御部910は、ユーザ端末700が有する各種機能に基づいて、出力を制御してもよい。
例えば、ユーザ端末700がビデオ通話機能を有する場合、出力制御部としての制御部910は、ドーム型ディスプレイ100を用いたビデオ通話に関する映像処理、及び音響処理を実行してもよい。
また、ユーザ端末700が音声認識機能を有する場合、出力制御部としての制御部910は、係る音声認識機能に応じて映像処理、及び音響処理を実行してもよい。特に、ユーザ端末700が音声対話機能を有する場合、音声対話によって、システム900に係る操作が行われてもよい。
なお、出力制御部としての制御部910がユーザ端末700のビデオ通話機能、音声認識機能、音声対話機能等に基づいて出力を制御する場合、ユーザはドーム型スクリーン101の前で発話を行う。ドーム型スクリーン101の前で発話を行うと、エコーが発生し、ユーザ端末700のマイクロフォン742が適切に音声の音響信号を取得できない恐れがある。そこで、事前にマイクロフォン742のキャリブレーションが行われることが望ましい。例えば、音響インパルス応答を測定することで、ユーザ端末700の位置に応じたドーム型スクリーン101の独特な反射特性をキャンセルするキャリブレーションを行うことも可能である。その結果、エコーが除去(キャンセル)された音声の音響信号を取得することが可能となる。
また、ユーザ端末700が通話機能を有する場合、出力制御部としての制御部910は、ユーザ端末700に着信があったことに基づいて、音量を低下させてもよい。
また、出力制御部としての制御部910は、ユーザ端末700が有するスピーカー770の音響出力を制御してもよい。出力制御部としての制御部910は、ユーザ端末700の配置に応じて、スピーカー770の音響出力を制御してもよい。例えば、図63に示したようにヘッドレスト1040の近傍にユーザ端末700が存在する場合、出力制御部としての制御部910は、ヘッドレスト・スピーカー934の代わりにから音響を出力させてもよい。係る構成によれば、システム900はヘッドレスト・スピーカー934を備えなくてもよく、構成が簡易化される効果がある。
また、出力制御部としての制御部910は、ユーザ端末700が有する操作入力部780を介したユーザの操作に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部910は、操作入力部780を介したユーザの操作に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。
以上、システム900とユーザ端末700との連携について説明した。なお、上記では、システム900の通信部913とユーザ端末700の通信部730とが接続されて、システム900とユーザ端末700とが連携する例を説明したが、本技術は係る例に限定されない。例えば、システム900にユーザ端末700が組み込まれてもよく、係る場合、制御部910や入力系に代わって、制御部910や入力系の機能をユーザ端末700が有してもよい。
図65には、ユーザ端末700を備えるシステム900の構成例を示している。図65に示すシステム900は、ユーザ端末700を備える代わりに、制御部910、変位センサ941、頭部検出カメラ942、外付けセンサ943、及びオーディオプレイヤ944を備えない点で図9に示したシステム900と異なる。
制御部910の通信部913の機能は、ユーザ端末700の通信部730により代替され得る。また、制御部910のメイン・コントローラ911、メイン・メモリ912、映像用DSP914、及び音響用DSP915の機能(出力制御部としての機能を含む)は、ユーザ端末700の端末コントローラ710、及びメモリ720によって代替され得る。なお、ユーザ端末700は映像用DSPや音響用DSPを備えてもよい。
また、入力系のうち、変位センサ941、頭部検出カメラ942、及び外付けセンサ943の機能は、センサ部740によって代替され得る。なお、図65ではセンサ部740に含まれる具体的なセンサの例を省略しているが、例えば図64に示したセンサ部740に含まれる具体的なセンサの例と同様であってもよい。
また、入力系のうち、オーディオプレイヤ944の機能は、例えば端末コントローラ710、及びストレージ部750によって代替され得る。
なお、上述した制御部910や入力系の機能の全てが代替されなくてもよく、システム900は、ユーザ端末700と共に、制御部910や入力系の機能の一部、または全てを備えていてもよい。
また、ユーザ端末700と、音響出力系及び映像表示系とは、通信部730による無線通信により無線接続されてもよいし、有線接続されてもよい。ユーザ端末700と音響出力系及び映像表示系とが無線接続される場合、例えばMiracast(登録商標)やAirPlay(登録商標)等の技術が用いられてもよい。ユーザ端末700と音響出力系及び映像表示系とが有線接続される場合、ユーザ端末700と音響出力系及び映像表示系とは、例えばMHL(Mobile High-definition Link)やHDMI(High-Definition Multimedia Interface)(登録商標)等により接続されてもよい。なお、ユーザ端末700と、音響出力系及び映像表示系との間の接続は係る例に限定されず、ユーザ端末700と音響出力系及び映像表示系とは、Bluetooth(登録商標)やUSB(Universal Serial Bus)等により接続されてもよい。
また、図65では、システム900が1台のユーザ端末700を備える例を示したが、システム900は、複数台のユーザ端末700を備えてもよい。また、各プロジェクタ103、及び104に対して、1台のユーザ端末700が接続されていてもよい。係る場合、複数のユーザ端末700の間で、映像出力タイミングの同期が行われることが望ましい。例えば、PTP(Precision Time Protocol)等のプロトコルを用いてユーザ端末700間の時刻を同期させ、所定の時刻において映像の出力が開始されてもよい。
以上、システム900がユーザ端末700を備える例について説明した。上述したように制御部910や入力系の機能をユーザ端末700が代替することで、構成が簡易化される効果がある。なお、図65を参照して説明したシステム900がユーザ端末700を備える構成においても、上述したセンサ部740によるセンシング結果を反映したインタラクションや、プロファイル情報を活用したインタラクション、ユーザ端末700の機能に基づくインタラクションが行われ得る。
もちろん、上述した実施例7において、図65で省略された制御部と入力系等の構成要素のうち少なくとも一部あるいは全部を設けたシステムが採用されても良い。すなわち、単独で機能し得る図9のシステム900に、補助操作端末としてユーザ端末700を備え、これらを連携させて動作させる構成としても良い。この構成において、ユーザ端末700からの操作入力情報やセンサ情報等に加え、図9で示された入力系からの各種信号(情報)に基づいて、映像表示系の映像が制御され得る。すなわち、例えばオブジェクトが椅子の場合、椅子の動作情報とユーザ端末700からの情報に基づいて、映像表示系の映像が制御され得る。
上記構成において、例えば、ユーザ端末700のセンサ部740(第1のセンサ部)が、ユーザの身体動作に関するセンサ情報を取得するとともに、一方で、図9で示した変位センサ941(第2のセンサ部)もまた、ユーザの身体動作に関するセンサ情報を取得しても良い。センサ部740と変位センサ941がそれぞれ取得したセンサ情報に基づいて出力部が制御されることで、図9の構成よりも豊富なユーザ体験を、専用のコントローラを用いることなくユーザに提供することができる。
例えば、ドーム形状を有する表示部で提供される映像をユーザが椅子に座って視聴する場合に、表2に示すようにユーザの身体動作に応じて映像の視差を変化させることを想定する。この構成において、センサ部740と変位センサ941がそれぞれ取得したセンサ情報に基づいて、表示部に提示される映像の視差が制御されても良い。係る構成より、図9よりも大きく視差を変化させることができる。より具体的には、例えば、ユーザは左右回転とユーザ端末700への入力操作の組み合わせにより、前方を見た状態を維持しつつ、視差を大きく変化させることができる。
続いて、ドーム型ディスプレイ100のさらなる構成例について、実施例8として説明する。実施例8として以下に説明するドーム型ディスプレイ100のいくつかの構成例は、ドーム型ディスプレイ100あるいはシステム全体の小型化を目的としたものであり得る。実施例8として以下に説明するドーム型ディスプレイ100のいくつかの構成例は、上述した他の実施例1~7と組み合わされて実施されてもよい。
(より小型化されたドーム型ディスプレイ100の第1の構成例)
図66~図71は、より小型化されたドーム型ディスプレイ100の第1の構成例を示した図である。図66~図71は、それぞれ同一のドーム型ディスプレイ100を異なる方向から見た図である。図66は右側面図であり、図67は背面図であり、図68は左側面図であり、図69は正面図であり、図70及び図71は斜視図である。
図66~図71に示すドーム型ディスプレイ100は、略ドーム形状を有するドーム型スクリーン101と、プロジェクタ103と、プロジェクタ104と、支持体800と、を備える表示装置である。
ドーム型スクリーン101は、映像が投影されるドーム投影面101A(ドーム表面)と、ドーム外面101Bと、ドーム支持フレーム101Cとを含む。図66~図71に示す例において、ドーム投影面101Aとドーム外面101Bとの間の幅は一定(等幅)であってよく、例えばドーム投影面101Aとドーム外面101Bの形状は中心を共有した直径の異なる球の一部であってもよい。また、図66、図68のように側面から見たドーム投影面101Aは直径2200mmの円弧形状であってもよい。
図66~図71に示す例において、ドーム型スクリーン101は、ドーム投影面101A側が不図示のユーザに向けて傾斜している。係る構成により、塵埃が付着し難く、かつ室内照明がドーム投影面101Aに到達し難く没入感を阻害し難い構成となっている。なお、図66~図71に示す例においてドーム型スクリーン101と床面との角度は約60度であるが、係る例に限定されるものではない。
ドーム支持フレーム101Cは、支持体800に接続し、上方に向かって延在しつつ不図示のユーザ側に対して傾斜しながら、ドーム投影面101Aとドーム外面101Bとを支持して、装置全体の剛性(堅牢性)を高める。図66~図71に示す例において、ドーム支持フレーム101Cは、ドーム型スクリーン101の縁部に沿って固定されたリング形状を有するフレームである。図示されていないが、ドーム支持フレーム101Cの内側には、複数のプロジェクタ103、及び104に対し少なくとも電力を供給可能な電気系統(例えば電気配線等)が設けられてもよい。また、図示されていないが、ドーム支持フレーム101Cには、複数のプロジェクタ103、及び104それぞれに対し電気系統からの電力を供給可能な接続部(例えば差込口、アウトレット等)が設けられていてもよい。プロジェクタ104はドーム支持フレーム101Cの任意の場所に対して着脱可能に取り付けられてもよく、例えば、ドーム支持フレーム101Cの接続部が設けられた部分、あるいはその近傍に適宜取り付けられて、接続部からプロジェクタ104へ電力が供給されてもよい。
なお、ドーム型ディスプレイ100全体の小型化、及び軽量化のため、ドーム型スクリーン101は軽量であることが望ましく、より望ましくは軽量かつ頑強な材質で形成されることが望ましい。
プロジェクタ103及び104は、ドーム型スクリーン101に対して固定され、ベースバンドの映像信号に基づいて、ドーム型スクリーン101に映像を協働して投影する。なお、本開示において、ドーム型スクリーン101に対して固定されるとは、ドーム型スクリーン101との相対的な位置関係が固定された状態で配置されていることを意味し、ドーム型スクリーン101に直接的に接していることに限定されない。また、本開示において、固定されるという表現は、着脱可能に固定されることを含む表現として用いられる。
また、プロジェクタ103及び104は、ドーム型スクリーン101の縁部に固定される。図66~図71に示す例において、プロジェクタ103(第1のプロジェクタ)は、支持体800の内部に配置されており、支持体800のうちドーム型スクリーン101と接続している部分(ドーム型スクリーン101の第1の縁部)に配置される。また、図66~図71に示す例において、プロジェクタ104(第2のプロジェクタ)は鉛直方向において上記第1の縁部と対向するドーム支持フレーム101Cの上方部分(ドーム型スクリーン101の第2の縁部)に配置される。すなわち、プロジェクタ104はプロジェクタ103よりも上方に配置される。
なお、ドーム型ディスプレイ100全体の小型化、及び軽量化のため、プロジェクタ103及び104は、小さく、軽量であることが望ましい。
このように、図66~図71に示す例では、プロジェクタ103及び104がドーム型スクリーン101の下方縁部と上方縁部に配置される。図13等に示した例のように、プロジェクタがドーム型スクリーン101の水平方向両側に突起して配置された例と比較すると、図66~図71に示す例では、プロジェクタ103及び104がドーム型スクリーン101の水平方向両側に突起しない。係る構成により、例えばドーム型ディスプレイ100の付近を通る人がプロジェクタにぶつかってプロジェクタの配置がずれる、といった事象の発生を抑制することが可能であり、ドーム型スクリーン101とプロジェクタの相対的な位置関係が変化し難くなる。
支持体800は、ドーム型スクリーン101よりも下方に配置され、ドーム型スクリーン101を支持する。図66~図71に示す例において、支持体800は、第1支持部801、第2支持部802、第3支持部803、第4支持部804、及びベース部810を含む。なお、第1支持部801、第2支持部802、第3支持部803、及び第4支持部804をまとめて支持部と呼ぶ場合がある。
第1支持部801は、床面または地面に接地して、ベース部810に接続する。第2支持部802は、第1支持部801に接続し、第1支持部801の上方に延在する。第3支持部803は、第2支持部802と第4支持部804を接続する。なお、第2支持部802と第3支持部803とは、後述するように一本の支柱としてドーム型スクリーン101の荷重を支えている。第4支持部804は、第3支持部803とドーム型スクリーン101とを接続し、不図示のユーザ側から見て前方のドーム型スクリーン101側に第3支持部803から延在する。第4支持部804は、プロジェクタ103を内蔵していてもよい。
また、第4支持部804の内部には送風ファン808が設けられている。送風ファン808は、上述した制御部910(出力制御部)に制御されて、ユーザに風を出力して(送風して)もよい。例えば上述したフィットネスバイク1600と組み合わされる場合、ユーザがフィットネスバイク1600のペダルを漕ぐ速度に応じて風が出力されるように、制御部910が送風ファン808の出力を制御してもよい。
なお、図示されていないが、スピーカー936等の音響機器やその他の機器が第4支持部804、あるいは第1支持部801、第2支持部802、第3支持部803の内部に設けられてもよい。係る構成により、ユーザの視界にドーム型スクリーン101以外の余計なものが入りにくくなり、ユーザはより没入感を得ることが可能となる。また、係る構成により、設置が容易となるとともに、設置場所の選択肢が増加する。
ベース部810は、第1支持部801に接続するとともに、ドーム型ディスプレイ100全体の荷重に耐えうるように接地面積を確保してドーム型ディスプレイ100全体を支持する。ベース部810は、凹形状を有してもよく、例えば図70、図71に示されるように、略円弧形状を有してもよい。係る構成により、上述した椅子1000やフィットネスバイク1600等のユーザが乗ることが可能なオブジェクトを、ベース部810の内側(凹形状の内側)に配置することが可能であり、ユーザは没入感を得られる位置で映像を視聴することが可能となる。
なお、上述したドーム型ディスプレイ100の各構成は一体に形成されていてもよく、特に第1支持部801、第2支持部802、第3支持部803、及び第4支持部804、や支持体800の全体が、一体に形成されていてもよい。
図1~図7、図13~図16に示したドーム型ディスプレイ100の構成例と比較すると、図66~図71に示したドーム型ディスプレイ100は全体的な構成が小型化されている。特に、図1~図7や図13~図16等に示した支持体102と比較すると、図66~図71に示した支持体800は小型化された(簡易な)構成となっており、その重量も軽量化され得る。しかし、小型化のためにドーム型ディスプレイ100の安定性が失われ、例えば転倒しやすくなることは望ましくない。そのため、図66~図71に示す支持体800は、安定性を保ち、転倒を抑制するため、より効率的にドーム型スクリーン101とプロジェクタ103及び104との重量を支えることが可能な構成となっている。
具体的に、側面図である図66、図68を参照して、ドーム型ディスプレイ100の重量バランスに関する説明を行う。プロジェクタ103を内蔵する第4支持部804には、主にプロジェクタ103と、ドーム型スクリーン101を合計した荷重がかかる。一方、プロジェクタ103を内蔵する第4支持部804よりも上方に位置するプロジェクタ104には、主にプロジェクタ104の荷重がかかる。したがって、プロジェクタ103、及びプロジェクタ104の重量が同程度である場合、より下方に位置するプロジェクタ103を内蔵する第4支持部804に、より上方に位置するプロジェクタ104よりも大きな荷重がかかる。そのため、水平方向において、プロジェクタ103とプロジェクタ104との間に位置し、一本の支柱として支える第2支持部802と第3支持部803に荷重が集中する。さらに、第2支持部802と第3支持部803にかかった荷重は、接地する第1支持部801を介して、より広い接地面積を有し水平方向にも展開されたベース部810へ逃がされる。このように、図66~図71に示す支持体800は、図1~図7や図13~図16等に示した支持体102よりも小型化された構成であるにも関わらず、効率的に重量を支えることが可能であり、転倒の抑制を図ることが可能である。
以上、図66~図71を参照して、より小型化されたドーム型ディスプレイ100の第1の構成例を説明した。なお、図66~図71では、ドーム型ディスプレイ100が2台のプロジェクタ103及び104を備える例を説明したが、ドーム型ディスプレイ100はより多数のプロジェクタを備えてもよい。より多数のプロジェクタを備えることで、ドーム型ディスプレイ100は、表示される映像の輝度、及び解像度を高めることが可能となる。
図72は、本構成例において、ドーム型ディスプレイ100が3つのプロジェクタを備える構成例を示す図である。また、図73は、本構成例において、ドーム型ディスプレイ100が4つのプロジェクタを備える構成例を示す図である。図72、及び図73に示す例において、プロジェクタ配置以外の構成は図66~図71に示した例と同様であってもよい。
図72に示す例において、図示されないプロジェクタ103の配置は図66~図71に示した例と同様である。また、図72に示すプロジェクタ104及び108は、ドーム型スクリーン101縁部のドーム支持フレーム101Cに取り付けられ、左右対称に配置される。係る構成により、水平方向の重量バランスがとれ、一本の支柱として支える第2支持部802と第3支持部803に荷重が集中する構成となるため、ドーム型ディスプレイ100全体としての安定性が保たれる。また、3つのプロジェクタ103、104及び108は、ドーム外面101Bの中心からの角度が略均等となるように配置されていてもよく、係る構成により、ドーム投影面101Aに投影される映像の輝度や解像度が均等化される。
図73に示す例において、図示されないプロジェクタ103の配置、及びプロジェクタ104の配置は図66~図71に示した例と同様である。また、図73に示すプロジェクタ108及び109は、ドーム型スクリーン101縁部のドーム支持フレーム101Cに取り付けられ、左右対称に配置される。係る構成により、水平方向の重量バランスがとれ、一本の支柱として支える第2支持部802と第3支持部803に荷重が集中する構成となるため、安定性が保たれる。また、4つのプロジェクタ103、104,108及び109は、ドーム外面101Bの中心からの角度が略均等となるように配置されていてもよく、係る構成により、ドーム投影面101Aに投影される映像の輝度や解像度が均等化される。
(より小型化されたドーム型ディスプレイ100の第2の構成例)
図74~図79は、より小型化されたドーム型ディスプレイ100の第2の構成例を示した図である。図74~図79は、それぞれ同一のドーム型ディスプレイ100を異なる方向から見た図である。図74は右側面図であり、図75は背面図であり、図76は左側面図であり、図77は正面図であり、図78及び図79は斜視図である。
図74~図79に示すドーム型ディスプレイ100は、略ドーム形状を有するドーム型スクリーン101と、プロジェクタ103と、プロジェクタ104と、支持体800とを備える表示装置である。なお、図74~図79に示すドーム型ディスプレイ100の各構成は、上述した図66~図71のドーム型ディスプレイ100の各構成と一部において同様の構成を有するため、同様の部分については適宜省略しながら説明を行う。
ドーム型スクリーン101は、映像が投影されるドーム投影面101A(ドーム表面)と、ドーム外面101Bと、ドーム支持フレーム101Cとを含む。図74~図79に示す例において、ドーム投影面101Aとドーム外面101Bとの間の幅は一定でなくてもよく、例えばドーム投影面101Aとドーム外面101Bの形状は中心と直径が異なる球の一部であってもよい。また、図74、図76のように側面から見た場合、ドーム投影面101Aは直径2200mmの円弧形状であり、ドーム外面101Bは直径1600mmの円弧形状であってもよい。
係る構成により、図66~図71に示したドーム型スクリーン101と比較して、図74~図79に示すドーム型スクリーン101は、物理的な強度、及び熱変形に対する耐性を増すことが可能となる。
その他、図74~図79に示すドーム支持フレーム101C、プロジェクタ103、プロジェクタ104、及び支持体800の各構成は、図66~図71を参照して説明した対応する各構成と同様である。また、図74~図79に示すドーム型スクリーン101は、図66~図71に示したドーム型スクリーン101と比較するとドーム外面101Bが大型であるためドーム型スクリーン101の重量が増加し得る。しかし、図66、図68を参照して説明した例と同様に、図74~図79に示すドーム型ディスプレイ100においても重量バランスがとれているため、支持体800は安定してドーム型スクリーン101とプロジェクタ103及び104を支えることが可能である。
以上、図74~図79を参照して、より小型化されたドーム型ディスプレイ100の第2の構成例を説明した。なお、図74~図79では、ドーム型ディスプレイ100が2台のプロジェクタ103及び104を備える例を説明したが、ドーム型ディスプレイ100はより多数のプロジェクタを備えてもよい。
図80は、本構成例において、ドーム型ディスプレイ100が3つのプロジェクタを備える構成例を示す図である。また、図81は、本構成例において、ドーム型ディスプレイ100が4つのプロジェクタを備える構成例を示す図である。図80、及び図81に示す例は、上述したようにドーム投影面101Aとドーム外面101Bとの間の幅が一定ではなく、ドーム外面101Bの形状が異なることを除いて、それぞれ図72、及び図73に示す例と同様であってもよい。
(より小型化されたドーム型ディスプレイ100の第3の構成例)
図82~図87は、より小型化されたドーム型ディスプレイ100の第3の構成例を示した図である。図82~図87は、それぞれ同一のドーム型ディスプレイ100を異なる方向から見た図である。図82は右側面図であり、図83は背面図であり、図84は左側面図であり、図85は正面図であり、図86及び図87は斜視図である。
図82~図87に示すドーム型ディスプレイ100は、略ドーム形状を有するドーム型スクリーン101と、プロジェクタ103と、プロジェクタ104と、支持体800とを備える表示装置である。なお、図82~図87に示すドーム型ディスプレイ100の各構成は、上述した図74~図79のドーム型ディスプレイ100の各構成と一部において同様の構成を有するため、同様の部分については適宜省略しながら説明を行う。
図82~図87に示すドーム型ディスプレイ100は、ドーム型スクリーン101に含まれるドーム支持フレーム101Cの形状が異なる点において、図74~図79のドーム型ディスプレイ100と異なる。そこで、以下では主に係る点を中心に説明を行う。
図82~図87に示す例においても、ドーム支持フレーム101Cは、支持体800に接続し、ドーム投影面101Aとドーム外面101Bとを支持して、装置全体の剛性(堅牢性)を高める。ただし、図82~図87に示すドーム支持フレーム101Cは、ドーム外面101Bに沿ってドーム型スクリーン101の背面側に固定された円弧形状を有するアーム型のフレームである。また、図82~図87に示す例において、プロジェクタ104はドーム支持フレーム101Cに支持されている。
なお、上述した例と同様に、図示されていないが、ドーム支持フレーム101Cの内側には、複数のプロジェクタ103、及び104に対し少なくとも電力を供給可能な電気系統(例えば電気配線等)が設けられてもよい。また、図示されていないが、ドーム支持フレーム101Cには、複数のプロジェクタ103、及び104それぞれに対し電気系統からの電力を供給可能な接続部(例えば差込口、アウトレット等)が設けられていてもよい。
その他、図82~図87に示すドーム投影面101Aとドーム外面101B、プロジェクタ103、及び支持体800の各構成は、図74~図79に示した対応する各構成と同様であってもよい。なお、図82~図87に示す例では、図74~図79に示した例と同様にドーム投影面101Aとドーム外面101Bとの間の幅が一定ではないが、図66~図71に示した例と同様に、ドーム投影面101Aとドーム外面101Bとの間の幅が一定であってもよい。
また、図66、図68を参照して説明した例と同様に、図82~図87に示すドーム型ディスプレイ100においても重量バランスがとれているため、支持体800は安定してドーム型スクリーン101とプロジェクタ103及び104を支えることが可能である。
図82~図87に示したドーム型ディスプレイ100の重量バランスに関して、具体的に説明を行う。プロジェクタ103を内蔵する第4支持部804には、主にプロジェクタ103と、ドーム型スクリーン101を合計した荷重がかかる。一方、プロジェクタ103を内蔵する第4支持部804よりも上方に位置し、ドーム支持フレーム101Cに取り付けられたプロジェクタ104には、主にプロジェクタ104の荷重がかかる。したがって、プロジェクタ103、及びプロジェクタ104の重量が同程度である場合、より下方に位置するプロジェクタ103を内蔵する第4支持部804に、より上方に位置するプロジェクタ104よりも大きな荷重がかかる。そのため、水平方向において、プロジェクタ103とプロジェクタ104との間に位置し、一本の支柱として支える第2支持部802と第3支持部803に荷重が集中する。
また、図82~図87に示されるように、ドーム型ディスプレイ100は水平方向において略左右対称な構造となっている。また、本構成例において、円弧形状を有するドーム支持フレーム101Cは、ドーム型ディスプレイ100の水平方向における中心軸に沿って設けられて第4支持部804に接続している。つまり、ドーム支持フレーム101Cと支持部とが、ドーム型ディスプレイ100の水平方向における中心軸に沿った構造である。上述したように、ドーム型ディスプレイ100は水平方向において略左右対称な構造であるため、このようなドーム支持フレーム101C及び支持部により、ドーム型スクリーン101とプロジェクタ103及び104との重量を安定して支えることが可能である。
以上、図82~図87を参照して、より小型化されたドーム型ディスプレイ100の第3の構成例を説明した。なお、図82~図87では、ドーム型ディスプレイ100が2台のプロジェクタ103及び104を備える例を説明したが、ドーム型ディスプレイ100はより多数のプロジェクタを備えてもよい。
図88は、本構成例において、ドーム型ディスプレイ100が3つのプロジェクタを備える構成例を示す図である。また、図89は、本構成例において、ドーム型ディスプレイ100が4つのプロジェクタを備える構成例を示す図である。図88、及び図89に示す例において、プロジェクタ配置と、各プロジェクタを支持するドーム支持フレーム101Cの形状以外の構成は図82~図87に示した例と同様であってもよい。
図88に示す例において、図示されないプロジェクタ103の配置は図82~図87に示した例と同様である。また、図88に示すプロジェクタ104及び108は、図72に示した例と同様に、ドーム型スクリーン101の縁部に左右対称に配置される。ただし、図88に示すプロジェクタ104及び108は、ドーム外面101Bに沿ってドーム型スクリーン101の背面側に固定されたドーム支持フレーム101Cに支持される。図88に示すドーム支持フレーム101Cは、第4支持部804からドーム外面101Bに沿って上方に延在し、ドーム外面101Bの中心近傍において左右に略均等な角度で2本に分岐したY字形状である。係る構成により、水平方向の重量バランスがとれ、ドーム型ディスプレイ100全体としての安定性を保つことが可能である。
図89に示す例において、図示されないプロジェクタ103の配置、及びプロジェクタ104の配置は図82~図87に示した例と同様である。また、図89に示すプロジェクタ108及び109は、図73に示した例と同様に、ドーム型スクリーン101の縁部に左右対称に配置される。ただし、図89に示すプロジェクタ108及び109は、ドーム外面101Bに沿ってドーム型スクリーン101の背面側に固定されたドーム支持フレーム101Cに支持される。図89に示すドーム支持フレーム101Cは、ドーム外面101Bの中心近傍から上下左右に略均等な角度で4本に分岐した十字形状である。係る構成により、水平方向の重量バランスがとれ、ドーム型ディスプレイ100全体としての安定性を保つことが可能である。
(フィットネスバイクが一体化されたドーム型ディスプレイ100の構成例)
図90~図95は、フィットネスバイクが一体化されたドーム型ディスプレイ100の構成例を示した図である。図90~図95は、それぞれ同一のドーム型ディスプレイ100を異なる方向から見た図である。図90は右側面図であり、図91は背面図であり、図92は左側面図であり、図93は正面図であり、図94及び図95は斜視図である。
図90~図95に示すドーム型ディスプレイ100は、略ドーム形状を有するドーム型スクリーン101と、プロジェクタ103と、プロジェクタ104と、支持体800と、を備える表示装置である。なお、図82~図87に示すドーム型ディスプレイ100の各構成は、上述した図82~図87のドーム型ディスプレイ100の各構成と一部において同様の構成を有するため、同様の部分については適宜省略しながら説明を行う。
図90~図95に示すドーム型ディスプレイ100において、ドーム型スクリーン101、プロジェクタ103、及びプロジェクタ104の構成は、図82~図87のドーム型ディスプレイ100と同様であってもよい。図90~図95に示すドーム型ディスプレイ100は、支持体800の構成が異なる点において、図82~図87のドーム型ディスプレイ100と異なる。そこで、以下では主に図90~図95に示す支持体800の構成について説明を行う。
図90~図95に示す例において、支持体800は、第3支持部803、第4支持部804、ベース部810、及びフィットネスバイク部850を含む。図90~図95に示す第3支持部803は、フィットネスバイク部850と第4支持部804を接続する。図90~図95に示す第4支持部804は、図66~図71を参照して説明した例と同様に、第3支持部803とドーム型スクリーン101とを接続し、不図示のユーザ側から見て前方のドーム型スクリーン101側に第3支持部803から延在する。図66~図71を参照して説明した例と同様に、図90~図95に示す第4支持部804の内部にプロジェクタ103、及び送風ファン808が配置されていてもよい。
図90~図95に示すベース部810は、フィットネスバイク部850に接続するとともに、ドーム型ディスプレイ100全体の荷重に耐えうるように接地面積を確保してドーム型ディスプレイ100全体を支持する。図90~図95に示す例において、ベース部810は、円形の形状を有してもよい。係る構成により、ベース部810は、より安定してドーム型ディスプレイ100全体の荷重を支持することが可能である。
フィットネスバイク部850は、ユーザが乗ることが可能なオブジェクトである。フィットネスバイク部850は、上述した実施例2におけるフィットネスバイク1600と同様に、ユーザの身体動作に応じた変位情報を取得する。フィットネスバイク部850は、第3支持部803及びベース部810と接続され、ドーム型スクリーン101に対して所定の位置関係で固定される。
フィットネスバイク部850は、サドル851と、操作部852と、ペダル853とを備える。ユーザは、サドル851に跨ることで、ドーム投影面101Aに投影される映像を下方から視聴することが可能である。操作部852はユーザが操作することが可能なオブジェクトであり、例えばフィットネスバイク部850に関するユーザの操作を受け付ける。また、操作部852は、フィットネスバイク部850に関する情報の表示機能を有してもよい。また、操作部852はハンドルとしても用いられ、例えばサドル851に跨り前傾姿勢となったユーザにより両手で把持され得る。
また、ユーザは、サドル851に跨ってペダル853を漕ぐ。実施例2において上述した例と同様に、ペダル853には、不図示のマーカが取り付けられて、ユーザの身体動作に応じた変位情報が検出されて、制御部910に入力されてもよい。そして、制御部910は、例えばユーザがペダル853を漕ぐ速度等の変位情報に応じて、上述したようにプロジェクタ103及び104による映像の出力や、送風ファン808の出力を制御してもよい。
なお、図90~図95では、支持体800以外の構成が図82~図87のドーム型ディスプレイ100と同様である例を示したが、上述したフィットネスバイク部850を有する支持体800は、構成にも適用されてよい。例えば、図66~図71のドーム型ディスプレイ100や図74~図79のドーム型ディスプレイ100において、支持体800がフィットネスバイク部850を有するように構成することも可能である。
また、図90~図95ではドーム型ディスプレイ100が2台のプロジェクタ103及び104を備える例を説明したが、図72、図73、図80、図81、図88、図89を参照して説明した例と同様に、より多数のプロジェクタが備えられてもよい。
また、上記ではフィットネスバイク部850がドーム型ディスプレイ100と一体化された例を説明したが、本技術は係る例に限定されない。ユーザが使用する他のオブジェクト、例えば上述した椅子、トレッドミル、あるいはベッド等のオブジェクトも同様にドーム型ディスプレイ100と一体化され得る。
上述したように、ユーザが使用するオブジェクトをドーム型ディスプレイ100と一体化することにより、オブジェクトを装置全体に渾然一体に溶け込ませ、デザイン上の見栄えを統一することが可能である。また、ユーザが使用するオブジェクトをドーム型ディスプレイ100と一体化することにより、当該オブジェクトとドーム型スクリーン101との位置関係を、例えばユーザの没入感をより高めやすい所定の位置関係に固定することが可能である。また、ユーザが使用するオブジェクトをドーム型ディスプレイ100と一体化することによりシステム全体を小型化することが可能であり、さらに搬送や設置をより容易にすることが可能である。
(プロジェクタの配置と構成)
以上、実施例8としてドーム型ディスプレイ100のさらなる構成例について説明した。以下では、上述した本実施例に係るプロジェクタの構成及び配置についてより詳細に説明する。
図96には、図90に示したフィットネスバイクが一体化されたドーム型ディスプレイ100の一部を拡大して示されている。なお、以下では、プロジェクタの構成及び配置について、フィットネスバイクが一体化されたドーム型ディスプレイ100を例に説明を行うが、本実施例において図66~図95を参照して説明したいずれの構成においても同様であり得る。
図96に示すようにプロジェクタ103は、第4支持部804の内部に含まれ、光を発出する光源部103Aと、第4支持部804から突出したミラー部103Mとを有する。なお、プロジェクタ103は光源部103Aとミラー部103Mとの間に不図示の光学部材を1または複数有してもよい。図96に示すようにプロジェクタ103の光源部103Aから発出された光は、ミラー部103Mで反射され、ドーム型スクリーン101のドーム投影面101Aへ向かう。
また、図96に示すようにプロジェクタ104は、光を発出する光源部104Aと、ミラー部104Mとを有する。なお、プロジェクタ104は光源部104Aとミラー部104Mとの間に不図示の光学部材を1または複数有してもよい。図96に示すようにプロジェクタ104の光源部104Aから発出された光は、ミラー部104Mで反射され、ドーム型スクリーン101のドーム投影面101Aへ向かう。
図96に示すように、ドーム型スクリーン101の側方から見て、プロジェクタ103の投影方向PD21とプロジェクタ104の投影方向PD22とは交差していないように構成されることが望ましい。なお、本明細書において、プロジェクタの投影方向とは、ミラーを含む各プロジェクタの光学系における光軸の方向を意味する。
なお、図96では、鉛直方向に対向するように配置された複数のプロジェクタの投影方向がドーム型スクリーン101の側方から見て交差しない例を示したが、複数のプロジェクタが水平方向に対向するように配置される場合、当該複数のプロジェクタの投影方向は、ドーム型スクリーン101の鉛直上方から見て交差しないことが望ましい。以下では、このように複数のプロジェクタの投影方向が、当該複数のプロジェクタの対向方向と垂直な方向から見て交差しない構成とすることによる効果について図97~図100を参照して説明を行う。
上述したようにドーム型スクリーン101がユーザに対して斜め下向きとなる配置とすることで、フィットネスバイク等のオブジェクトに乗ったユーザの頭部は、図97A、図97Bのように位置することが想定される。なお、図97Aは、ドーム型スクリーン101の鉛直上方から見た図であり、図97Bはドーム型スクリーン101の右側方から見た図である。
人間の視認可能な角度は120度といわれていることから、図97A、図97Bに示すように、ユーザの視野範囲はドーム型スクリーン101に覆われることとなる。そのため、ユーザはドーム型スクリーン101に投影される映像に集中することができ、没入感を得ることが可能である。
ところで、ユーザがより没入感を得るため、より頭部をドーム型スクリーン101に近づけることが考えられる。また、ユーザがフィットネスバイクに乗っている場合、ユーザが立ち漕ぎ動作を行うことで、頭部がドーム型スクリーン101に近づくことが考えられる。例えば、図98に示されるように、ドーム型スクリーン101の鉛直上方から見て内側に操作部852(オブジェクトの一例)が配置される場合、操作部852を把持するユーザの頭部はドーム型スクリーン101により近づくことになる。なお、ここでドーム型スクリーン101の鉛直上方から見て内側とは、図98に示すようにドーム型スクリーン101を側方から見てドーム型スクリーン101の上方端部から鉛直方向に下ろした直線Lよりもドーム投影面101A側のことを意味する。
このように、ユーザの頭部がドーム型スクリーン101に近づく場合、プロジェクタによって投影される映像に影が発生してしまう恐れがある。係る例について図99A、図99Bを参照して説明を行う。図99A、図99Bには、水平方向に対向するように配置されたプロジェクタ103及び104の投影範囲を鉛直上方から見た模式図が示されている。
図99Aに示すように、プロジェクタ103及び104は、プロジェクタ103の投影方向PD11とプロジェクタ104の投影方向PD12が鉛直上方から見て交差するように配置され、それによりドーム型スクリーン101の投影面全体に映像が投影されている。しかし、図99Bに示されるように、ユーザの頭部がドーム型スクリーン101に近づくと、プロジェクタ103及び104から投射される光がユーザの頭部により遮蔽され、ドーム型スクリーン101の投影面に影SRが発生し得る。また、図99Bのようにユーザの頭部がドーム型スクリーン101に近づくと、プロジェクタ103及び104から投射される光がユーザの眼に入ってしまい、ユーザが眩しく感じる恐れがある。このように、複数のプロジェクタの投影方向が、当該複数のプロジェクタの対向方向と垂直な方向から見て交差する場合、ユーザがドーム型スクリーン101に近づくことは好ましくない。
しかし、上述したように、複数のプロジェクタの投影方向が、当該複数のプロジェクタの対向方向と垂直な方向から見て交差しないように配置される場合には、ユーザはドーム型スクリーン101により近づくことが可能である。図100には、水平方向に対向し、投影方向が鉛直上方から見て交差しないように配置されたプロジェクタ103及び104の投影範囲を鉛直上方から見た模式図が示されている。
図100に示す例では、プロジェクタ103の投影方向PD21とプロジェクタ104の投影方向PD22は鉛直上方から見て交差しない。しかし、プロジェクタ103及び104はそれぞれミラー部103M及び104Mを有し、ドーム型スクリーン101の投影面全体に映像が投影されるように構成されている。そして、図100に示す例では、ユーザが頭部がドーム型スクリーン101に近づいた場合であっても、プロジェクタ103及び104から投射される光がユーザの頭部により遮蔽され難く、ドーム型スクリーン101の投影面に影が発生し難いという効果がある。また、図100に示す例では、ユーザの頭部がドーム型スクリーン101に近づいた場合であっても、プロジェクタ103及び104から投射される光がユーザの眼に入り難くユーザが眩しく感じ難いという効果がある。したがって、プロジェクタ103の投影方向PD21とプロジェクタ104の投影方向PD22は鉛直上方から見て交差しないように構成することで、ユーザがドーム型スクリーン101により近づくことが可能であり、より没入感を得易くなる。
なお、上記では、プロジェクタ103及び104が水平方向に対向するように配置された場合を例に説明したが、プロジェクタ103及び104が垂直方向に対向するように配置された場合も同様の効果がある。
また、プロジェクタ103及び104の投影方向がプロジェクタ103及び104の対向方向と垂直な方向から見て交差せず、かつドーム型スクリーン101の投影面全体に映像が投影されるように構成されれば、プロジェクタ103及び104はミラーを有していなくてもよい。ただし、係る構成とするためには、プロジェクタ103及び104が、短い投影距離であっても広い範囲に映像を投影可能な、所謂短焦点プロジェクタであることが望ましい。