WO2018100800A1

WO2018100800A1 - 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム

Info

Publication number: WO2018100800A1
Application number: PCT/JP2017/027786
Authority: WO
Inventors: 辰志梨子田; 真範三上; 山崎　達也; 高橋　巨成
Original assignee: ソニー株式会社
Priority date: 2016-11-29
Filing date: 2017-07-31
Publication date: 2018-06-07
Also published as: JPWO2018101279A1; US11683471B2; US20190289285A1; JP7159870B2; CN109997097A

Abstract

ユーザの身体動作に応じたオブジェクトの変位情報に基づいて出力を制御する情報処理装置を提供する。情報処理装置は、ユーザが乗っているオブジェクトの所定の部位のユーザの身体動作に応じた３次元的な変位に対応する変位情報を所定の部位の位置情報に基づいて取得する変位情報取得部と、取得された変位情報に基づいて出力部が所定の出力を行うように制御する出力制御部を備える。オブジェクトは例えばユーザが着座可能でシートバックを有し、変位情報取得部はシートバックの前後方向、左右方向及び上下方向のうち少なくとも１つの位置変化を取得する。

Description

情報処理装置及び情報処理方法、並びにコンピュータ・プログラム

　本明細書で開示する技術は、ユーザの指示に応じて出力を制御する情報処理装置及び情報処理方法、並びにコンピュータ・プログラムに関する。

　多視点カメラや広角カメラで撮影された自由視点映像を提供するサービスが増えつつある。例えばスポーツやコンサート中継などのエンターテインメント系の映像や、無形文化財や教育コンテンツなどを、当該技術の主な適用分野として挙げることができる。また、ゲーム用のコンテンツなど、コンピュータ・グラフィクス技術を用いて生成される仮想現実（ＶＲ）映像においても、自由視点映像に関する技術が浸透してきている。

　自由視点映像は、ユーザが視点位置や視線方向を任意に変更可能な映像である。例えば、据え置き型の表示装置で自由視点映像を視聴する際には、コントローラやコンソールを用いて視点位置や視線方向の指示が入力される。また、ヘッド・マウント・ディスプレイ（ＨＭＤ）を用いて自由視点映像を視聴する際には、ユーザの頭部の動作を検出した結果に基づいて視点位置や視線方向を変化させることで、映像が撮影された空間を実際に探索しているような体験をユーザに与えることができる。

　また、手持ち型コントローラのような専用コントローラからの入力に基づいてＨＭＤに表示する拡張仮想現実シーンを生成するシステムについて提案がなされている（例えば、特許文献１を参照のこと）。

特表２０１６－５２８９４２号公報

　本明細書で開示する技術の目的は、ユーザの指示に応じて出力を好適に制御することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。

　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部と、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部と、を具備する情報処理装置である。

　また、本明細書で開示する技術の第２の側面は、
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得ステップと、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御ステップと、を有する情報処理方法である。

　また、本明細書で開示する技術の第３の側面は、
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部、としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラムである。

　本明細書で開示する技術によれば、ユーザの身体動作に応じて出力を好適に制御することができる、優れた情報処理装置及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本技術の効果はこれに限定されるものではない。また、本技術が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ドーム型ディスプレイ１００の構成例を示した図である。図２は、ドーム型ディスプレイ１００の構成例を示した図である。図３は、ドーム型ディスプレイ１００の構成例を示した図である。図４は、ドーム型ディスプレイ１００の構成例を示した図である。図５は、ドーム型ディスプレイ１００の構成例を示した図である。図６は、ドーム型ディスプレイ１００の構成例を示した図である。図７は、ドーム型ディスプレイ１００の構成例を示した図である。図８は、ドーム型ディスプレイ１００の構成例を示した図である。図９は、ユーザとのインタラクションを実現するシステムの構成例を示した図である。図１０Ａは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１０Ｂは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１１Ａは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１１Ｂは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１２Ａは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１２Ｂは、椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。図１３は、市販のサブウーファー９３５、及びスピーカー９３６を用いた構成例を示した図をある。図１４は、サブウーファー９３５を支持体１０２に埋め込んで設置した構成例を示した図である。図１５は、サブウーファー９３５を支持体１０２に埋め込んで設置した構成例を示した図である。図１６は、サブウーファー９３５、及びスピーカー９３６を支持体１０２に埋め込んで設置した構成例を示した図である。図１７は、椅子１０００にヘッドレスト・スピーカー９３４、及びリアスピーカー９３７が備えられた構成例を示した図である。図１８は、椅子１０００にヘッドレスト・スピーカー９３４が備えられた構成例の斜視図である。図１９は、ユーザの身体動作に応じた変位情報を取得するオブジェクトの一例として椅子１０００を示した図である。図２０は、自由視点映像に運動視差の左右変化を付ける映像処理を例示した図である。図２１は、自由視点映像に運動視差の前後倒れ角変化を付ける映像処理を例示した図である。図２２は、自由視点映像に運動視差の左右倒れ角変化を付けるとともに、視点位置を左右に変化させる映像処理を例示した図である。図２３は、椅子のシートバックのばね性を利用して、シートバックに寄りかかっていたユーザが身体を起こす様子を示した図である。図２４は、ユーザの身体動作に応じた変位情報を取得するオブジェクトの一例としてトレッドミル１５００を示した図である。図２５は、ユーザの身体動作に応じた変位情報を取得するオブジェクトの一例としてフィットネスバイク１６００を示した図である。図２６は、ユーザがフィットネスバイク１６００のペダルを漕いで前輪が回転する様子を示した図である。図２７は、ユーザがフィットネスバイク１６００で立ち漕ぎ動作をする様子を示した図である。図２８は、ユーザがフィットネスバイク１６００で左右に倒れ込んで漕ぐ様子を示した図である。図２９は、ユーザが椅子に着座しながら部屋の天井や壁面に表示されている映像を視聴している様子を示した図である。図３０は、ユーザが幌付きの椅子に着座している様子を示した図である。図３１は、ユーザが幌付きの椅子に着座している様子（幌を閉じて映像を視聴している状態）を示した図である。図３２は、ユーザが乗用車の座席に着座している様子を示した図である。図３３は、ユーザがベッド上に横たわっている様子を示した図である。図３４は、ユーザがベッド上に横たわっている様子を示した図である。図３５は、ユーザのベッド上での身体動作の例を示した図である。図３６は、ユーザのベッド上での身体動作の例を示した図である。図３７は、自由視点映像上でＵＩメニュー及びコンテンツのコントロールを行う様子を示した図である。図３８は、ユーザの身体動作に応じたオブジェクトの変位情報に基づいてユーザへのインタラクションを制御するための処理手順を示したフローチャートである。図３９は、マーカの動きに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順を示したフローチャートである。図４０は、固有マーカに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順を示したフローチャートである。図４１は、音響信号に応じた映像を表示させるビジュアライザー機能を有する実施例の構成例を示す図である。図４２は、図４１に示した構成のうち、ドーム型スクリーン１０１のみを示した図である。図４３は、ドーム型スクリーン１０１に対して略正対するような視点における、図４１に示したユーザの視界を示している。図４４は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示し図４５は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図４６は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図４７は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図４８は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図４９は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５０は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５１は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５２は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５３は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５４は、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を示した図である。図５５は、エフェクト画像に含まれる一部の粒子のみを示した図である。図５６は、エフェクト画像に含まれる一部の粒子のみを示した図である。図５７は、エフェクト画像に含まれる一部の粒子のみを示した図である。図５８は、エフェクト画像に含まれる一部の粒子のみを示した図である。図５９は、エフェクト画像に含まれる一部の粒子のみを示した図である。図６０は、エフェクト画像に含まれる一部の粒子のみを示した図である。図６１は、エフェクト画像に含まれる一部の粒子のみを示した図である。図６２は、エフェクト画像に含まれる一部の粒子のみを示した図である。図６３は、ユーザ端末７００が配置された構成例の斜視図である。図６４は、ユーザ端末７００の構成例を示した図である。図６５は、システム９００がユーザ端末７００を備えた構成例を示した図である。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
　図１及び図２には、自由視点映像やＶＲ映像の表示に適用することができるドーム型ディスプレイ１００の構成例を示している。ユーザはドーム内に入ると投影された映像を観察することができる。但し、図１はドーム型スクリーン１０１を前額面で切った断面を示し、図２はドーム型スクリーン１０１を矢状面で切った断面を示している。

　図示のドーム型ディスプレイ１００は、ドーム型スクリーン１０１と、ドーム型スクリーン１０１を支持する支持体１０２と、２台のプロジェクタ１０３及び１０４を備えている。各プロジェクタ１０３及び１０４は、ベースバンドの映像信号に基づいて、ドーム型スクリーン１０１に向かって映像を投射する。また、ドーム型スクリーン１０１によって形成される空間の内部には、投影された映像を観察するユーザが着座する椅子１０６が設置されている。

　ドーム型スクリーン１０１は、内周が投影画像の表示面となっている。ドーム型スクリーン１０１は、例えば軽量なＦＲＰ（Ｆｉｂｅｒ　Ｒｅｉｎｆｏｒｃｅｄ　Ｐｌａｓｔｉｃｓ：繊維強化プラスチック）などの樹脂や、金属、ガラス、アクリルなどで製作される。ドーム型スクリーン１０１の内周面には、光（投影された映像）の乱反射を防ぐための塗装やコーティング、その他の表面処理が施されていることが好ましい。ドーム型スクリーン１０１の内周は球面若しくは半球形状をなす。球面若しくは半球形状をなすドーム型スクリーン１０１を用いると、水平方向及び垂直方向に広視野角な臨場感のある映像を投影することができる。なお、ドーム型スクリーン１０１の外形は特に限定されない。例えば、折り畳み式若しくは収納式のドーム型スクリーン（図示しない）でもよい。

　支持体１０２は、互いの回転軸が一致する一対の軸部１０２Ａ及び１０２Ｂを備え、この一対の軸部１０２Ａ及び１０２Ｂでドーム型スクリーン１０１を矢状面内で水平軸回りに回転可能に支持する。但し、ドーム型スクリーン１０１を矢状面内で水平軸回りに回転可能に支持することができれば、一対の軸部１０２Ａ及び１０２Ｂで支持する構造には限定されない。また、支持体１０２は、ドーム型スクリーン１０１を垂直軸回りに回転可能に支持する機構も備えていてもよい。さらに、支持体１０２は、上下動などドーム型スクリーン１０１が回転以外の自由度も持つように支持する構造であってもよい。

　２台のプロジェクタ１０３及び１０４は、それぞれ映像復号部１０５から供給される映像信号（広視野角の映像信号）を、ドーム型スクリーン１０１の内周に投影する。各プロジェクタ１０３及び１０４は、レーザー、ＬＥＤ、水銀ランプ、キセノンランプ等を光源に用いて、高彩度で色再現性のよい画像をドーム型スクリーン１０１に投影できるものとする。

　各プロジェクタ１０３及び１０４は、互いの投影画像でドーム型スクリーン１０１の内周の表示面全体をカバーできるように、ドーム型スクリーン１０１の端縁付近にて、ドーム型スクリーン１０１に対する相対位置及び姿勢が固定されている。各プロジェクタ１０３及び１０４は、例えば３軸方向及び各軸回りの６自由度を持つテーブル（図示しない）を介してドーム型スクリーン１０１に固定され、各々の光軸（投影方向）を微調整できるものとする。ドーム型スクリーン１０１を水平軸回りに回転させると（後述）、各プロジェクタ１０３及び１０４も一体となって動く。

　例えば、各プロジェクタ１０３及び１０４からドーム型スクリーン１０１に投影される画像間の接合部分のスティッチング処理を行うことで、ドーム型スクリーン１０１で広視野角映像を提示することができる。スティッチング処理には任意のアルゴリズムを適用することができる。具体的には、投影される画像間の接合部分に幾何補正とエッジブレンディングなどを行なうことで、ドーム型スクリーン１０１で広視野角映像を提示してもよい。もちろん、幾何補正やエッジブレンディング処理には任意のアルゴリズムが適用され得る。

　各プロジェクタ１０３及び１０４からの投影映像はそれぞれ４Ｋ（横４０００×縦２０００前後）の解像度を持つことを想定している。また、各プロジェクタ１０３及び１０４が持つ光学歪みや、ドーム型スクリーン１０１の内周の変形（経時変化を含む）などに起因する広視野角映像の歪みを画像処理によって補正するようにしてもよい。具体的には、各プロジェクタ１０３及び１０４が持つ光学歪みや輝度や色味の個体差、ドーム型スクリーン１０１の内周の変形（経時変化を含む）などに起因する広視野角映像の歪みが、画像処理によって補正され得る。映像の歪みの補正のために、例えば、各プロジェクタ１０３及び１０４からドーム型スクリーン１０１に既知形状からなるテスト・パターンを投影して、テスト・パターンの投影画像の歪みをキャンセルするような画像処理が実施されてもよい。具体的には、各プロジェクタ１０３及び１０４からドーム型スクリーン１０１に既知形状からなるテスト・パターンを投影し、外部カメラなどで投影されたテスト・パターンを撮影し、撮影された画像に基づいて、テスト・パターンの投影画像の歪みをキャンセルするような画像処理を行ってもよい。また、各プロジェクタ１０３及び１０４の位置姿勢推定や、ドーム型スクリーン１０１の形状推定などの三次元的な計測結果が、歪みをキャンセルする画像処理に利用されてもよい。また、各プロジェクタ１０３及び１０４をドーム型スクリーン１０１に固定したときの位置決め誤差に起因する投影画像の歪みも、画像処理によって補正するようにしてもよい。

　各プロジェクタ１０３及び１０４から投影される全天周映像に、メニューやボタンなどを含んだＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を重畳表示するようにしてもよい。これらのＧＵＩは、ハンドジェスチャ入力や視線入力等の種々の入力手段によって操作されてよい。

　ドーム型スクリーン１０１は、支持体１０２で回転可能に支持されている。図１及び図２に示したように、ドーム型スクリーン１０１をほぼ水平に支持している場合、ドーム型スクリーン１０１の表示面には水平方向に３６０度の全周囲映像を提示することができる。一方、図３及び図４に示すように、ドーム型スクリーン１０１を矢状面内で水平軸回りに９０度だけ、軸部１０２Ａ及び１０２Ｂの回転軸回りに回転させると、ドーム型スクリーン１０１の表示面には垂直方向に３６０度の全周囲映像を提示することができる。例えば、上空や高層などを想定した広視野角映像を観察する場合には、図３及び図４に示すようにドーム型スクリーン１０１を９０度だけ回転させると、下方（例えば地面）の映像も提示することができる。また、図１～図４に示したように、ドーム型スクリーン１０１を水平方向又は垂直方向に設置するだけでなく、図５及び図６に示すように、ドーム型スクリーン１０１を矢状面内で水平軸回りに０度から９０度の任意の角度に傾けて、ドーム型ディスプレイ１００を使用することもできる。

　また、図１～図６に示した構成例では、ドーム型ディスプレイ１００は２台のプロジェクタ１０３及び１０４を備えているが、３台以上のプロジェクタを設置するように構成してもよい。図７には、プロジェクタ１０３及び１０４に加えて、さらに２台のプロジェクタ１０８及び１０９をドーム型スクリーン１０１に取り付けたドーム型ディスプレイ１００の構成例を示している。

　ドーム型スクリーン１０１に映像を投影するプロジェクタ１０３及び１０４として、例えば手のひらサイズで高解像度のピコプロジェクタを採用することもできる。ピコプロジェクタであれば、設置面積を要しないので、ドーム型スクリーン１０１への設置台数を増やすこともできる。図８には、多数のピコプロジェクタをドーム型スクリーン１０１に設置した様子を示している。プロジェクタの設置台数を増やしていくと、投影映像の輝度、コントラスト、解像度を向上させることができる。

　また、ドーム型スクリーン１０１内のユーザがジェスチャー動作する際などに、あるプロジェクタからの投影映像がユーザの突き出した手によって遮られることがあるが、別のプロジェクタの投影映像で補うことができる。多数のプロジェクタを点灯させると、消費電力が大きくなる。そこで、設置したすべてのプロジェクタを同時に駆動させるのではなく、必要な台数のプロジェクタだけ適宜部分的に動作させるようにしてもよい。

　例えば、ドーム型スクリーン１０１内にいるユーザの身体の姿勢や手の位置などに応じて、投影画像が影とならないプロジェクタを選択して、部分的に駆動させるように制御すればよい。カメラや距離センサなどをプロジェクタ毎に設置して各プロジェクタとスクリーン１０１表面までの間に障害物があるか又は投影映像に影ができているかを検出して、映像がうまく投影されないプロジェクタはオフにし、代わって隣接するプロジェクタをオンにすればよい。図８中、白で表示されたピコプロジェクタは点灯中で、グレーで表示されたピコプロジェクタは消灯中とする。

　ドーム型スクリーン１０１への投影映像は、ＨＭＤで拡大虚像を観察する場合よりも、ユーザは被写体のスケール感を感じ易い、というメリットがある。例えば、ドーム型スクリーン１０１の内径を１．５～２メートル程度に設定すると、ユーザが等身大に感じる被写体（人物など）の映像を表示することができ、リアリティーが増す。例えば、カメラ目線をした人物を撮影した映像を投影した場合には、ユーザは映像内の人物が自分と目が合っている（アイ・コンタクトしている）ような、現実感の強い体験をすることができる。また、ドーム型ディスプレイ１００は、ＨＭＤに比べると解放感があるが、水平方向に３６０度の全天周映像を提示することで没入感が増す。

　要するに、ドーム型スクリーン１０１への投影映像は、現実により近い、囲まれた映像と言うことができる。さらに、ドーム型ディスプレイ１００に、スピーカーやヘッドフォンと信号処理を利用した立体音響を組み合わせることで、ユーザに対して、映像と音声が録音が撮影された場所に居る、若しくはその場所に参加しているような感覚を与えることができる。

　自由視点映像やＶＲ映像を視聴できる表示装置として、ＨＭＤも挙げることができる。ＨＭＤは小型で設置場所に制限がなく、どこでも利用することができる。反面、ユーザはＨＭＤを着用すると頭部が締め付けられる、装置の重さを首で支えなければならないなどの理由により、長時間使用すると疲れるという問題がある。また、ＨＭＤはユーザの肌に密着するので、発汗により装置がダメージを受けるという問題がある。また、ＨＭＤを装着するとユーザの顔や視界を覆い隠すので、ユーザは他の入力デバイスとの併用が困難である、表情を読み取ることができない、動くと手足を障害物にぶつける危険がある、といった問題もある。

　これに対し、ドーム型ディスプレイ１００の場合、ユーザは何も装着しない状態なので、解放感があり長時間の使用に耐え易いというメリットがある。また、ドーム型スクリーン１０１内のユーザをカメラの撮影画像などで観察することができ、顔認識（個人認証）や表情認識を行うことができる。また、ドーム型スクリーン１０１内に複数人が同時に入ることで、視聴映像を簡単に共有し、共同作業を実現し易い。

　また、ドーム型ディスプレイ１００は、ドームで閉じられた空間を利用したマルチモーダルなインタフェースを備えていてもよい。マルチモーダルなインタフェースは、例えば、ドーム内の温度や湿度を調整したり、匂いを発生させたり、ユーザに風（微風や向かい風、エア・ブラスト）や水しぶき（ウォター・ブラスト）を吹き付けたり、ユーザの身体に触覚（背中をつつくような効果、首筋や足元に何かが触れるような感覚など）や振動・揺動（椅子１０６の下からの衝撃や地響きなど）を加えたり、匂いや香りを与えたりして、視聴空間の環境を自在に制御する手段からなる。ドーム型スクリーン１０１によって作業空間と外界が仕切られるので、マルチモーダルなインタラクションを適用して、仮想現実空間と同じような臨場感のある体験をしてもらうことができる。

　図１などに示した構成例では、ドーム型ディスプレイ１００は、室内に設置して利用することを想定しているが、勿論、屋外に設置して利用してもよい。また、支持体１０２の下端にキャスターなどの移動用部品を取り付けて、設置場所を容易に移動できるようにしてもよい。また、１台のドーム型ディスプレイ１００を１人で使用するだけでなく、複数人で使用することや、Ｂ２Ｂ（Ｂｕｓｉｎｅｓｓ　ｔｏ　Ｂｕｓｉｎｅｓｓ）での利用も想定される。あるいは、ドーム形状ではなく、部屋の天井や壁面、あるいは乗用車の車室内の壁面を投影面に用いて、自由視点映像やＶＲ映像を表示することも考えられる（後述）。

　なお、本実施形態では、ドーム型ディスプレイ１００は、自由視点映像の視点位置及び視線方向を変更可能であることと、立体視可能な映像を表示できることを前提とする。

　視点位置の移動は、例えば自由視点映像を撮像している多視点カメラ又は広角カメラを搭載した移動体装置を移動させることなどによって実現する連続的な移動と（図２２を参照のこと）、遠く離れた視点位置間を瞬間的に移動（ジャンプ）するという不連続的な移動を含むものとする。視点位置が連続的に移動する場合は、ドーム型スクリーン１０１に投影される映像も連続的に変化し、視点位置が不連続的に移動する場合は、ドーム型スクリーン１０１に投影される映像が次の視点位置の映像に瞬間的に切り替わる。なお、瞬間移動した視点位置の映像の少なくとも一部は、実写映像ではなく、ＶＲ映像やＣＧ映像であってもよい。

　また、視線方向の変更は、例えば自由視点映像を撮像しているカメラの向きを（ロール、ピッチ、又はヨーの少なくともいずれか１つの軸回りに）変更することに相当する（図２２を参照のこと）。視線方向が変更すると、例えばドーム型スクリーン１０１のユーザの正面方向に表示される映像（画角）が、視線方向の変更を打ち消す方向に移動する（右方向に視線が移動したときには、表示映像は左方向にシフトし、変更前はユーザの右側に表示されていた映像領域が正面に表示されるようになる）。

　また、本実施形態では、自由視点映像の上にＵＩメニューを表示することや、ＣＧ及びＰｉｃｔｕｒｅ　ｉｎ　Ｐｉｃｔｕｒｅのインタラクション形式でコンテンツ・コントロールを行うこと（図３７を参照のこと）を前提とする。

　図９には、ドーム型ディスプレイ１００において、映像を表示するとともにユーザとのインタラクションを実現するシステム９００の構成例を示している。なお、図示のシステム９００で実現されるインタラクションは、ドーム型ディスプレイ１００だけではなく、自由視点映像やＶＲ映像を表示するさまざまなタイプの表示装置に対しても適用することができるという点を十分理解されたい。すなわち、少なくともシステム９００の出力系を、ＨＭＤによって置き換えることもできる。また、システム９００は、ユーザが何も装着していない状態でもインタラクションを実現することができ、専用のコントローラを一切必要としないというメリットを有するが、この点の詳細については後述に譲る。

　図示のシステム９００は、ドーム型スクリーン１０１などの表示画面に映像を表示させる映像表示系と、表示映像に合わせた音響を出力する音響出力系と、ドーム内でこれら映像及び音響を視聴するユーザに関するセンサ情報を入力する入力系と、入力系からの入力情報に応じたフィードバックを出力する出力系を備え、制御部９１０によって各系統の動作が統括的に制御されるように構成されている。

　制御部９１０は、例えばＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）のような集積回路で構成される。制御部９１０としてのＳｏＣ上には、メイン・コントローラ９１１、メイン・メモリ９１２、通信部９１３、映像用のディジタル信号処理部（Ｖｉｄｅｏ　ＤＳＰ）９１４、及び音響用のディジタル信号処理部（Ａｉｄｉｏ　ＤＳＰ）９１５などの各機能を実現するための複数の回路モジュールが実装されている。

　メイン・コントローラ９１１は、ドーム型スクリーン１０１内における映像及び音響の出力を制御するとともに、ユーザに関するセンサ情報に基づくフィードバック出力を制御する。本実施形態では、メイン・コントローラ９１１は、ユーザの身体の動作に応じたインタラクション（後述）を実現する上で、ユーザの身体動作に応じたオブジェクトの変位情報に基づいてフィードバック出力を制御する「出力制御部」としても機能するものとする。また、メイン・コントローラ９１１は、出力制御部として、出力される音響に応じた映像の出力を制御してもよい。

　メイン・メモリ９１２は、フラッシュ・メモリ又はＤＤＲ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ）などのＳＤＲＡＭで構成され、メイン・コントローラ９１１の作業メモリとして使用される。

　通信部９１３は、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信モジュールで構成される。例えば、ストリーミング配信される自由視点映像及び立体音響音声を通信部９１３で受信して、ドーム型ディスプレイ１００で再生することが可能である。但し、映像や音声のソースはストリーミングに限定されず、例えばＢＤ（ブルーレイ・ディスク）などメディアに記録された映像や音声をドーム型ディスプレイ１００で再生出力することもできる。また、後述するオーディオプレイヤ９４４からの音響信号を通信部９１３で受信してもよい。

　映像用のＤＳＰ９１４は、内部にメモリ（フレーム・メモリ）を備えている。映像用ＤＳＰ９１４は、通信部９１３で受信した映像信号をディジタル信号処理する。また、システム９００は、映像表示系として、ドーム型スクリーン１０１に映像を投影する２台以上のプロジェクタ１０３、１０４…を備えている。映像用ＤＳＰ９１４は、図１に示したドーム型ディスプレイ１００の映像復号部１０５に相当し、信号処理した後のＲＧＢ形式の映像信号を各プロジェクタ１０３、１０４…に出力する。

　音響用のＤＳＰ９１５は、通信部９１３、または不図示のオーディオインタフェースで受信した音響信号をディジタル信号処理し、内部メモリにバッファリングしながら、音響出力系に出力する。また、システム９００は、音響出力系として、ヘッドフォン９３３、ヘッドレスト・スピーカー９３４、又はサブウーファー９３５のうち少なくとも１つを備えている。ＤＳＰ９１５で処理された音響信号は、内部メモリから読み出されると、Ｉ²Ｃ（Ｉｎｔｅｒ―Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのインタフェースを介して出力され、ＤＡＣ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）９３１でアナログ信号に変換され、さらに増幅部（ＡＭＰ）９３２で増幅された後、スピーカー９３６、ヘッドフォン９３３、ヘッドレスト・スピーカー９３４、又はサブウーファー９３５のいずれかから音響出力される。

　システム９００は、入力系として、変位センサ９４１と、頭部検出カメラ９４２と、外付けセンサ９４３を備えている。

　変位センサ９４１は、何も装着していない状態のユーザが使用するオブジェクトの所定の部位の位置情報を検出して、ユーザの身体動作に応じた所定の部位の３次元的な変位に対応する変位情報を取得する。オブジェクトは、例えば日常生活で使う家具やフィットネス器具などであり、これらオブジェクトの表面に取り付けられたマーカや画像認識処理により抽出することが可能な特徴点をモーション・キャプチャすることで、変位情報が取得される。変位情報を取得する方法の詳細については、後述に譲る。取得された変位情報は、ＳＰＩ（Ｓｅｒｉａｌ　Ｐｅｒｉｐｈｅｒａｌ　Ｉｎｔｅｒｆａｃｅ）などのインタフェースを介して制御部９１０に取り込まれ、ユーザの身体の動作に応じたフィードバックの出力制御に用いられる。変位センサ９４１は、ユーザの身体の動作に応じたインタラクションを実現する上で、「変位情報取得部」として機能する。

　頭部検出カメラ９４２は、例えばドーム型スクリーン１０１内でユーザの正面に設置され、例えば骨格検出や音声認識の機能を利用してユーザの頭部を検出して、撮像したユーザの頭部の映像を制御部９１０にＲＧＢ出力する。なお、頭部検出カメラ９４２として、ＲＧＢカメラ、深度センサなどを有する既知のモーション・キャプチャ用センサあるいは情報処理装置が利用されてよい。頭部検出カメラ９４２から入力される映像に基づいて、ユーザの視線情報を取得することができる。

　外付けセンサ９４３は、ドーム型ディスプレイ１００に対して外付け接続された各種センサであり、センサの検出信号をＳＰＩなどのインタフェースを介して制御部９１０に出力する。外付けセンサ９４３は、例えば温度や湿度を始めとして、ドーム内でのユーザの視聴環境を検出する。また、システム９００がドーム型ディスプレイ１００ではなく乗用車（自動運転対応の車両など）に組み込まれている場合には、外付けセンサ９４３は、ＯＤＢ２（Ｏｎ　Ｂｏａｒｄ　Ｄｉａｇｎｏｓｉｓ　ｓｅｃｏｎｄ　ｇｅｎｅｒａｔｉｏｎ）を介して取り込まれる車両の各種検出情報を扱うこともできる。

　オーディオプレイヤ９４４は、例えばドーム型ディスプレイ１００に対して無線、または有線で接続され、通信部９１３、またはフォーンジャックなどのオーディオインタフェース（不図示）を介して制御部９１０に音響信号を出力する。オーディオプレイヤ９４４は、音響信号を出力するために、例えば音楽データを記憶していてもよいし、ＣＤ（コンパクトディスク）等のメディアから音楽データを読み出してもよい。

　システム９００が備える出力系は、上記のような入力系からの入力情報に応じたフィードバックを出力する。ユーザの身体の動作に応じたインタラクション（後述）を実現する上で、出力系は、ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報に基づく出力を行う「出力部」として機能する。

　図９に示す例では、システム９００は、フィードバックの出力系として、駆動系出力部９５１、外部出力部９５２、及びディスプレイＵＩ部９５３を備え、さらに上述したヘッドフォン９３３、ヘッドレスト・スピーカー９３４、サブウーファー９３５などの音響出力部をフィードバックの出力系としても活用することができる。ＭＣＯＭ９５０は、制御部９１０からのＳＰＩなどのインタフェースを介した指示に従って、これらのフィードバック出力系からの出力を制御する。

　駆動系出力部９５１と外部出力部９５２は、マルチモーダル・インタフェースを構成し、ドーム内の温度や湿度を調整したり、ユーザに風（微風や向かい風、エア・ブラスト）や水しぶき（ウォター・ブラスト）を吹き付けたり、ユーザの身体に触覚（背中をつつくような効果、首筋や足元に何かが触れるような感覚など）や振動・揺動、軽い電気刺激などを加えたり、匂いや香りを与えたりして、視聴空間の環境を自在に制御する。

　駆動系出力部９５１は、椅子１０６などのユーザが使用しているオブジェクトに対して振動や揺動を加えたり、オブジェクトを傾けたりするアクチュエータなどからなる。ＭＣＯＭ９５０は、例えばＳＰＩなどのインタフェースを介して、駆動系出力部９５１からの出力を制御する。

　外部出力部９５２は、エアコンや加湿器などのデバイスからなる。また、ドーム型ディスプレイ１００が車両に組み込まれている場合には、エアコンＥＣＵ（Ｅｌｅｃｔｒｉｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）なども外部出力部９５２に相当する。ＭＣＯＭ９５０は、例えばＳＰＩなどのインタフェースを介して、外部出力部９５２からの出力を制御する。また、ネットワークを介した機器制御も含む。

　ディスプレイＵＩ部９５３は、ドーム型スクリーン１０１上に、自由視点映像などのコンテンツに重畳して表示されるＵＩメニューや、ＣＧ、ＯＳＤ、Ｐｉｃｔｕｒｅ　ｉｎ　Ｐｉｃｔｕｒｅなどに相当する。ＭＣＯＭ９５０とディスプレイＵＩ部９５３間では、例えばＩ²Ｃなどのインタフェースを介してインタラクションが行われる。

　また、ＭＣＯＭ９５０は、例えばＩ²Ｃなどのインタフェースを介してＤＡＣ９３１又はアンプ９３２を制御して、音響によるフィードバック出力を制御することができる。

　以上、システム９００の構成例について説明した。続いて、図１０～図１８を参照して、上述した構成の配置に関する検討を行う。図１０Ａ、図１０Ｂは椅子１０００に着座したユーザがドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。なお、図１０Ａ、図１０Ｂでは、ドーム型スクリーン１０１を矢状面で切った断面を示している。

　リクライニングチェアのシートバック（背もたれ）の角度（床面に垂直な直線との角度）は、一般に約３０度と言われており、図１０Ａ、図１０Ｂに示す例では、床面に垂直な直線と椅子１０００のシートバックとの角度は２８度である（図１０Ａを参照）。なお、図１０Ａでは、ユーザの頭が椅子１０００のシートバックに沿った位置にある状態を示し、図１０Ｂでは、ユーザが顎を引き、視線を水平に保った状態を示している。

　ここで、スピーカー９３６の設置角度について検討する。なお、スピーカー９３６は、例えばサウンドバースピーカーであってもよい。ここで、高い周波数になる程、また用いられるコーンスピーカのサイズが小さい程、一般にスピーカーの指向性は鋭くなる。例えば、６０ｍｍのコーンスピーカをバー部に含むサウンドスピーカでは、５ｋＨｚ程度の周波数から拡散を伴いにくくなる。したがって、ユーザが高い周波数まで最適に聴くためにはスピーカー９３６の向きをユーザに（特にユーザの顔、または耳に）向けることが望ましい。

　そこで、スピーカー９３６の振動方向に正対する直線がユーザの顔と交差するための床面との角度は、図１０Ａに示すようにユーザの頭がシートバックに沿った位置にある場合には、３５度程度であり、図１０Ｂに示すようにユーザの視線が水平に保たれた場合には４０度程度である。したがって、例えばスピーカー９３６は、スピーカー９３６の振動方向に正対する直線と床面とがなす角が３５度～４０度程度の角度になるように設置されることが望ましい。なお、以下では、例えばスピーカー９３６の振動方向に正対する直線と床面とがなす角が３５度～４０度となるようにスピーカー９３６が設置されることを、スピーカー９３６が仰角３５度～４０度で設置される等と表現する場合がある。

　スピーカー９３６が仰角３５度～４０度で設置するためには、例えばドーム型スクリーン１０１の支持体がスピーカー９３６を設置するための構成を有していてもよいし、スピーカー９３６を設置するためのスピーカースタンドが別途用意されてもよい。

　さらに、スピーカー９３６をドーム型スクリーン１０１下部の床面に設置した場合に、スピーカー９３６の振動方向に正対する直線がドーム型スクリーン１０１に遮られないようにするため、図１０Ａ、図１０Ｂに示す例では、ドーム型スクリーン１０１は床面に対して４５度の角度で設置されている。

　また、一般的に輻輳が生じない距離が１．２メートルとされているため、図１０Ａ、図１０Ｂに示すように、ユーザの目と、ドーム型スクリーン１０１内でユーザが注視する位置との距離が１．２メートル以上であるように、各構成が配置されることが望ましい。なお、球体の反射は球体の中心に集まるため、音響の反射による定在波の問題を避けるためには、ユーザの視聴位置をドーム型スクリーン１０１の中心から、離すことが望ましい。

　また、上述したように、ドーム型スクリーン１０１の内径を１．５～２メートル程度に設定することでリアリティーが増すため、図１０Ａ、図１０Ｂに示す例ではドーム型スクリーン１０１の内径を２メートルとしている。上述した情報を総合的に踏まえると、ドーム型スクリーン１０１の径の中心位置は、図１０Ａ、図１０Ｂに示すように１．３メートル程度が望ましい。

　ここで、人間の上下視野角は上方視野角が５０度、下方視野角が７５度であるため、図１０Ａ、図１０Ｂに示すようにドーム型スクリーン１０１と椅子１０００が配置されることで、ドーム型スクリーン１０１はユーザの上方視野角５０度を覆うことが可能となる。

　ただし、図１０Ａ、図１０Ｂに示すように、ドーム型スクリーン１０１を床面に対して４５度で設置した場合、ユーザの下方視野角７５度を覆うことは困難である。そこで、下方視野角７５度を極力覆うため、例えば、図１１Ａ、図１１Ｂに示すように、ドーム型スクリーン１０１を床面に対して６０度で設置することも可能である。

　図１１Ａ、図１１Ｂは椅子１０００に着座したユーザが、床面に対して６０度で設置されたドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。なお、図１１Ａ、図１１Ｂに示されない各種の値は、図１０Ａ、図１０Ｂに示した例と同様であってよい。また、図１１Ａでは、ユーザの頭が椅子１０００のシートバックに沿った位置にある状態を示し、図１１Ｂでは、ユーザが顎を引き、視線を水平に保った状態を示している。

　図１１Ａ、図１１Ｂに示す例においても、スピーカー９３６の振動方向に正対する直線がユーザの顔と交差するように、スピーカー９３６を仰角３５度～４０度で設置することが望ましい。しかし、図１１Ａ、図１１Ｂに示すように、スピーカー９３６が仰角３５度～４０度で設置されると、スピーカー９３６の振動方向に正対する直線がドーム型スクリーン１０１に遮られてしまう。スピーカー９３６の振動方向に正対する直線がドーム型スクリーン１０１に遮られないようにスピーカー９３６を設置する場合、ドーム型スクリーン１０１の内側にスピーカー９３６を設置することになるが、係る場合には表示の妨げとなってしまう。

　スピーカー９３６を用いずに音響を出力するためには、例えばアクチュエータでドーム型スクリーン１０１を振動させる方法や、透過型スクリーンを活用する方法等が考えられる。しかし、球体の反射は中心に集まるため、音響の反射による定在波の問題と、スクリーンの強度の問題、透過による画質劣化の問題等が発生することから現実的ではないと考えられる。

　そこで、ドーム型スクリーン１０１を床面に対して５０度程度で設置し、ドーム型スクリーン１０１の下端直下にスピーカー９３６を設置することが望ましい。係る配置により、下方視野角７５度のより大部分を覆いつつ、スピーカー９３６とユーザの顔との間で、スピーカー９３６の振動方向に正対する直線がドーム型スクリーン１０１に遮られないようにすることが可能である。

　なお、スピーカー９３６は、複数のスピーカが並んだアレイスピーカを含むサウンドバースピーカーであってもよい。そして、アレイスピーカを用いて、複数のスピーカから出る音の波を視聴エリアに均一に到達させ、包まれる音の広がりと、広いリスニングスポットを実現するように音響が制御されてもよい。

　また、より低音域の音響を出力可能とするため、スピーカー９３６に加えて、低音域の音響を出力するサブウーファー９３５が設置されることが望ましい。サブウーファー９３５は、低音域の音響を出力するため指向性が低いものの、音圧は距離の二乗に反比例するため、例えば１メートル程度の近距離では、ユーザが音圧よって方向性を感じてしまう場合がある。そこで、ユーザまでの距離が確保されるように、サブウーファー９３５は、スピーカー９３６の真後ろに設置され、視聴位置への到達位相を合わせることが望ましい。また、サブウーファー９３５をドーム型スクリーン１０１の内部に設置すると、直接音が反射を起こす恐れがあるため、ドーム型スクリーン１０１の内部に直接音が届かない位置にサブウーファー９３５を設置することが望ましい。

　上述した検討を踏まえ、望ましい構成の一例を図１２Ａ、図１２Ｂに示す。図１２Ａ、図１２Ｂは椅子１０００に着座したユーザが、床面に対して５０度で設置されたドーム型スクリーン１０１に投影される映像を視聴する様子の例を示す模式図である。なお、図１２Ａ、図１２Ｂに示されない各種の値は、図１０Ａ、図１０Ｂに示した例と同様であってよい。また、図１２Ａでは、ユーザの頭が椅子１０００のシートバックに沿った位置にある状態を示し、図１２Ｂでは、ユーザが顎を引き、視線を水平に保った状態を示している。また、図１２Ａ、図１２Ｂにおいて、スピーカー９３６の振動方向に正対する直線がユーザの顔と交差するように、より望ましいスピーカー９３６の仰角がそれぞれ示されているが、スピーカー９３６は仰角３５度～４０度で設置されればよい。

　図１３には、図１２Ａ、図１２Ｂに示した構成例の斜視図を示している。図１２、図１３に示すように、サブウーファー９３５は、スピーカー９３６（サウンドバースピーカー）の真後ろに設置される。なお、図１２Ａ、図１２Ｂ、図１３に示す例において、サブウーファー９３５、スピーカー９３６は、広く使用されている市販品でもよい。

　一方、カスタマイズされた専用のシステムを用いることも可能である。図１４には、サブウーファー９３５を支持体１０２に埋め込んで設置した構成例を示している。また、図１５には、サブウーファー９３５を支持体１０２に埋め込み、スピーカー９３６を鉛直方向から見たドーム型スクリーン１０１の曲線に沿って同心円状にカーブするように支持体１０２に設置した構成例を示している。また、図１６には、サブウーファー９３５、及びスピーカー９３６を支持体１０２に埋め込んで設置した構成例を示している。なお、図１４～図１６に示したいずれの構成においても、スピーカー９３６は仰角３５度～４０度で設置されることが望ましい。

　上記のように、カスタマイズされた専用のシステムを用いることで、より囲まれた音響環境や、スピーカーが埋め込まれたことによるスピーカーの存在を感じないより没入可能な体験を実現することが可能となる。

　なお、図１２～図１６では、音響出力系として、サブウーファー９３５とスピーカー９３６を備える例を示したが、本実施形態は係る例に限定されない。例えば、さらなる音響出力系として、ヘッドレスト・スピーカーやリアスピーカーが備えられてもよい。

　図１７には、椅子１０００にヘッドレスト・スピーカー９３４、及びリアスピーカー９３７が備えられた構成例を示している。なお、図１７に示す構成例は、椅子１０００がヘッドレスト１０４０、ヘッドレスト・スピーカー９３４、及びリアスピーカー９３７を備えることを除いて、図１２Ａに示した構成例と同様である。ヘッドレスト・スピーカー９３４、及びリアスピーカー９３７が設けられることにより、ユーザの後ろから音響が出力され、より包み込まれるような音響環境が実現される。

　なお、図１７ではリアスピーカー９３７が備えられる例を示したが、リアスピーカー９３７を設ける代わりに、信号処理による音場補正を行うことで、望ましい位置（例えば図１７に示したリアスピーカー９３７の位置）に、仮想的に音源を再配置してもよい。図１８には、椅子１０００にヘッドレスト・スピーカー９３４が備えられた構成例の斜視図を示している。

　なお、変位情報に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、音像定位や反響を制御することで、ユーザの左右に設けられたヘッドレスト・スピーカー９３４を活用して、ユーザの頭の位置に合わせて信号処理された音響が出力されてもよい。

　また、所謂バイノーラル録音された音響の再生の原理を応用した信号処理により、サブウーファー９３５とスピーカー９３６（サウンドバースピーカ－）の双方とも、またはスピーカー９３６のみを、ユーザの左右に設けられたヘッドレスト・スピーカー９３４で代用することも可能である。

Ｂ．ユーザの身体の動作に応じたインタラクション
　図１～図７に示した構成例では、ドーム型スクリーン１０１に入ったユーザが椅子１０６に着座していることを想定しているが、ドーム型ディスプレイ１００の使用方法はこれに限定されるものではない。ユーザは椅子以外のオブジェクトを使用している状態でも、ドーム型スクリーン１０１内に入り、自由視点映像やＶＲ映像を視聴することができる。例えば、ソファやベッドといった日常生活で使う既存の家具などのオブジェクトや、フィットネスバイクやトレッドミルなどのフィットネス器具などをドーム型スクリーン１０１内に設置して、ユーザはこれらいずれかのオブジェクトを使用しながら、ドーム型スクリーン１０１に投影された映像を視聴することができる。

　ユーザがオブジェクトを使用している状態は、椅子に着座しさらにはシートバックにもたれかかっている状態や、フィットネスバイクに跨ってペダルを漕いでいる状態、トレッドミル上で走行又は歩行している状態、ソファやベッドの上で寝そべり若しくは横たわっている状態などである。いずれの状態も、ユーザは何も装着していない状態である。また、基本的にはユーザの身体は使用中のオブジェクトには拘束されない解放された状態であるが、オブジェクトの上に乗るなどユーザの身体はオブジェクトに触れている。このため、体幹や上半身などユーザの身体が動作すると、これに応じてオブジェクトの所定の部位も回転や並進など３次元的な位置情報が変位する。

　そこで、本明細書では、ユーザが使用しているオブジェクトの変位情報に基づいてユーザの体幹や上半身などの動作を直接的又は間接的に導き出し、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現する技術について、以下で提案する。

　ユーザがオブジェクトの上に乗るなど、ユーザがオブジェクトを使用しているとき、ユーザの身体動作に応じてオブジェクトの所定の部位が３次元的に変位する。したがって、オブジェクトの所定の部位の位置情報に基づいて、所定の部位の変位情報を取得し、ユーザの体幹や上半身などの動作を直接的又は間接的に導き出すことになる。

　そして、オブジェクトの所定の部位の変位情報に基づいて、ドーム型ディスプレイ１００におけるフィードバック出力を制御することによって、ユーザの身体の動作に応じたインタラクションが実現される。

　ドーム型ディスプレイ１００における出力は、ドーム型スクリーン１０１への映像表示を含む。例えば、変位情報に基づいて、映像の明るさや解像度、自由視点映像内における表示位置（画角）や遷移方向、運動視差などを制御することで、ユーザに映像のフィードバックを与えることができる。また、ドーム型ディスプレイ１００における出力は、音響出力を含む。例えば、変位情報に基づいて自由視点映像を視聴しているユーザの頭部位置を推定し、その頭部位置に向けて、音像定位や反響を制御することで、ユーザに音響のフィードバックを与えることができる。なお、ユーザの視線情報に応じて、いわゆる中心窩レンダリングをドーム型ディスプレイ１００のレンダリングに適用してもよい。

　さらに、ドーム型ディスプレイ１００における出力は、マルチモーダル・インタフェースを用いた温度や風、湿度、匂い、音響効果といったドーム内の環境変化や、ユーザに加える触覚や傾き、加速度感、重力方向感、振動、揺動、軽い電気刺激などを含む。ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報に基づいて、これらマルチモーダル・インタフェースの出力を制御することで、臨場感を演出するようなフィードバックをユーザに与えることができる。

　ここで言うオブジェクトの所定の部位は、例えばオブジェクトの表面に存在する特徴箇所である。

　オブジェクトの特徴箇所は、赤外線などの不可視光又は可視光を発光する発光素子からなり、オブジェクトの表面上のあらかじめ決められた場所又は任意の場所に取り付けられている。あるいは特徴箇所は、発光素子のような能動的なマーカではなく、既知の２次元図形パターンなどからなる静的なビジュアル・マーカであってもよい。したがって、このような特徴箇所を、広角レンズなどを取り付けた１台又は２台以上のカメラで追跡（モーション・キャプチャ）することで、特徴箇所の変位情報を取得することができる。あるいは、オブジェクトの特徴箇所は、オブジェクトの表面に取り付けたマーカである必要はなく、画像認識処理やエッジ処理などを利用してオブジェクトの撮像画像から抽出することができる特徴点であってもよい。

　そして、オブジェクトの所定の部位の位置情報に基づいて、体幹や上半身などなどユーザの身体動作に対応する３次元的な変位情報を取得することができる。例えば、オブジェクトの表面に存在する２つ以上の特徴箇所の変位を計測して、体幹や上半身などなどユーザの身体動作に応じた３次元的な変位情報を導き出すことができる。

　具体的には、オブジェクトの表面上の少なくとも２つの特徴箇所の位置を計測すれば、これら少なくとも２つの特徴箇所により形成される直線の、ユーザの身体動作に応じた回転変位に対応する第１の変位情報を取得することができる。また、オブジェクトの表面上の少なくとも３つの特徴箇所の位置を計測すれば、これら少なくとも３つの特徴箇所により形成される面の３次元的な回転変位に対応する第１の変位情報を取得することができる。

　オブジェクトの回転変位に対応した第１の変位情報は、オブジェクトを使用しているユーザの体幹の３次元的な変位を直接的又は間接的に表すものである。そして、第１の変位情報として取得されたオブジェクトの回転方向や回転方向における変位量（あるいは、回転角速度や回転角加速度）などに基づいて、ドーム型ディスプレイ１００の映像表示や、マルチモーダル・インタフェースの出力などをフィードバック制御することによって、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現することができる。

　また、オブジェクトの表面上の少なくとも３つの特徴箇所の位置を計測すれば、これら少なくとも３つの特徴箇所により形成される面の３次元的な並進変位に対応する第２の変位情報を取得することができる。さらに、これら少なくとも３つの特徴箇所により形成される面の３次元的な往復並進変位に対応する第３の変位情報も取得することができる。

　オブジェクトの並進変位に対応した第２の変位情報や、オブジェクトの往復並進変位に対応した第３の変位情報は、オブジェクトを使用しているユーザの身体動作を直接的又は間接的に表すものである。そして、第２の変位情報又は第３の変位情報として取得されたオブジェクトの並進変位又は往復並進変位（若しくは、これらの並進変位方向、並進変位量、並進速度、並進加速度）などに基づいて、ドーム型ディスプレイ１００の映像表示やマルチモーダル・インタフェースの出力などをフィードバック制御することによって、専用のセンサを何も装着していない状態のユーザの身体の動作に応じたインタラクションを実現することができる。

　ユーザが使用しているオブジェクトとして、例えば、椅子やソファ、ベッドなどの日常生活で使う既存の家具、フィットネスバイクやトレッドミルといったフィットネス器具などを挙げることができる。オブジェクトの多くは、床（具体的には、ドーム型スクリーン１０１の直下）に載置され、その上にユーザが乗るという形態で使用される。このような使用形態では、ユーザが身体動作を行なってもオブジェクトは床に対して相対移動を実質的に行わない（若しくは、ユーザは、オブジェクトを床に対して相対移動させるような身体動作を行わない）という拘束条件を課すことができる。そして、このような拘束条件下で、オブジェクトの回転変位に対応する第１の変位情報、オブジェクトの並進変位に対応する第２の変位情報、あるいはオブジェクトの往復並進変位に対応する第３の変位情報に基づいて、ドーム型ディスプレイ１００の映像表示やマルチモーダル・インタフェースの出力などのフィードバック制御を行うようにしてもよい。

　本明細書で開示する、ユーザの身体の動作に応じたインタラクション技術は、ユーザは専用のセンサを何も装着する必要がなく、且つ、コントローラやコンソールといった入力デバイスを操作しなくてもよい、という点に特徴がある。

　また、椅子やソファ、ベッドなどの日常生活で使う既存の家具、フィットネスバイクやトレッドミルといったフィットネス器具など、ユーザが使用する各種のオブジェクトは広く使用されている市販品でよい。これら市販品からなるオブジェクトの表面に不可視光又は可視光を発光する素子やビジュアル・マーカなどからなるマーカを取り付けることで複数の特徴箇所を設置し、又は、画像認識処理により抽出することが可能な特徴点を特徴箇所として利用することで、ユーザの体幹などの身体動作に応じたオブジェクトの回転変位や並進変位に関する変位情報を取得することができる。すなわち、本明細書で開示する技術によれば、市販され又は広く普及しているさまざまな商品を取り込んで、ユーザの身体動作に応じて変位するオブジェクトとして活用して、ユーザの身体の動作に応じたインタラクションを実現することができ、専用のコントローラを一切必要としないのである。

　ドーム型ディスプレイ１００自体は、囲まれた映像と音響環境を組み合わせて、その場にいる感覚やその場に参加している感覚を再現することができ（前述）、ユーザはわざわざ現場に出向かなくてもさまざまな場所を訪れる体験を実現することができる。さらに、本明細書で提案するインタラクション技術を活用することで、その場で自分が参加している感覚をもドーム型ディスプレイ１００で再現することが可能になる。

　付言すれば、本明細書で提案するインタラクション技術は、椅子やベッドなどの日常生活で使用する家具を通じて体幹の変位などユーザの身体動作を検出して、入力に代替することができるので、身体の動きが不自由な障がい者に対して、コントローラやコンソールに置き換わる代替入力機能として展開することも可能である。また、本明細書で提案するインタラクション技術は、一般家庭だけではなく、病院やリハビリなどの施設で利用することができる。例えば、車椅子を利用しているユーザであれば、車椅子の３次元変位を検出し、ドアの開閉操作、リクライニングベッドの昇降操作、照明のオンオフ操作、ナースコール、カーテンの開閉などの種々の外部機器の制御に利用することができる。このケースにおいて、制御される外部機器は、車椅子の３次元変位を検出するカメラとネットワークを介して接続されていればよい。さらに、本明細書で提案するインタラクション技術は、飛行機や電車、バス、自動運転対応の乗用車など、スペースが限られた移動体でも利用することができる。

　以下では、ユーザが使用する各オブジェクトについて、ユーザの身体動作に応じたオブジェクトの所定の部位の変位情報を取得する方法や、さらには所得した変位情報に基づくフィードバック出力の制御方法に関する実施例について、詳細に説明する。

　図１９には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、ユーザが着座している椅子１０００を例示している。図示の椅子１０００は、シートバック及びアームレスト付きであるとする。椅子１０００はドーム型スクリーン１０１の下に設置されており、ユーザは椅子１０００に着座してドーム型スクリーン１０１に投影される映像を視聴することができる。

　椅子１０００のシートバック１０１０の四隅には、それぞれマーカ１０１１～１０１４が取り付けられている。各マーカ１０１１～１０１４は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。あるいは、マーカ１０１１～１０１４を椅子１０００に取り付けるのではなく、画像認識処理により抽出することが可能な複数の特徴点をマーカの代わりに使用するようにしてもよい。また、椅子１０００の左右の斜め後方にはカメラ１０２１及び１０２２がそれぞれ設置されている。変位情報取得部としての変位センサ９４１は、各カメラ１０２１及び１０２２の撮像画像中から各マーカ１０１１～１０１４の像を検出すると、３角測量の原理などに基づいて、各マーカ１０１１～１０１４の３次元的な位置情報を算出することができる。

　ユーザが椅子１０００に着座したまま、シートバック１０１０にもたれるなど、主に体幹の動作や上半身の傾き動作に応じて各マーカ１０１１～１０１４の３次元的な位置情報が変化する。変位情報取得部としての変位センサ９４１は、各カメラ１０２１及び１０２２の撮像画像を入力して、各マーカ１０１１～１０１４の位置情報を追跡し続けることで、ユーザの身体動作に応じた各マーカ１０１１～１０１４の３次元的な変位情報を取得することができる。

　なお、図１９には示していないが、椅子１０００の着座部位やアームレスト１０３０にもマーカを取り付けてもよい。この場合、ユーザがアームレスト１０３０に肘をつくなどのユーザの身体動作に応じたアームレスト１０３０上のマーカが取り付けられた部位の３次元的な変位情報を取得することができる。

　例えば、変位情報取得部としての変位センサ９４１は、椅子１０００のシートバック１０１０に取り付けられたいずれか２つのマーカにより形成される直線の、ユーザの身体動作に応じた３次元的な回転変位に対応する第１の変位情報を取得することができる。

　また、変位センサ９４１は、椅子１０００のシートバック１０１０に取り付けられた３以上のマーカにより形成される面の、ユーザの身体動作に応じた３次元的な回転変位に対応する第１の変位情報を取得することができる。

　変位センサ９４１は、３次元的な回転変位に対応する第１の変位情報として、例えば、回転方向や、回転方向への回転変位量、単位時間当たりの回転変位量（若しくは、回転角速度）、回転角加速度といった情報を取得する。例えば、シートバック１０１０の倒れ角度に関する回転変位量、回転角速度、回転角加速度を取得することができる。例えば、椅子１０００のシートバック１０１０や座面の左右回転角度（但し、椅子１０００が座面の回転機能を備えている場合）や、前後又は左右方向の倒れ角度に関する変位情報を取得して、出力制御部としての制御部９１０に入力することができる。

　また、変位センサ９４１は、椅子１０００のシートバック１０１０に取り付けられたマーカ１０１１～１０１４のうち少なくともいずれか１つの、ユーザの身体動作に応じた並進変位に対応する第２の変位情報や、ユーザの身体動作に応じた往復並進変位に対応する第３の変位情報を取得することができる。

　変位センサ９４１は、並進変位又は往復並進変位に対応する第２の変位情報、第３の変位情報として、例えば、並進する方向や、並進方向への変位量、単位時間当たりの並進変位量（若しくは、並進速度）、並進加速度といった情報を取得する。例えば、椅子１０００の上下、前後、左右の各方向への移動に関する変位情報を取得して、出力制御部としての制御部９１０に入力することができる。

　変位センサ９４１による椅子１０００に取り付けられたマーカ１０１１～１０１４の検出方法と、制御部９１０に入力される変位情報との対応関係を、以下の表１に例示する。

　例えば、変位センサ９４１は、マーカ１０１１～１０１４のうち少なくともいずれか１つの３次元的な位置の変位情報を検出することにより、椅子１０００の単位時間当たりの上下移動量を検出した結果を、椅子１０００の上下移動量として、制御部９１０に入力する。椅子１０００の上下移動量は、ユーザが椅子１０００に着座した際の高さ方向の動作に対応する。なお、シートバック１０１０に取り付けられたマーカ１０１１～１０１４ではなく、着座部位やアームレスト１０３０に取り付けられたマーカ（いずれも図示しない）に基づいて椅子１０００の上下方向の移動量を検出することもできる。

　また、変位センサ９４１は、マーカ１０１１～１０１４のうち少なくともいずれか１つの３次元的な位置の変位情報を検出することにより、椅子１０００の単位時間当たりの左右回転角度を検出した結果を、椅子１０００の左右回転角度（但し、椅子１０００が座面の回転機能を備えている場合）として、制御部９１０に入力する。

　また、変位センサ９４１は、マーカ１０１１～１０１４のうち少なくともいずれか３つにより形成される面の３次元的な回転変位に対応する変位情報を検出することにより、椅子１０００の単位時間当たりの前後方向の倒れ角度を検出した結果を、椅子１０００の前後方向の倒れ角度として、制御部９１０に入力する。椅子１０００の前後方向の倒れ角度は、ユーザが椅子１０００に着座した際のシートバック１０１０に寄りかかり又は起き上がる動作に対応する。なお、椅子１０００のシートバック１０１０のばね性を利用することができる場合には、変位センサ９４１は、シートバック１０１０に寄りかかっていたユーザが体を起こした際（図２３を参照のこと）の戻りの所定の閾値を超える倒れ角角速度を検出し、これを制御部９１０に入力することもできる。

　また、変位センサ９４１は、マーカ１０１１～１０１４のうち少なくともいずれか３つにより形成される面の３次元的な回転変位に対応する変位情報を検出することにより、椅子１０００の単位時間当たりの左右方向の倒れ角度を検出した結果を、椅子１０００の左右方向の倒れ角度として、制御部９１０に入力する。椅子１０００の左右方向の倒れ角度は、ユーザが椅子１０００に着座した際のアームレストに寄りかかり又は起き上がる動作に対応する。

　また、変位センサ９４１は、マーカ１０１１～１０１４のうち少なくともいずれか１つの３次元的な位置の変位情報を検出することにより、椅子１０００の単位時間当たりの前後並びに左右方向の移動量を検出した結果を、椅子１０００の前後並びに左右方向の移動量として、制御部９１０に入力する。椅子１０００の前後並びに左右方向の移動は、ユーザがキャスター付きの椅子１０００に着座して、足で前後左右に位置を合わせる動作に対応する。なお、シートバック１０１０に取り付けられたマーカ１０１１～１０１４ではなく、着座部位やアームレスト１０３０に取り付けられたマーカ（いずれも図示しない）に基づいて椅子１０００の前後並びに左右方向の移動量を検出することもできる。また、ユーザが椅子１０００を揺らした際の揺動や振動も、椅子１０００の前後並びに左右方向の移動量として検出することもできる。

　そして、出力制御部としての制御部９１０は、変位センサ９４１から入力される椅子１０００の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、椅子１０００に着座しているユーザの身体動作に応じたインタラクションを実現する。

　ユーザの身体動作に対応した椅子１０００の変位情報と、制御部９１０が実行する出力制御との対応関係を以下の表２に例示する。但し、表２では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン１０１のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ９４２などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。

　例えば、ユーザが着座している椅子１０００の変位情報として上下移動量が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下変化を付けるといった映像処理を実行する。また、制御部９１０は、単位時間当たりの上下移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたサラウンド・サウンド・フィールド（以下、「ＳＳＦ」とする）の上下変化を制御するといった音響処理を実行する。なお、制御部９１０は、椅子１０００の上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、移動量が第１の値に達したときに第１の出力を行い、移動量が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが着座している椅子１０００の変位情報として左右回転角度が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの回転角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右変化を付けるといった映像処理を実行する（図２０を参照のこと）。また、左右回転に連動して、ＵＩメニューのカーソルを左右に移動させるといった映像処理を実行してもよい（図３７を参照のこと）。また、制御部９１０は、単位時間当たりの左右回転角度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの左右変化を制御するといった音響処理を実行する。なお、制御部９１０は、椅子１０００の左右回転角度に応じて映像処理や音響処理を連続的に変化させるのではなく、回転角度が第１の値に達したときに第１の出力を行い、回転角度が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが着座している椅子１０００の変位情報として前後方向の角度が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの前後の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の前後倒れ角変化を付けるといった映像処理を実行する（図２１を参照のこと）。また、前後の倒れ角に連動して、ＵＩメニューのカーソルを移動させるといった映像処理を実行してもよい（図３７を参照のこと）。あるいは、制御部９１０は、第１の倒れ角度が入力されたときには第１の出力を行い、第１の倒れ角度よりも大きい第２の倒れ角度が入力されたときには第１の出力とは異なる第２の出力を行うように制御してもよい。また、制御部９１０は、単位時間当たりの前後の倒れ角に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの前後倒れ角変化を制御するといった音響処理を実行する。なお、制御部９１０は、椅子１０００の前後方向の角度に応じて映像処理や音響処理を連続的に変化させるのではなく、前後方向の角度が第１の値に達したときに第１の出力を行い、前後方向の角度が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが着座している椅子１０００の変位情報として、シートバック１０１０に寄りかかっていたユーザがシートバック１０１０のばね性を利用して体を起こした際に、その戻りの倒れ角角加速度が所定の閾値を超えたことを発火条件として、出力制御部としての制御部９１０は、ＵＩメニューのカーソル選択や、別の視点位置の自由視点映像（又はＶＲ映像）へ瞬間移動させる（コンテンツの切り替え）といった映像処理（図３７を参照のこと）を実行してもよい。また、制御部９１０は、自由視点映像の視点位置の瞬間移動（コンテンツの切り替え）を引き起こした前後の倒れ角の角加速度に合わせたＳＳＦの効果音を発生させるといった音響処理を実行する。

　また、ユーザが着座している椅子１０００の変位情報として左右方向の角度が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右倒れ角変化を付けるとともに、視点位置を左右に変化させる（例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を左右に変化させる）といった映像処理を実行する（図２２を参照のこと）。また、制御部９１０は、左右の倒れ角度と同じ角度及び比例した角度で、映像の明るさを制御するようにしてもよい。また、制御部９１０は、単位時間当たりの左右の倒れ角に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの左右倒れ角変化を制御するといった音響処理を実行する。なお、制御部９１０は、椅子１０００の左右方向の角度に応じて映像処理や音響処理を連続的に変化させるのではなく、左右方向の角度が第１の値に達したときに第１の出力を行い、左右方向の角度が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが着座している椅子１０００の変位情報として前後並びに左右方向の移動量が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの前後並びに左右の移動量と同じ移動量及び比例した移動量で、視聴中の自由視点映像に運動視差の前後並びに左右の変化を付けるといった映像処理を実行する。また、制御部９１０は、単位時間当たりの前後並びに左右の移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの前後左右変化を制御するといった音響処理を実行する。また、ユーザが椅子１０００を揺らした際の揺動や振動に起因する椅子１０００の前後並びに左右方向の移動に関する変位情報が入力されたときには、制御部９１０は、ユーザが椅子１０００を揺らす動作に対応した出力制御を行うようにしてもよい。

　続いて、ユーザが使用しているフィットネス器具から変位情報を取得して、ユーザの身体の動作に応じたインタラクションを実現する実施例について説明する。

　図２４には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、トレッドミル１５００を例示している。図示のトレッドミル１５００は、踏み台１５１０と操作パネル１５２０を備えている。踏み台１５１０の上面では、無端ベルト１５１１が周回移動しており、ユーザはこの無端ベルト１５１１上を走行又は歩行することができる。操作パネル１５２０は、無端ベルト１５１１上に乗った状態のユーザが向き合う位置に配設される。ユーザは、操作パネル１５２０を介して踏み台１５１０の傾斜や無端ベルト１５１１の走行速度の調整を行うことができる。また、操作パネル１５２０上には、走行距離や平均速度、心拍数、消費カロリーなどの運動情報が表示される。また、操作パネル１５２０の左右両端からは、ユーザが把持することができる手摺りフレーム１５２１、１５２２が、無端ベルト１５１１の移動方向に向かって伸びている。

　トレッドミル１５００は、ドーム型スクリーン１０１の下に設置されており、ユーザは、無端ベルト１５１１上で走行又は歩行しながらドーム型スクリーン１０１に投影される映像を視聴することができる。ユーザは、左右いずれか一方に重心をずらしながら無端ベルト１５１１上を走行又は歩行することもある。また、ユーザは、無端ベルト１５１１上を走行又は歩行中に、左右いずれか一方又は両方の手摺りフレーム１５２１、１５２２を把持して身体を支えることもある。

　トレッドミル１５００の無端ベルト１５１１上には、周回移動する方向に、複数のマーカ１５３１、１５３２、…が取り付けられている。マーカ１５３１、１５３２、…の間隔は任意でよいが、無端ベルト１５１１のいずれの周回位置でも少なくとも１つのマーカ１５３１が踏み台１５１０の上面に露出していることが好ましい。また、操作パネル１５２０の左右両端に１つずつマーカ１５４１、１５４２が取り付けられている。勿論、操作パネル１５２０上に３以上のマーカを取り付けていてもよい。

　各マーカ１５３１、１５３２、…、並びに１５４１、１５４２は、例えば、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカである。また、トレッドミル１５００の左右の斜め後方にはカメラ１５５１及び１５５２がそれぞれ設置されている。変位情報取得部としての変位センサ９４１は、各カメラ１５５１及び１５５２の撮像画像中から各マーカ１５３１、１５３２、…、並びに１５４１、１５４２の像を検出すると、３角測量の原理などに基づいて、各マーカ１５３１、１５３２、…、並びに１５４１、１５４２の３次元的な位置情報を算出することができる。

　無端ベルト１５１１が周回移動すると、無端ベルト１５１１上に取り付けられた各マーカ１５３１、１５３２、…も直線的に移動する。したがって、変位情報取得部としての変位センサ９４１は、無端ベルト１５１１上の各マーカ１５３１、１５３２、…の単位時間当たりの移動量に基づいて、ユーザが無端ベルト１５１１上で走行又は歩行する速度を取得することができる。言い換えれば、市販されているトレッドミル１５００をドーム型スクリーン１０１の下に設置するとともに無端ベルト１５１１上にマーカ１５３１、１５３２、…を取り付けるだけで、システム９００は、トレッドミル１５００とは電気的に接続することなく、ユーザの走行又は歩行速度に関する情報を取得することができる。なお、トレッドミル１５００は、床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質がある。トレッドミル１５００の左右方向をＸ、上下方向をＹ、前後方向（無端ベルト１５１１の進行方向）をＺと定義したとき、Ｘ方向は固定するという拘束条件下で、各マーカ１５３１、１５３２、…の並進の変位情報を取得することができる。また、Ｙ方向は、その変位によって例えばユーザの歩調を検出することができるので固定せず、Ｚ方向は、その方向に無端ベルト１５１１が動くので固定しない。

　また、ユーザが、左右いずれか一方に重心をずらしながら無端ベルト１５１１上を走行又は歩行しているときや、左右いずれか一方又は両方の手摺りフレーム１５２１、１５２２を把持して身体を支えているときには、トレッドミル１５００は左右いずれか一方に傾斜する。このような左右の傾斜は、ユーザが映像における進行方向を左右に変化させたい意図を表す場合もある。変位情報取得部としての変位センサ９４１は、操作パネル１５２０の左右両端にそれぞれ取り付けられているマーカ１５４１、１５４２の３次元的な位置情報に基づいて、操作パネル１５２０若しくはトレッドミル１５００本体の左右の倒れ角度を検出すると、左右の進行方向の変化を意図する情報として、出力制御部としての制御部９１０に入力することができる。あるいは、映像の進行方向が所定の方向に固定されているときに左右の倒れ角度を検出した場合、ユーザがトレーニングを終了することを意図していると見做してもよい。あるいは、左右の倒れ角度を検出に基づいてランニングフォームが乱れていると推定することで、ユーザにフォームを矯正するためのフィードバックを行ってもよい。なお、トレッドミル１５００が床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質を考慮すると、Ｙ軸回りの回転は固定するという拘束条件下で、各マーカ１５４１、１５４２の回転に関する変位情報を取得することができる。また、Ｘ軸回りの回転変位によって例えばユーザの前後位置を検出可能なので固定せず、Ｚ軸回りの回転変位によって例えばユーザの左右の足を検出することができるので、固定しない。

　図２５には、ユーザの身体動作に応じた変位情報を取得するオブジェクトとして、フィットネスバイク１６００を例示している。図示のフィットネスバイク１６００は、サドル１６１０と、ハンドル１６２０と、前輪１６３０を備えている。フィットネスバイク１６００は、ドーム型スクリーン１０１の下に設置されており、ユーザはフィットネスバイク１６００で走行しながらドーム型スクリーン１０１に投影される映像を視聴することができる。

　ユーザは、サドル１６１０に跨ると、前傾姿勢となり、ハンドル１６２０を両手で把持する。また、ユーザは、サドル１６１０に跨ってペダル（図示しない）を漕ぐが、このペダルの回転動作に連動して前輪１６３０も回転する（図２６を参照のこと）。また、ユーザは、フィットネスバイク１６００の走行速度を上げるために立ち漕ぎ動作を行うことや（図２７を参照のこと）、カーブを曲がるコーナリングの姿勢をとるために左又は右に倒れ込む動作を行う（図２８を参照のこと）、など、ユーザがさまざまな姿勢をとることが想定される。

　フィットネバイク１６００の前輪１６３０の側面には、回転方向に、１以上のマーカ１６４１、…が取り付けられている。あるいは、図示しないが、前輪１６３０ではなく、左右いずれか少なくとも一方のペダルにマーカを取り付けてもよい。また、サドル１６１０の後端縁の左右に一対のマーカ１６５１、１６５２が取り付けられている。あるいは、図示しないが、サドル１６１０ではなくハンドル１６２０の左右端に一対のマーカを取り付けてもよい。

　各マーカ１６４１、…、並びに１６５１、１６５２は、例えば、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカである。また、フィットネスバイク１６００の左右の斜め後方にはカメラ１６６１、１６６２がそれぞれ設置されている。変位情報取得部としての変位センサ９４１は、各カメラ１６６１及び１６６２の撮像画像中から各マーカ１６４１、…、並びに１６５１、１６５２の像を検出すると、３角測量の原理などに基づいて、各マーカ１６４１、…、並びに１６５１、１６５２の３次元的な位置情報を算出することができる。

　変位センサ９４１によるフィットネスバイク１６００に取り付けられたマーカ１６４１、…、並びに１６５１、１６５２の検出方法と、制御部９１０に入力されるフィットネスバイク１６００の変位情報との対応関係を、以下の表３に例示する。

　ユーザがペダルを漕いで前輪１６３０が図２６に示すように回転すると、前輪１６３０の側面に取り付けられたマーカ１６４１、…も回転方向に沿って移動する。したがって、変位センサ９４１は、前輪１６３０の側面に取り付けられたマーカ１６４１、…の３次元的な位置情報を検出することにより、単位時間当たりの前輪１６３０の回転数を検出した結果を、前輪１６３０の回転速度として、制御部９１０に入力する。前輪１６３０の回転速度から、フィットネスバイク１６００の走行速度に換算することができる。前輪１６３０ではなくペダルに取り付けたマーカの３次元的な位置情報に基づいても、同様にフィットネスバイク１６００の走行速度を取得することができる。なお、フィットネスバイク１６００は、床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質がある。フィットネスバイク１６００の左右方向をＸ、上下方向をＹ、前後方向をＺと定義したとき、Ｘ方向は固定するという拘束条件下で、各マーカ１６４１、…、並びに１６５１、１６５２の変位情報を取得することができる。また、Ｙ方向は、その変位によって例えばサドル１６１０に座るユーザの重量を検出することができるので固定しない。また、ユーザがペダルを漕ぐ姿勢に応じてＺ方向に体重移動し、これに伴ってフィットネスバイク１６００本体の前後方向の倒れ角度も変化するので、Ｚ方向には固定しない。

　また、ユーザがフィットネスバイク１６００の走行速度を上げるために立ち漕ぎ動作を行ったり立ち漕ぎをやめたりして、ユーザの身体が図２７に示すように上下に移動すると、サドル１６１０に課される重量が変動することにより上下に移動する。したがって、変位センサ９４１は、サドル１６１０の後端縁に取り付けられたマーカ１６５１、１６５２のうち少なくとも１つの３次元的な位置情報を検出することにより、サドル１６１０の単位時間当たりの上下移動量を検出した結果を、ユーザの立ち漕ぎ動作に伴うフィットネスバイク１６００の上下移動量として、制御部９１０に入力する。

　また、ユーザが、図２８に示すようにカーブを曲がるコーナリングの姿勢をとるために左又は右に倒れ込んで漕ぐと、サドル１６１０も左又は左右に傾斜する。したがって、変位センサ９４１は、サドル１６１０の後端縁に取り付けられたマーカ１６５１、１６５２のうち少なくとも１つの３次元的な位置情報を検出することにより、サドル１６１０の単位時間当たりの左右の倒れ角度を検出した結果を、ユーザのコーナリングに伴う倒れ角度として、制御部９１０に入力する。なお、フィットネスバイク１６００が床面に載置され、ユーザの身体動作があっても床に対する相対移動を実質的に行わないという性質を考慮しても、ＸＹＺの各軸回りを固定せずに変位情報を取得するべきである。例えば、フィットネスバイク１６００本体のＸ軸回りの回転変位によって、ユーザがサドル１６１０に座る前後位置を検出することができる。また、フィットネスバイク１６００本体のＹ軸回り回転変位によって、ユーザの身体の回転（ひねり）を検出することができる。また、フィットネスバイク１６００本体のＺ軸回りの回転変位によって、ユーザの進行方向を左右に変化させようとする際の左右の体重移動を検出することができる。

　なお、説明を省略したが、ユーザがトレッドミル１５００を走行している場合においても、無端ベルト１５１１上に取り付けたセンサ１５３１、１５３２…、並びに操作パネル１５２０上に取り付けたセンサ１５４１、１５４２の検出結果に基づいて、表３と同様の変位情報を取得して、出力制御部としての制御部９１０への入力を行うことができる。

　そして、出力制御部としての制御部９１０は、変位センサ９４１から入力される変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、フィットネスバイク１６００を使用しているユーザの身体の動作に応じたインタラクションを実現する。

　ユーザの身体動作に対応したフィットネスバイク１６００の変位情報と、制御部９１０が実行する出力制御との対応関係を以下の表４に例示する。但し、表４では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン１０１のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ９４２などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。

　例えば、ユーザが使用しているフィットネスバイク１６００の変位情報として前輪１６３０の回転速度が入力されたときには、出力制御部としての制御部９１０は、前輪１６３０の回転速度から換算されるフィットネスバイク１６００の走行速度と同じ速度及び比例した速度で、視聴中の自由視点映像に運動視差の前後の変化を付けるといった映像処理を実行する。また、制御部９１０は、換算されるフィットネスバイク１６００の走行速度と同じ速度及び比例した速度で、視聴中の自由視点映像の視点位置を前後又は左右に変化させる（例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を前後又は左右に変化させる）といった映像処理を実行する（図２２を参照のこと）。また、制御部９１０は、前輪１６３０の回転速度から換算されるフィットネスバイク１６００の走行速度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの前後左右変化を制御するといった音響処理を実行する。なお、制御部９１０は、前輪１６３０の回転速度に応じて映像処理や音響処理を連続的に変化させるのではなく、前輪１６３０の回転速度が第１の値に達したときに第１の出力を行い、前輪１６３０の回転速度が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが使用しているフィットネスバイク１６００の変位情報として上下移動量が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下の変化を付けるといった映像処理を実行する。また、制御部９１０は、単位時間当たりの上下移動量に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの上下変化を制御するといった音響処理を実行する。なお、制御部９１０は、フィットネスバイク１６００の上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、上下移動量が第１の値に達したときに第１の出力を行い、上下移動量が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　また、ユーザが使用しているフィットネスバイク１６００の変位情報として左右の倒れ角度が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像に運動視差の左右倒れ角度の変化を付けるといった映像処理を実行する。また、制御部９１０は、単位時間当たりの左右の倒れ角度と同じ角度及び比例した角度で、視聴中の自由視点映像の視点位置の進行方向を左右に変化させる（例えば、自由視点映像を撮像しているカメラを搭載した移動体装置の進行方向を左右に変化させる）といった映像処理を実行する（図２２を参照のこと）。また、制御部９１０は、単位時間当たりの左右の倒れ角度に基づいてユーザの頭部位置を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの左右の倒れ角度変化を制御するといった音響処理を実行する。なお、制御部９１０は、フィットネスバイク１６００の左右の倒れ角度に応じて映像処理や音響処理を連続的に変化させるのではなく、倒れ角度が第１の値に達したときに第１の出力を行い、倒れ角度が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　なお、説明を省略したが、ユーザがトレッドミル１５００を走行している場合においても、出力制御部としての制御部９１０は、トレッドミル１５００上でのユーザの走行又は歩行速度や、トレッドミル１５００の上下移動量、左右の倒れ角度などの変位情報に基づいて、ユーザに対して表４と同様のフィードバック出力を行うことができる。

　上記では、基本的には図１～図７に示したドーム型ディスプレイ１００で自由視点映像を表示することを前提として、椅子などの家具やフィットネス器具をドーム型スクリーン１０１の下に設置した実施例について説明してきた。しかしながら、部屋の天井や壁面、あるいは乗用車の車室内の壁面などさまざまなデバイスを用いて自由視点映像やＶＲ映像を表示することが可能である。また、表示デバイスの種類に応じて、さまざまなオブジェクトを使用しているユーザの身体動作に応じた変位情報に基づくインタラクションを実現することができる。

　図２９には、ユーザが、椅子１０００に着座しながら、部屋の天井や壁面２０００に表示されている映像を視聴している様子を示している。実施例１で説明したのと同様の方法で、椅子１０００に取り付けられたマーカの３次元的な位置情報を検出してユーザの身体動作に応じた椅子１０００の変位情報を取得することができる。また、取得した変位情報に応じて、実施例１と同様の映像処理や音響処理を行うようにしてもよい。

　図３０及び図３１には、ユーザが幌２１０１付きの椅子２１００に着座している様子を示している。幌２１０１は開閉操作が可能であり、図３１に示すように閉じた幌２１０１の内壁面をスクリーンとして用いて、自由視点映像やＶＲ映像を投影することができる。したがって、ユーザは、椅子２１００に着座するとともに幌２１０１を閉じて、幌２１０１の内壁面に表示された映像を視聴することができる。

　また、椅子２１００のアームレスト２１０２には複数のマーカ２１１１、２１１２…が取り付けられている。各マーカ２１１１、２１１２…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。アームレスト２１０２に対向して、カメラ２１２０が設置されている。変位情報取得部としての変位センサ９４１は、カメラ２１２０の撮像画像中から各マーカ２１１１、２１１２…の像を検出すると、各マーカ２１１１、２１１２…の３次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じた椅子２１００の変位情報を取得することができる。

　また、図示を省略するが、椅子２１００のシートバックにもマーカを取り付けるとともに、そのマーカを撮像するカメラを設置して、椅子２１００の前後方向の倒れ角度や、倒れ角速度、倒れ角加速度といったユーザの身体動作に応じた変位情報を取得することができる。

　そして、出力制御部としての制御部９１０は、変位センサ９４１から入力される椅子２１００の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、椅子２１００に着座しているユーザの身体動作に応じたインタラクションを実現する。

　図３２には、ユーザが乗用車の車室２３００内の座席２３０１に着座している様子を示している。乗用車は、例えば自動運転対応の車両であり、車室２３００の壁面をスクリーンとして用いて自由視点映像やＶＲ映像を投影することができ、あるいは車室２３００に映像を表示するディスプレイ（図示しない）が持ち込まれているものとする。ユーザは、座席２３０１に着座して、表示された映像を視聴することができる。

　また、座席２３０１には、複数のマーカ２３１１…が取り付けられている。各マーカ２３１１…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。車室２３００の天井には、カメラ２３２０が設置されている。変位情報取得部としての変位センサ９４１は、カメラ２１２０の撮像画像中から各マーカ２３１１…の像を検出すると、各マーカ２３１１…の３次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じた座席２３０１の変位情報を取得することができる。

　そして、出力制御部としての制御部９１０は、変位センサ９４１から入力される座席２３００の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、座席２３００に着座しているユーザの身体動作に応じたインタラクションを実現する。制御部９１０は、取得した変位情報に応じて、実施例１と同様の映像処理や音響処理を行うようにしてもよい。なお、複数のユーザが乗用車の車室２３００内に存在する場合、出力制御部としての制御部９１０は、全てのユーザの影にならないように、またはユーザの顔に照射しないように映像処理の出力を制御してもよい。

　図３３並びに図３４には、ユーザがベッド２４００又は２５００に横たわっている様子をそれぞれ示している。ユーザは、ベッドに横たわったり仰向けになったりし映像を視聴することも多い。図３３に示す例では、横たわっているユーザが、図示しないディスプレイの映像を視聴しているものとする。また、図３４に示す例では、ベッド２５００のリクライニング２５０１を起こして、ベッド２５００の正面に設置されたディスプレイ２５１０の映像を視聴している。

　また、ユーザは、ベッドの上でも、さまざまな身体動作を行う。例えば、ユーザは、寝返りを打つ、寝そべったまま伸びをする、枕の位置や高さを調整する、といった身体動作を行う。ユーザが肘枕や腕枕をしているときには、同様に、枕の位置や高さを調整する動作を行う。また、図３４に示すようにリクライニング２５０１付きのベッド２５００を使用している際には、リクライニング２５０１の高さ調整操作のための動作を行う。

　上記のようなユーザのベッド上での身体動作に応じて、ベッドの表面は上下に移動し、又は、前後左右に移動する。例えば、ベッドの表面に複数のマーカを取り付け、各マーカの３次元的な位置情報に基づいて、ユーザの身体動作に応じたベッドの変位情報を取得することができる。

　図３３に示す例では、ベッド２４００の表面上には複数のマーカ２４０１、２４０２、…が取り付けられるとともに、ベッド２４００の上方に設置した２台のカメラ２４１１、２４１２でベッド２４００の表面を撮像している。また、図３４に示す例では、ベッド２５００のリクライニング２５０１に複数のマーカ２５２１、２５２２、…が取り付けられているとともに、ベッド２５００の上方に設置した２台のカメラ２５３１、２５３２で、リクライニング２５０１を含むベッド２５００の表面を撮像している。

　マーカ２４０１、２４０２、…、並びにマーカ２５２１、２５２２、…は、赤外線などの不可視光又は可視光を発光する素子や、既知の図形パターンからなるビジュアル・マーカであってもよい。変位情報取得部としての変位センサ９４１は、カメラ２４１１、２４１２の撮像画像中から各マーカ２４０１、２４０２、…の像を検出すると、各マーカ２４０１、２４０２、…の３次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じたベッド２４００の変位情報を取得することができる。同様に、変位センサ９４１は、カメラ２５３１、２５３２の撮像画像中から各マーカ２５２１、２５２２、…の像を検出すると、各マーカ２５２１、２５２２、…の３次元的な位置情報を算出して、映像を視聴中のユーザの身体動作に応じたベッド２５００の変位情報を取得することができる。

　変位センサ９４１によるベッドの表面に取り付けられたマーカの検出方法と、制御部９１０に入力されるベッドの変位情報との対応関係を、以下の表５に例示する。

　ユーザがベッド上に横たわり足を伸ばしてベッドボードに枕越しに寄りかかる際のリクライニング調整を行う、ベッド上での枕（肘枕や腕枕を含む）の高さを調整する、ベッドの表面を叩く、といった上下方向の身体動作（図３５を参照のこと）を行うと、ベッドの表面は上下方向に移動（揺動や振動を含む）する。したがって、変位センサ９４１は、ベッドの表面に取り付けられたマーカの３次元的な位置情報を検出することにより、単位時間当たりのベッドの表面の上下移動量を検出した結果を、制御部９１０に入力する。

　また、ユーザがベッド上に横たわり足を伸ばしてベッドボードに枕越しに寄りかかる際の左右の寝返りの動作（図３６を参照のこと）を行うと、ベッドの表面は前後又は左右方向に移動する。したがって、変位センサ９４１は、ベッドの表面に取り付けられたマーカの３次元的な位置情報を検出することにより、単位時間当たりのベッドの表面の前後又は左右方向の移動量を検出した結果を、制御部９１０に入力する。

　そして、出力制御部としての制御部９１０は、変位センサ９４１から入力される座席２３００の変位情報に基づいて、映像処理や音響処理、さらにはマルチモーダル・インタフェースの出力を制御することによって、座席２３００に着座しているユーザの身体動作に応じたインタラクションを実現する。

　ユーザの身体動作に対応したベッドの変位情報と、制御部９１０が実行する出力制御との対応関係を以下の表６に例示する。但し、表６では、出力制御として主に映像処理及び音響処理に関する出力制御について記述している。また、いずれの変位情報が入力された場合にも、映像をドーム型スクリーン１０１のような全天球ディスプレイに表示するとともに、音声をサラウンド・オーディオ・システムで再生するものとする。また、マルチモーダル・インタフェースを利用して、視点位置や視線方向の移動に合わせた風を吹かすなどの効果を組み合わせるようにしてもよい。また、頭部検出カメラ９４２などから検出されるユーザの視線情報に基づいて、映像の視差範囲を制御するようにしてもよい。

　ユーザが横たわっているベッドの変位情報として上下移動量が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの上下移動量と比例した移動量で、視聴中の自由視点映像に運動視差の上下変化を付けるといった映像処理を実行する（図２２を参照のこと）。また、出力制御部としての制御部９１０は、ユーザがベッドのばね性を利用して表面を叩いた際の上下移動加速度が所定の閾値を超えたことを発火条件として、ＵＩメニューのカーソル選択や、別の視点位置の自由視点映像（又はＶＲ映像）へ瞬間移動させる（コンテンツの切り替え）といった映像処理（図３７を参照のこと）を実行してもよい。また、制御部９１０は、単位時間当たりの上下移動量と組み合わせた前後左右移動量に基づいてユーザの頭部位置及び正面方向を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの上下変化を制御するといった音響処理を実行する。なお、制御部９１０は、ベッドの上下移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、上下移動量が第１の値に達したときに第１の出力を行い、上下移動量が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。また、ユーザがベッドを叩くことにより生じた上下移動に関する変位情報が入力されたときには、制御部９１０は、ユーザがベッドを叩く動作に対応した出力制御を行うようにしてもよい。

　また、ユーザが横たわっているベッドの変位情報として前後左右移動量が入力されたときには、出力制御部としての制御部９１０は、単位時間当たりの上下移動量と組み合わせた前後左右移動量よりユーザの頭部位置及び正面方向を推定し、同じ移動量と移動角度、及び比例した移動量と移動角度で、視聴中の自由視点映像に運動視差の位置及び角度変化を付けるといった映像処理（図２２を参照のこと）を実行する。また、出力制御部としての制御部９１０は、単位時間当たりの上下移動量と組み合わせた前後左右移動量よりユーザの頭部位置及び正面方向を推定し、同じ移動量と移動角度、及び比例した移動量と移動角度で、視聴中の自由視点映像の視点位置の左右の進行方向を変化させて、ＵＩメニューのカーソル移動や、ＵＩメニュー及びコンテンツの表示位置移動といった映像処理（図３７を参照のこと）を実行してもよい。また、制御部９１０は、ユーザがベッドの上で寝転がったり寝返りを打ったりするときの頭部の向きに合うように、入力された変位情報に基づいて映像の向きを制御するようにしてもよい。また、制御部９１０は、単位時間当たりの上下移動量と組み合わせた前後左右移動量に基づいてユーザの頭部位置及び正面方向を推定し、その頭部位置に向けて、映像の視点位置（カメラの撮像位置）に合わせたＳＳＦの位置及び角度変化を制御するといった音響処理を実行する。なお、制御部９１０は、ベッドの前後左右移動量に応じて映像処理や音響処理を連続的に変化させるのではなく、前後左右移動量が第１の値に達したときに第１の出力を行い、前後左右移動量が第１の値より大きい第２の値に達したときに第１の出力とは異なる第２の出力を行うといったように、段階的な出力制御を行うようにしてもよい。

　ベッドは、椅子と同様に、ユーザの身体動作に応じた変位情報を取得することが可能な家具であると言うことができる。ベッドは、椅子と同等又はそれ以上に使用時間の長く、本明細書で開示する技術を適用可能な重要な家具であるということもできる。さらに、ベッドが使用される病院やリハビリなどの施設でも、本明細書で開示する技術を展開していくことができる。

　図３８には、システム９００において、ユーザの身体動作に応じたオブジェクトの変位情報に基づいてユーザへのインタラクションを制御するための処理手順をフローチャートの形式で示している。但し、ここでは説明の簡素化のため、映像に関するインタラクションに限定した処理手順を示している。

　変位情報取得部としての変位センサ９４１は、ユーザが使用しているオブジェクトからマーカの動きを検出することができたときには（ステップＳ２９０１のＹｅｓ）、まず、マーカの単位時間当たりの上下の移動の検出を試みる（ステップＳ２９０２）。そして、マーカの上下の移動を検出することができたときには（ステップＳ２９０２のＹｅｓ）、変位センサ９４１は、マーカの上下移動に関する移動量、移動速度、移動加速度などの変位情報を算出すると（ステップＳ２９０３）、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部９１０に出力する。

　また、変位センサ９４１は、マーカの上下の移動を検出することができなかったときには（ステップＳ２９０２のＮｏ）、変位センサ９４１は、続いて、マーカの単位時間当たりの左右のパン回転の検出を試みる（ステップＳ２９０４）。そして、マーカの左右のパン回転を検出することができたときには（ステップＳ２９０４のＹｅｓ）、変位センサ９４１は、マーカの左右のパン回転に関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると（ステップＳ２９０５）、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部９１０に出力する。

　また、変位センサ９４１は、マーカの左右のパン回転を検出することができなかったときには（ステップＳ２９０４のＮｏ）、変位センサ９４１は、続いて、マーカの単位時間当たりの前後方向のチルト角の検出を試みる（ステップＳ２９０６）。そして、マーカの前後方向のチルト角を検出することができたときには（ステップＳ２９０６のＹｅｓ）、変位センサ９４１は、マーカの前後方向のチルト角に関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると（ステップＳ２９０７）、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部９１０に出力する。

　また、変位センサ９４１は、マーカの前後方向のチルト角を検出することができなかったときには（ステップＳ２９０６のＮｏ）、変位センサ９４１は、マーカの単位時間当たりの左右方向のロール角の検出をさらに試みる（ステップＳ２９０８）。そして、マーカの左右方向のロールを検出することができたときには（ステップＳ２９０８のＹｅｓ）、変位センサ９４１は、マーカの左右方向のロールに関する回転角度、回転角速度、回転角加速度などの変位情報を算出すると（ステップＳ２９０９）、ユーザの身体動作に応じたオブジェクトの変位情報として、出力制御部としての制御部９１０に入力する。

　出力制御部としての制御部９１０は、変位センサ９４１から入力されるオブジェクトの変位情報に基づいて、オブジェクトを使用しているユーザの頭部位置を推定すると、ユーザが視聴中の自由視点映像をその頭部位置から見える映像に変換するための射影ベクトルを生成し（ステップＳ２９１０）、その射影ベクトルで変換した映像を表示（プロジェクタから投影）する（ステップＳ２９１１）。

　また、制御部９１０は、ステップＳ２９１０及びＳ２９１１における処理と並行して、オブジェクトの変位情報に基づいてユーザの頭部位置を推定して、映像の視点位置に合わせたＳＳＦの変化を制御したり、オブジェクトの変位情報に基づいてマルチモーダル・インタフェースの出力を制御したりするようにしてもよい。

　オブジェクトの種類に応じて、マーカの動きから取得すべきオブジェクトの変位情報（言い換えれば、ユーザへのフィードバック出力の制御に使用する変位情報）の種類が相違する。例えば、オブジェクトが椅子であれば主にシートバックの前後上下左右の移動や前後の倒れ角に関する変位情報を取得し、オブジェクトがフィットネスバイクやトレッドミルなどのフィットネス器具であれば主に走行方向や速度、加速度、走行方向に関する変位情報を取得し、オブジェクトがベッドであればベッドの上下方向並びに前後左右の平面方向に関する変位情報を取得する必要がある。

　したがって、変位情報取得部としての変位センサ９４１は、オブジェクトの種類を特定すると、オブジェクト上から検出した各マーカの３次元位置の情報（すなわち、マーカの動き）から、特定したオブジェクトの種類に応じた変位情報を算出し、これを出力制御部としての制御部９１０に入力すればよい。

　システム９００において、オブジェクトの種類を特定する方法としては、オブジェクトに取り付けられたマーカの動きに基づいて自動判別する方法や、オブジェクトの種類と一意な固有のマーカを使用する方法などが挙げられる。勿論、システム９００のオペレータやオブジェクトを使用するユーザがオブジェクトの種類をシステム９００に手入力するようにしてもよい。また、機械学習やディープラーニングを利用して、オブジェクトの画像データからマーカを用いずにオブジェクトの種類が特定されてもよい。

　図３９には、変位情報取得部としての変位センサ９４１が、マーカの動きに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順をフローチャートの形式で示している。

　変位センサ９４１は、オブジェクトを撮像しているカメラの撮像画像からマーカの動きを検出することができたときには（ステップＳ３００１のＹｅｓ）、各マーカの３次元的な位置情報の算出を試みる（ステップＳ３００２）。そして、算出することができたマーカの３次元位置情報を蓄積する（ステップＳ３００３）。

　次いで、変位センサ９４１は、蓄積した３次元位置情報からマーカの動きの種類の検出を試みる（ステップＳ３００４）。そして、マーカの動きの種類を検出することができたときには（ステップＳ３００４のＹｅｓ）、変位センサ９４１は、検出した動きに基づいて、オブジェクトの種類を判別する（ステップＳ３００５）。

　例えば、オブジェクトが椅子であれば、主にシートバックの前後上下左右の移動や前後の倒れ角に相当するマーカの動きを検出することができる。また、オブジェクトがフィットネスバイクであれば、前輪又はペダルの回転や、サドル又はハンドルの左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがトレッドミルであれば、主に無端ベルトの前後方向の移動や、操作パネル又は踏み台の前後左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがベッドであれば、ベッドの上下方向並びに前後左右の平面方向に相当するマーカの動きを検出することができる。変位センサ９４１は、ステップＳ３００５では、ステップＳ３００４で検出したマーカの動きがどのオブジェクトのどのような動きに相当し又は類似するかを判別する。この判別処理に、例えば機械学習を導入して、判別精度を向上させるようにしてもよい。

　次いで、変位センサ９４１は、ステップＳ３００５で判別したオブジェクトが使用されている場合に、ユーザの身体動作に応じた出力制御（すなわち、何も装着していないユーザに対するインタラクション）を行うために必要となる変位情報を、ステップＳ３００３で蓄積しておいた３次元位置情報に基づいて算出する（ステップＳ３００６）。

　例えば、オブジェクトが椅子であれば、変位センサ９４１は、シートバックの前後上下左右の移動や前後の倒れ角に関する変位情報を算出する。また、オブジェクトがフィットネスバイクであれば、変位センサ９４１は、前輪又はペダルの回転速度や、サドル又はハンドルの左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがトレッドミルであれば、変位センサ９４１は、無端ベルトの前後方向の移動速度や、操作パネル又は踏み台の前後左右の倒れ角度に関する変位情報を算出する。また、オブジェクトがベッドであれば、変位センサ９４１は、ベッドの上下方向並びに前後左右の平面方向に関する変位情報を算出する。

　そして、変位センサ９４１は、オブジェクトの種類に応じて算出した変位情報を、出力制御部としての制御部９１０に入力する（ステップＳ３００７）。

　また、図４０には、変位情報取得部としての変位センサ９４１が、固有マーカに基づいてオブジェクトの種類を自動判別して、変位情報を取得するための処理手順をフローチャートの形式で示している。

　固有マーカは、例えば、オブジェクトの識別情報を表す明滅パターンで不可視光又は可視光を発光する素子や、オブジェクトの識別情報を表す図形パターンからなるビジュアル・マーカである。

　変位センサ９４１は、カメラの撮像画像に含まれるマーカから、オブジェクトの識別情報を検出することができたときには（ステップＳ３１０１のＹｅｓ）、検出した識別情報に基づいて、オブジェクトの種類を特定する（ステップＳ３１０２）。

　そして、変位センサ９４１は、オブジェクトを撮像しているカメラの撮像画像からマーカの動きを検出することができたときには（ステップＳ３１０３のＹｅｓ）、各マーカの３次元的な位置情報の算出を試みる（ステップＳ３１０４）。そして、算出することができたマーカの３次元位置情報を蓄積する（ステップＳ３１０５）。

　次いで、変位センサ９４１は、蓄積した３次元位置情報から、ステップＳ３１０２で特定したオブジェクトに対応するマーカの動きの種類の検出を試みる（ステップＳ３１０６）。

　例えば、オブジェクトが椅子であれば、主にシートバックの前後上下左右の移動や前後の倒れ角に相当するマーカの動きを検出することができる。また、オブジェクトがフィットネスバイクであれば、前輪又はペダルの回転や、サドル又はハンドルの左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがトレッドミルであれば、主に無端ベルトの前後方向の移動や、操作パネル又は踏み台の前後左右の倒れ角度に相当するマーカの動きを検出することができる。また、オブジェクトがベッドであれば、ベッドの上下方向並びに前後左右の平面方向に相当するマーカの動きを検出することができる。

　そして、オブジェクトに対応するマーカの動きの種類を検出することができたときには（ステップＳ３１０６のＹｅｓ）、変位センサ９４１は、ユーザの身体動作に応じた出力制御（すなわち、何も装着していないユーザに対するインタラクション）を行うために必要となる変位情報を、ステップＳ３１０５で蓄積しておいた３次元位置情報に基づいて算出する（ステップＳ３１０７）。

　そして、変位センサ９４１は、オブジェクトの種類に応じて算出した変位情報を、出力制御部としての制御部９１０に入力する（ステップＳ３１０８）。

　続いて、映像表示の一例として、出力制御部としての制御部９１０が、音響信号に応じた画像を表示させるビジュアライザー機能を有する実施例について説明する。図４１には、本実施例の構成例を示しており、図４２には、図４１に示した構成のうち、ドーム型スクリーン１０１のみを示している。さらに、図４３には、ドーム型スクリーン１０１に対して略正対する視点における、図４１に示したユーザの視界を示している。

　本実施例は、ゲームや映像コンテンツなどのデジタルコンテンツの再生また実行時に、それらの音響信号の変化に応じて動的に変化するエフェクト画像を出力することができるビジュアライザー機能を有する、デジタルコンテンツ再生機に適用することができる。

　ビジュアライザーは、本実施例において出力制御部としての制御部９１０が有する機能であり、音響信号の変化に応じて動的に変化するエフェクト画像を出力（表示）する機能である。エフェクト画像は、出力制御部としての制御部９１０がビジュアライザー機能を果たすために必要な表示を行う画像である。ユーザは、ドーム型スクリーン１０１に表示されるエフェクト画像を見て、そのエフェクト画像が自分の嗜好に合わない場合には、再生されるデジタルコンテンツを交換してもよい。係る構成により、ビジュアライザー機能を利用して、自分の嗜好に合致したエフェクト画像を探索して再生することができる。

　なお、本実施例において、エフェクト画像が表示される表示部（ドーム型スクリーン１０１）は、ドーム形状をしているが、エフェクト画像が表示される表示部は、フラットなスクリーンであっても構わないし、テレビジョン画面であっても構わない。

　本実施例におけるエフェクト画像は、所定の空間に配置された椅子１０００にユーザが座って体感できるように再生される。なお、図４１では、椅子１０００が設置される例が示されているが、図２４、図２５を参照して説明したように、椅子１０００に代えて、フィットネスバイクやトレッドミルなどのフィットネス器具等を設置して、本実施例に係るビジュアルライザー機能を視聴者が体感できるように構成してもよい。

　出力制御部としての制御部９１０は、音響信号における音の高さや大きさ、ビート、周波数特性等、音響信号の解析結果に応じて、ドーム型スクリーン１０１に表示されるエフェクト画像を変化させて、ビジュアライザー機能を実現させてもよい。なお、制御部９１０は、曲調解析アルゴリズム（１２音解析）を用いて音響の解析結果を取得してもよく、また所謂ハイレゾリューション領域の信号を解析する機能を有してもよい。

　また、出力制御部としての制御部９１０は、入力された音響信号の解析結果に応じたエフェクト画像を出力させると共に、当該音響信号に従って、音響出力系から音響を出力（再生）させる。

　図４４～図５４には、ドーム型スクリーン１０１に表示されるエフェクト画像の変化の例を順に示している。図４４～図５４に示すように、エフェクト画像において、ダイヤモンド形状の粒子（３Ｄモデル）が音響信号の解析結果に応じて変化する。

　また、図５５～図６２には、エフェクト画像の変化をより詳細に示すため、エフェクト画像に含まれる一部の粒子のみを示している。なお、図４４と図５５、図４５と図５６、図４６と図５７、図４７と図５８、図４９と図５９、図５１と図６０、図５２と図６１、そして図５３と図６２、がそれぞれ対応している。

　図５５～図６２に示す本実施例の場合には、本実施例に係るビジュアライザーのエフェクト画像に含まれて表示される粒子単体に注目すると、各粒子は、ドーム型スクリーン１０１の内壁の中心付近からその外縁に向けて放射方向に複数段階を経て、仮想空間における位置、大きさ、向き、角度などを変化させながら、全体として大きく動き回るという特性を有している。

　図５５～図６２に示された粒子群は、単一の粒子群レイヤーを構成するものと見做されてもよい。この場合、図５５～図６２に示された三つの粒子は、粒子群レイヤーを構成する粒子の一部に過ぎず、各粒子群レイヤーは四つ以上の粒子によりに構成されてよい旨に留意されたい。この構成において、複数の互いに異なる粒子群レイヤーが仮想空間において奥行方向に重ねられた画像が、図４４～図５４に示されたエフェクト画像を構成し得る。この場合、図４４～図５４に示されたエフェクト画像は、例えば、約１０層の粒子群レイヤーによって構成される。複数の粒子群レイヤーは、音響信号の変化に連動して、仮想空間において奥行方向に互いに離間または接近する。粒子群レイヤー間の離間速度（接近速度）は適宜設定され得る。例えば、音楽のテンポが速い程、離間速度（接近速度）が速く設定されてもよい。複数の粒子群レイヤーが互いに離間すると、手前側の粒子群レイヤーがドーム型スクリーン１０１の外縁に近づく。また、粒子群レイヤーは、視聴者に対し接近するに伴ってレイヤー内で（二次元的に）放射状に拡散する。この結果、複数の粒子群レイヤーは、仮想空間において三次元的に膨張しているように視聴者に観測される。したがって、本実施例によれば、高い没入感覚を呈するビジュアルライザー機能を視聴者に提供することができる。なお、没入感覚を高めるために、複数の粒子群レイヤーのうち少なくとも１つの粒子群レイヤーが、視聴者の前方の位置から後方の位置に移動するように構成されてよい。これにより、エフェクト画像に包み込まれる感覚を視聴者に提供することができる。視聴者の前方の位置から後方の位置に移動する粒子群レイヤーは、複数の粒子群レイヤーが収縮した状態において最も手前側に位置する粒子群レイヤーであってもよい。すなわち、複数の粒子群レイヤーが収縮した状態において、全ての粒子群レイヤーが視聴者の前方に位置するとよい。このように構成することで、視聴者は、エフェクト画像に包まれていない状態からエフェクト画像に包まれている状態への遷移映像を体験することができ、高い没入感覚を得ることができる。

　なお、音楽の開始まで、仮想空間に配置された粒子が無秩序に仮想空間を漂うように表示が制御されてもよい。そして、散乱していた粒子をユーザの前方に集めることで、音楽の開始とともに図４３のエフェクト画像が形成されるように表示が制御されてもよい。なお、音楽が開始する以前の状態において、粒子の形状は球状等のダイヤモンド形状とは異なる形状であってよく、音楽の開始とともにダイヤモンド形状に変化するように表示が制御されてもよい。また、音楽の終了とともに、粒子のダイヤモンド形状を解除しつつ粒子が無秩序に仮想空間を漂うように表示を戻してもよい。このような構成によれば、視聴する音楽を切り替える間も、視聴者は表示された粒子に包まれている感覚を維持できるため、視聴者は高い没入感覚を得ることができる。

　本実施例によれば、ドーム型スクリーン１０１の内壁の外縁付近に近づくにつれて、エフェクト画像として表示される粒子の相対的な長さを伸ばすようにエフェクト画像が構成されているので、内壁の中心付近を注視する傾向があるユーザは、あたかも３次元的な仮想空間に自分がいるかのような没入感覚を疑似体験することができる。

　なお、仮想空間における位置、大きさ、向き、角度だけでなく、粒子の色や明るさなどが変化してもよい。また、図４１～図６２では、ダイヤモンド形状の粒子が表示される例を示したが、他の形状の３Ｄモデルが表示されてもよい。

　また、本実施例は、図４４～図５４に示すようなデジタルコンテンツ再生機のビジュアライザー機能により動的に変化するエフェクト画像が、内壁部に表現されたドーム形状またはフラット形状の表示スクリーン、またはその表示スクリーンを構成要素として含むデジタルコンテンツ再生機としても捉えることができる。

　また、本実施例においても、出力制御部としての制御部９１０は、ユーザの身体動作に応じた３次元的な変位に対応する変位情報に基づいて、フィードバック出力を行うように制御してもよい。例えば、出力制御部としての制御部９１０は、椅子１０００の前後又は左右方向の倒れ角度に関する変位情報に応じて、エフェクト画像の前後又は左右の運動視差が変化するように映像処理を実行してもよい（図２０、図２１を参照のこと）。

　上記の通り、本明細書で提案するインタラクション技術は、専用のコントローラを必要とせずに、一般的なオブジェクトを利用してＵＩ操作や機器の入力を行うことができる。一方で、専用のコントローラを用いないことから、ユーザはオブジェクトの操作方法を把握することが難しく、オブジェクトの操作に戸惑う可能性がある。そこで、例えばユーザがオブジェクトの利用を開始した際に、当該オブジェクトを用いて利用できる操作を表示部に表示してもよい。この際、システムが認識しているオブジェクトの種類が表示されることが好ましい。また、ユーザがオブジェクトを利用し始めたか否かは、システムにより取得されるオブジェクトの変位情報に基づいて判定されてもよい。なお、認識されたオブジェクトにより操作可能な制御の初期設定は、特定されたオブジェクトの種類に応じてネットワーク上から自動的に取得されてもよい。また、オブジェクトによる入力操作の最中にユーザが利用可能な操作を忘れる可能性もある。そこで、特定の操作（例えば、椅子を叩く）に応じて現在利用可能なオブジェクトの操作リストが表示されてもよい。勿論、オブジェクトにより利用可能な操作は適宜ユーザによって変更されてもよい。

　続いて、ユーザが有するユーザ端末を用いた実施例について説明する。図６３には、ユーザ端末７００が配置された構成例の斜視図を示している。ユーザ端末７００は、例えばユーザが普段利用している端末（情報処理装置）であり、ユーザがシステム９００を利用していない際にもユーザに利用される端末であってよい。本実施例は、出力部（映像出力系または音響出力系）と、出力制御部を備える情報処理装置（システム）である。詳細は後述するが、本実施例の出力制御部は、ユーザの身体動作に関するセンサ情報と、ユーザ端末７００から取得される端末情報に基づいて、出力部を制御するように構成されている。

　なお、図６３では、ユーザ端末７００がスマートフォンである例を示しているが、ユーザ端末７００は係る例に限定されない。ユーザ端末７００は、ユーザが普段持ち歩く携帯（hand-held）端末や、身に付けたりして利用するウェアラブル端末であればよい。例えば、携帯端末はタブレット端末であってもよいし、ユーザに装着されるウェアラブル端末（ウェアラブルデバイス）は腕時計型のスマートウォッチ等であってもよい。

　また、図６３に示す例では、ユーザの身体動作に応じた変位情報を取得するオブジェクトが椅子１０００である例を示しているが、本技術は係る例に限定されない。例えば、ユーザの身体動作に応じた変位情報を取得するオブジェクトが上述したトレッドミルやフィットネスバイク等のフィットネス器具、またはソファ、ベッド等の家具である場合にも、ユーザ端末７００が用いられてよい。

　さらに、図６３に示す例では、椅子１０００のヘッドレスト１０４０に設けられた窪みにユーザ端末７００が配置される例を示しているが、ユーザ端末７００の配置は係る例に限定されない。例えば、ユーザ端末７００は、椅子１０００のアームレスト上に配置されてもよいし、ユーザの膝の上に配置されてもよいし、ユーザに把持されていてもよいし、ユーザの胸ポケットに入っていてもよい。また、ユーザの身体動作に応じた変位情報を取得するオブジェクトが椅子１０００ではない場合であっても、当該オブジェクトの所定の位置にユーザ端末７００が配置されてもよい。また、ユーザ端末７００がスマートウォッチ等のウェアラブルデバイスである場合、ユーザ端末７００はユーザの腕等に装着されていてもよい。

　図６４には、ユーザ端末７００の構成例を示している。図６４に示すように、ユーザ端末７００は、端末コントローラ７１０、メモリ７２０、通信部７３０、センサ部７４０、ストレージ部７５０、表示部７６０、スピーカー７７０、及び操作入力部７８０を備える情報処理装置である。

　端末コントローラ７１０は、ユーザ端末７００の全体を制御する。また、端末コントローラ７１０は、様々なアプリケーション（例えば音声対話アプリケーション）を実行する。また、端末コントローラ７１０は、センサ部７４０により取得されたセンサ情報に基づく認識（例えば音声認識等）を実行してもよい。なお、システム９００とユーザ端末７００とが連携する場合に、端末コントローラ７１０が実行するアプリケーションや、認識については後述する。

　メモリ７２０は、フラッシュ・メモリ又はＤＤＲ（Ｄｏｕｂｌｅ－Ｄａｔａ－Ｒａｔｅ）などのＳＤＲＡＭで構成され、端末コントローラ７１０の作業メモリとして使用される。

　通信部７３０は、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信モジュールで構成される。通信部７３０は、図９を参照して説明したシステム９００の通信部９１３と接続されてもよく、例えばセンサ部７４０により取得されたセンサ情報等を通信部９１３へ送信してもよい。係る構成により、システム９００はユーザ端末７００と連携してより多様な機能を実現することが可能となる。システム９００とユーザ端末７００の連携についての詳細は後述する。

　センサ部７４０はユーザまたは周辺環境に関する各種情報（環境情報）を取得（センシング）する機能を有する。例えばセンサ部７４０は、図６４に示すように、カメラ７４１、マイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、方位センサ７４５、位置測位部７４６、心拍センサ７４７、及び体温センサ７４８を含む。

　カメラ７４１は、実空間の情報を撮像画像として取得する。カメラ７４１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

　また、カメラ７４１は複数設けられていてもよく、カメラ７４１が複数設けられる場合、複数のカメラ７４１は同じ方向を撮像するように設けられてもよいし、異なる方向を撮像するように設けられてもよい。例えば、カメラ７４１は、主にユーザの方向を撮像する内向きカメラと、主にユーザの視界方向を撮像する外向きカメラを含んでもよい。

　マイクロフォン７４２は、ユーザの音声や周囲の環境音を収音し、音響信号として取得する。

　ジャイロセンサ７４３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。

　加速度センサ７４４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。

　方位センサ７４５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。

　位置測位部７４６は、外部からの取得信号に基づいてユーザ端末７００の現在位置を検知する機能を有する。例えば位置測位部７４６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、ユーザ端末７００が存在している位置を検知し、位置情報を取得する。また、位置測位部７４６は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

　心拍センサ７４７は、ユーザ端末７００を有するユーザの心拍を検知し、心拍情報を取得する。

　体温センサ７４８は、ユーザ端末７００を有するユーザの体温を検知し、体温情報を取得する。

　なお、図６４に示したセンサ部７４０に含まれるセンサは一例であって、本技術は係る例に限定されない。例えば、センサ部７４０は図示した全てのセンサを含まなくてもよいし、各センサはそれぞれ複数であってもよい。また、センサ部７４０は、他のセンサを含んでもよく、例えばユーザの発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、***、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））等の生体情報を取得するセンサを含んでもよい。

　また、各種センサは、機種依存性が存在し得るため、各種センサから得られるセンサ情報からキャリブレーションを行うことが望ましい。例えば、専用のアプリケーション上の指示に従って、事前に決まった特定の動きや動作、操作などを行う事により各種センサから得られるセンサ情報を元に補正パラメータを算出してキャリブレーションが実行されてもよい。

　また、システム９００とユーザ端末７００とが連携する場合の、センサ部７４０のセンシング対象、及びセンシング結果の反映対象については後述する。

　ストレージ部７５０は、上述した端末コントローラ７１０が処理を実行するためのプログラムやパラメータを記憶する。また、ストレージ部７５０は、ユーザ端末７００を利用するユーザに関するプロファイル情報を記憶してもよい。

　プロファイル情報は、例えばユーザがユーザ端末７００を利用した際の履歴情報を含んでもよい。履歴情報には、例えば、ユーザ端末７００におけるコンテンツの再生に関する再生履歴、ユーザ端末７００の操作に関する操作履歴等が含まれてもよい。

　また、プロファイル情報は、ユーザの個人情報を含んでもよい。個人情報には、例えばユーザの国籍、年齢、性別、身長、座高、体重、またはスケジュール等の情報が含まれてもよい。なお、個人情報は、例えばユーザの明示的な操作に基づいて得られた情報でもよいし、ユーザのコンテンツ視聴履歴や操作履歴等に基づく推定により得られた情報であってもよい。

　また、プロファイル情報は、ユーザの嗜好性を示す嗜好性情報を含んでもよい。嗜好性情報には、例えばコンテンツに関する嗜好性を示すコンテンツ嗜好性情報、及び表示部７６０やスピーカー７７０の出力に係る調整値に関する嗜好性を示す出力調整値嗜好性情報が含まれてもよい。なお、嗜好性情報は、例えばユーザの明示的な操作に基づいて得られた情報でもよいし、ユーザのコンテンツ視聴履歴や操作履歴等に基づく学習により得られた情報であってもよい。

　なお、システム９００とユーザ端末７００とが連携する場合の、プロファイル情報の活用については後述する。

　表示部７６０は、例えば液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置等により実現され、端末コントローラ７１０の制御に従って各種画面を表示する。

　スピーカー７７０は、例えば端末コントローラ７１０の制御に従って音響出力する。

　操作入力部７８０は、タッチセンサ、マウス、キーボード、ボタン、スイッチ及びレバー等、ユーザが情報を入力するための物理的な構造を有する操作部材により実現される。本開示において、ユーザが何らかの操作を行うためにユーザ端末７００に対して入力した情報を「入力操作情報」と呼ぶ場合がある。なお、ユーザによる入力操作は、上記の操作部材を介した操作に限定されず、例えばセンサ部７４０により取得されるジェスチャー入力操作や音声入力操作等も含まれ得る。

　以上、ユーザ端末７００の構成例について説明した。続いて、システム９００とユーザ端末７００とが連携する場合の、センサ部７４０のセンシング対象、及びセンシング結果の反映対象について順次説明を行う。センシング対象と、センサ部７４０に含まれる各センサの対応関係を以下の表７に例示する。

　例えば、ユーザが椅子に着座している場合、センサ部７４０のセンシングに基づいて、ユーザの身体動作に応じた椅子の変位情報が取得されてもよい。係る場合、ユーザ端末７００が変位情報取得部として機能し得る。また、係る場合、椅子の変位情報は、例えば実施例１で説明した椅子１０００の変位情報と同様であってもよい。なお、本開示において、ユーザの身体動作に関するセンサ情報を取得するセンサ部７４０が、「第１のセンサ部」として見做されてもよい。

　椅子の変位情報は、例えばセンサ部７４０のカメラ７４１の撮像画像に基づいて取得されてもよい。なお、カメラ７４１の撮像画像に基づく変位情報の取得方法は、実施例１で説明した変位情報の取得方法と同様であってもよい。

　また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、椅子の変位情報が取得されてもよい。

　また、ユーザがトレッドミルを使用している場合、センサ部７４０のセンシングに基づいて、ユーザの身体動作に応じたトレッドミルの変位情報が取得されてもよい。係る場合にも、ユーザ端末７００が変位情報取得部として機能し得る。また、係る場合、トレッドミルの変位情報は、例えば実施例２で説明したトレッドミル１５００の変位情報と同様であってもよい。

　トレッドミルの変位情報は、例えばセンサ部７４０のカメラ７４１の撮像画像に基づいて取得されてもよい。なお、カメラ７４１の撮像画像に基づく変位情報の取得方法は、実施例２で説明した変位情報の取得方法と同様であってもよい。

　また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、トレッドミルの変位情報が取得されてもよい。

　また、ユーザがフィットネスバイクを使用している場合、センサ部７４０のセンシングに基づいて、ユーザの身体動作に応じたフィットネスバイクの変位情報が取得されてもよい。係る場合にも、ユーザ端末７００が変位情報取得部として機能し得る。また、係る場合、フィットネスバイクの変位情報は、例えば実施例２で説明したフィットネスバイク１６００の変位情報と同様であってもよい。

　フィットネスバイクの変位情報は、例えばセンサ部７４０のカメラ７４１の撮像画像に基づいて取得されてもよい。なお、カメラ７４１の撮像画像に基づく変位情報の取得方法は、実施例２で説明した変位情報の取得方法と同様であってもよい。

　また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、フィットネスバイクの変位情報が取得されてもよい。

　また、ユーザがベッドに横たわっている場合、センサ部７４０のセンシングに基づいて、ユーザの身体動作に応じたベッドの変位情報が取得されてもよい。係る場合にも、ユーザ端末７００が変位情報取得部として機能し得る。また、係る場合、ベッドの変位情報は、例えば実施例４で説明したベッド２４００、またはベッド２５００の変位情報と同様であってもよい。

　ベッドの変位情報は、例えばセンサ部７４０のカメラ７４１の撮像画像に基づいて取得されてもよい。なお、カメラ７４１の撮像画像に基づく変位情報の取得方法は、実施例２で説明した変位情報の取得方法と同様であってもよい。

　また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、ベッドの変位情報が取得されてもよい。

　上述したように、ユーザ端末７００が変位情報取得部として機能する場合、システム９００は変位センサ９４１を備えなくてもよく、構成が簡易化される効果がある。

　また、センサ部７４０のセンシングに基づいて、ユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。上述したような変位情報に基づいて頭部位置及び頭部姿勢が推定されてもよいし、より直接的に頭部位置及び頭部姿勢の情報がセンシングされてもよい。例えば、センサ部７４０のカメラ７４１の撮像画像に基づいてユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。例えば、ユーザの視界方向を撮像する外向きカメラの撮像画像と投影映像の対応に基づいて、ユーザ方向を撮像する内向きカメラの撮像画像に映るユーザの頭部の位置、及び姿勢が推定されてもよい。また、ユーザ端末７００は、上述した頭部検出カメラ９４２と同様に、カメラ７４１の撮像画像からユーザの頭部を検出して、ユーザの頭部の映像を制御部９１０に送信してもよい。係る場合、システム９００は頭部検出カメラ９４２を備えなくてもよく、構成が簡易化される効果がある。

　また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、ユーザの頭部位置及び頭部姿勢の情報が取得されてもよい。

　また、センサ部７４０のセンシングに基づいて、ユーザの体の傾きの情報が取得されてもよい。体の傾きの情報には、例えば重心動揺、及び揺すりの情報が含まれてもよい。例えば、センサ部７４０のカメラ７４１の撮像画像に基づいて体の傾きの情報が取得されてもよい。また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、体の傾きの情報が取得されてもよい。

　また、センサ部７４０のセンシングに基づいて、ユーザの手の動き（ハンドジェスチャ）の情報が取得されてもよい。手の動きの情報には、例えば、拍手、手を振る、腕を組む、等の手の動作に関する情報が含まれてもよい。例えば、センサ部７４０のカメラ７４１の撮像画像に基づいて手の動きの情報が取得されてもよい。また、センサ部７４０のマイクロフォン７４２、ジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、手の動きの情報が取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、各プロジェクタ１０３及び１０４から投影されたドーム型スクリーン１０１上の輝度、及び輝度調整値の嗜好性の情報が取得されてもよい。例えば、センサ部７４０のカメラ７４１の撮像画像に基づいて、輝度の情報が取得されてもよい。また、センサ部７４０の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて輝度調整値の嗜好性の情報がユーザごとに取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、各プロジェクタ１０３及び１０４から投影されたドーム型スクリーン１０１上の画質、及び画質調整値の嗜好性の情報が取得されてもよい。例えば、センサ部７４０のカメラ７４１の撮像画像に基づいて、画質の情報が取得されてもよい。また、センサ部７４０の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて画質調整値の嗜好性の情報がユーザごとに取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、システム９００により出力されるコンテンツの嗜好性の情報がユーザごとに取得されてもよい。例えば、センサ部７４０の心拍センサ、または体温センサにより取得された心拍、または体温に基づいてコンテンツの嗜好性の情報がユーザごとに取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、システム９００の音響出力系から出力される音響の音量、及び音量調整値の嗜好性の情報が取得されてもよい。例えば、センサ部７４０のマイクロフォン７４２により取得された音響信号（音情報）に基づいて、音量の情報が取得されてもよい。また、センサ部７４０の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて音量調整値の嗜好性の情報がユーザごとに取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、システム９００の音響出力系から出力される音響の音質、及び音質調整値の嗜好性の情報が取得されてもよい。例えば、センサ部７４０のマイクロフォン７４２により取得された音響信号に基づいて、音質の情報が取得されてもよい。また、センサ部７４０の心拍センサ、または体温センサにより取得された心拍、または体温に基づいて音質調整値の嗜好性の情報がユーザごとに取得されてもよい。

　また、センサ部７４０のセンサ情報に基づいて、場所の情報が取得されてもよい。例えば、場所の情報は、センサ部７４０の位置測位部７４６により取得されてもよい。また、また、センサ部７４０のジャイロセンサ７４３、加速度センサ７４４、または方位センサ７４５のうち少なくとも１以上のセンサにより取得されたセンサ情報を組み合わせることで、場所の情報が取得されてもよい。なお、場所の情報は、例えば本明細書で提案する技術が飛行機や電車、バス、乗用車等の移動体に適用された場合に、取得されることが望ましい。

　以上、センサ部７４０のセンシング対象の例について説明した。なお、上述した撮像画像に基づいて情報を取得する処理、及びセンサ情報を組み合わせて情報を取得する処理は、ユーザ端末７００の端末コントローラ７１０により実行されてもよいし、システム９００のメイン・コントローラ９１１により実行されてもよい。

　続いて、センシング結果の反映対象について説明を行う。出力制御部としての制御部９１０は、センサ部７４０によるセンシング結果をインタラクションに反映させる。センシング対象と、センシング結果の反映対象の対応関係を以下の表８に例示する。

　例えば、センサ部７４０のセンシングに基づいて、椅子の変位情報が取得された場合、出力制御部としての制御部９１０は、椅子の変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、椅子の変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例１で説明した椅子１０００の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部９１０は、椅子の変位情報に応じて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部９１０は、椅子の変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、トレッドミルの変位情報が取得された場合、出力制御部としての制御部９１０は、トレッドミルの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、トレッドミルの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例２で説明したトレッドミル１５００の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部９１０は、トレッドミル上でのユーザの走行又は歩行速度や、トレッドミルの上下移動量、左右の倒れ角度などの変位情報に基づいて、画面描画速度を変化させる映像処理を実行してもよい。また、出力制御部としての制御部９１０は、トレッドミルの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、フィットネスバイクの変位情報が取得された場合、出力制御部としての制御部９１０は、フィットネスバイクの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、フィットネスバイクの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例２で説明したフィットネスバイク１６００の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部９１０は、車輪の回転速度（フィットネスバイクの変位情報の一例）に応じて、画面描画速度を変化させる映像処理や音響のピッチ・テンポを変化させる音響処理を実行してもよい。また、出力制御部としての制御部９１０は、フィットネスバイクの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、ベッドの変位情報が取得された場合、出力制御部としての制御部９１０は、ベッドの変位情報に基づいて、映像処理や音響処理の出力を制御してもよい。なお、ベッドの変位情報に基づく映像処理や音響処理に関する出力制御は、例えば実施例４で説明したベッド２４００又は２５００の変位情報に基づく映像処理や音響処理に関する出力制御と同様であってもよい。または、出力制御部としての制御部９１０は、ベッドの変位情報に応じて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部９１０は、ベッドの変位情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、ユーザの頭部位置及び頭部姿勢の情報が取得された場合、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいて、映像処理や音響処理の出力を制御してもよい。例えば、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいて、映像の視点位置に合わせたＳＳＦの変化を制御してもよい。または、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部９１０は、頭部位置及び頭部姿勢の情報に基づいてＵＩメニューの操作に係る映像処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、ユーザの体の傾きの情報が取得された場合、出力制御部としての制御部９１０は、体の傾きの情報に基づいて、映像処理や音響処理の出力を制御してもよい。例えば、出力制御部としての制御部９１０は、体の傾きの情報に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部９１０は、体の傾きの情報に基づいて、映像の視点位置に合わせたＳＳＦの変化を制御してもよい。または、出力制御部としての制御部９１０は、体の傾きの情報の情報に基づいて、音響の音量を変化させる音響処理を実行してもよい。また、出力制御部としての制御部９１０は、体の傾きの情報に基づいて出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部９１０は、体の傾きの情報に基づいてＵＩメニューの操作に係る映像処理を実行してもよい。

　また、センサ部７４０のセンシングに基づいて、ユーザの手の動きの情報が取得された場合、出力制御部としての制御部９１０は、手の動きの情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部９１０は、手の動きの情報に基づいてＵＩメニューの操作に係る映像処理を実行してもよい。

　また、センサ部７４０のセンサ情報に基づいて、ドーム型スクリーン１０１上の輝度の情報が取得された場合、出力制御部としての制御部９１０は、輝度の情報に基づいて、各プロジェクタ１０３及び１０４の輝度調整を実行してもよい。また、同様に、センサ部７４０のセンサ情報に基づいて、輝度調整値の嗜好性の情報が取得された場合、出力制御部としての制御部９１０は、輝度調整値の嗜好性の情報に基づいて、各プロジェクタ１０３及び１０４の輝度調整を実行してもよい。

　また、センサ部７４０のセンサ情報に基づいて、ドーム型スクリーン１０１上の画質の情報が取得された場合、出力制御部としての制御部９１０は、画質の情報に基づいて、各プロジェクタ１０３及び１０４の画質調整を実行してもよい。また、同様に、センサ部７４０のセンサ情報に基づいて、画質調整値の嗜好性の情報が取得された場合、出力制御部としての制御部９１０は、画質調整値の嗜好性の情報に基づいて、各プロジェクタ１０３及び１０４の画質調整を実行してもよい。なお、出力制御部としての制御部９１０が実行する画質調整は、例えば色、コントラスト、またはシャープネスの調整を含んでもよい。

　また、センサ部７４０のセンサ情報に基づいて、コンテンツの嗜好性の情報が取得された場合、出力制御部としての制御部９１０は、コンテンツの嗜好性の情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。また、出力制御部としての制御部９１０は、コンテンツの嗜好性の情報に基づいて、ユーザへコンテンツを推薦する（例えばおすすめのコンテンツを表示させる）出力制御を実行してもよい。

　また、センサ部７４０のセンサ情報に基づいて、システム９００の音響出力系から出力される音響の音量の情報が取得された場合、出力制御部としての制御部９１０は、音量の情報に基づいて、システム９００の音響出力系から出力される音響の音量調整を実行してもよい。また、同様に、センサ部７４０のセンサ情報に基づいて、音量調整値の嗜好性の情報が取得された場合、出力制御部としての制御部９１０は、音量調整値の嗜好性の情報に基づいて、音量調整を実行してもよい。

　また、センサ部７４０のセンサ情報に基づいて、システム９００の音響出力系から出力される音響の音質の情報が取得された場合、出力制御部としての制御部９１０は、音質の情報に基づいて、システム９００の音響出力系から出力される音響の音質調整を実行してもよい。また、同様に、センサ部７４０のセンサ情報に基づいて、音質調整値の嗜好性の情報が取得された場合、出力制御部としての制御部９１０は、音質調整値の嗜好性の情報に基づいて、音質調整を実行してもよい。なお、出力制御部としての制御部９１０が実行する音質調整は、例えば音響出力系の周波数特性、位相特性、または遅延特性の調整を含んでもよい。

　また、センサ部７４０のセンサ情報に基づいて、場所の情報が取得された場合、出力制御部としての制御部９１０は、場所の情報に基づいて、出力させるコンテンツを切り替える映像処理、または音響処理を実行してもよい。例えば、出力制御部としての制御部９１０は、場所の情報に基づいて、付近の名所等を案内するコンテンツを出力させてもよいし、付近の店舗等を宣伝するコンテンツを出力させてもよい。

　以上、システム９００とユーザ端末７００とが連携する場合の、センサ部７４０のセンシング対象、及びセンシング結果の反映対象について説明した。なお、上記では主に映像処理、または音響処理に関する出力制御にセンシング結果が反映される例を説明したが、本技術は係る例に限定されない。例えば、出力制御部としての制御部９１０は、体温センサ７４８により取得された体温の情報に基づいて、外部出力部９５２に含まれるエアコンの出力を制御してもよい。また、上記では、ユーザがシステム９００を利用している際のセンサ部７４０のセンシングについて主に説明したが、本技術は係る例に限定されない。例えば、ドーム型ディスプレイ１００の設置時に、センサ部７４０のカメラ７４１の撮像画像に基づいて、幾何補正やエッジブレンディング処理が行われてもよい。また、経時変化のズレを補正する際にも、カメラ７４１の撮像画像に基づいて補正が行われてもよい。

　続いて、システム９００とユーザ端末７００とが連携する際の、プロファイル情報の活用について説明を行う。出力制御部としての制御部９１０は、ユーザ端末７００のストレージ部７５０に記憶されたプロファイル情報に基づいてインタラクションを制御してもよい。

　例えば、出力制御部としての制御部９１０は、プロファイル情報に含まれる履歴情報に基づいて、コンテンツを出力させてもよい。例えば、出力制御部としての制御部９１０は、再生履歴に基づき、ユーザが過去に再生したコンテンツに類似したコンテンツを出力させてもよい。また、出力制御部としての制御部９１０は、再生履歴に基づき、ユーザが過去に頻繁に再生したコンテンツを出力させてもよい。

　また、出力制御部としての制御部９１０は、プロファイル情報に含まれる個人情報に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部９１０は、個人情報に応じて、適したコンテンツを出力させてもよい。また、出力制御部としての制御部９１０は、ユーザが高齢である場合、表示させる文字の大きさを大きくしてもよい。また、出力制御部としての制御部９１０は、ユーザの身長や座高の情報に応じて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。また、出力制御部としての制御部９１０は、ユーザのスケジュールの情報に基づいて、スケジュールを表示させたり、スケジュールに含まれる予定を通知させたりしてもよい。なお、ユーザがコンテンツを視聴している際に、スケジュールの情報等のプロファイル情報をコンテンツ映像に重畳させる場合、プロファイル情報はユーザの正面に対応する領域以外に配置され、コンテンツ試聴を阻害しないようにすることが望ましい。

　また、出力制御部としての制御部９１０は、プロファイル情報に含まれる嗜好性情報に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部９１０は、コンテンツ嗜好性情報に応じて、ユーザが嗜好すると推定されるコンテンツを出力させてもよい。また、出力制御部としての制御部９１０は、出力調整値嗜好性情報に基づいて、輝度、画質、音量、音質等の出力に係る調整を実行してもよい。係る構成により、ユーザごとの調整が速やかに行われるため、例えば映像酔いを軽減させることが可能となる。店舗等において、ユーザが頻繁に交代する場合に、このようなプロファイル情報に基づいたユーザごとの調整は特に有効となる。

　以上、システム９００とユーザ端末７００とが連携する際の、プロファイル情報の活用について説明した。なお、システム９００とユーザ端末７００とが連携する際の、ストレージ部７５０に記憶された情報の活用は上記に限定されず、例えば、出力制御部としての制御部９１０は、ストレージ部７５０に記憶されたコンテンツを出力させてもよい。

　続いて、システム９００とユーザ端末７００とが連携する際に、ユーザ端末７００のその他の機能と連携する例について説明する。出力制御部としての制御部９１０は、ユーザ端末７００が有する各種機能に基づいて、出力を制御してもよい。

　例えば、ユーザ端末７００がビデオ通話機能を有する場合、出力制御部としての制御部９１０は、ドーム型ディスプレイ１００を用いたビデオ通話に関する映像処理、及び音響処理を実行してもよい。

　また、ユーザ端末７００が音声認識機能を有する場合、出力制御部としての制御部９１０は、係る音声認識機能に応じて映像処理、及び音響処理を実行してもよい。特に、ユーザ端末７００が音声対話機能を有する場合、音声対話によって、システム９００に係る操作が行われてもよい。

　なお、出力制御部としての制御部９１０がユーザ端末７００のビデオ通話機能、音声認識機能、音声対話機能等に基づいて出力を制御する場合、ユーザはドーム型スクリーン１０１の前で発話を行う。ドーム型スクリーン１０１の前で発話を行うと、エコーが発生し、ユーザ端末７００のマイクロフォン７４２が適切に音声の音響信号を取得できない恐れがある。そこで、事前にマイクロフォン７４２のキャリブレーションが行われることが望ましい。例えば、音響インパルス応答を測定することで、ユーザ端末７００の位置に応じたドーム型スクリーン１０１の独特な反射特性をキャンセルするキャリブレーションを行うことも可能である。その結果、エコーが除去（キャンセル）された音声の音響信号を取得することが可能となる。

　また、ユーザ端末７００が通話機能を有する場合、出力制御部としての制御部９１０は、ユーザ端末７００に着信があったことに基づいて、音量を低下させてもよい。

　また、出力制御部としての制御部９１０は、ユーザ端末７００が有するスピーカー７７０の音響出力を制御してもよい。出力制御部としての制御部９１０は、ユーザ端末７００の配置に応じて、スピーカー７７０の音響出力を制御してもよい。例えば、図６３に示したようにヘッドレスト１０４０の近傍にユーザ端末７００が存在する場合、出力制御部としての制御部９１０は、ヘッドレスト・スピーカー９３４の代わりにから音響を出力させてもよい。係る構成によれば、システム９００はヘッドレスト・スピーカー９３４を備えなくてもよく、構成が簡易化される効果がある。

　また、出力制御部としての制御部９１０は、ユーザ端末７００が有する操作入力部７８０を介したユーザの操作に基づいて、出力を制御してもよい。例えば、出力制御部としての制御部９１０は、操作入力部７８０を介したユーザの操作に基づいて、視聴中の自由視点映像の視点位置を変化させる映像処理を実行してもよい。

　以上、システム９００とユーザ端末７００との連携について説明した。なお、上記では、システム９００の通信部９１３とユーザ端末７００の通信部７３０とが接続されて、システム９００とユーザ端末７００とが連携する例を説明したが、本技術は係る例に限定されない。例えば、システム９００にユーザ端末７００が組み込まれてもよく、係る場合、制御部９１０や入力系に代わって、制御部９１０や入力系の機能をユーザ端末７００が有してもよい。

　図６５には、ユーザ端末７００を備えるシステム９００の構成例を示している。図６５に示すシステム９００は、ユーザ端末７００を備える代わりに、制御部９１０、変位センサ９４１、頭部検出カメラ９４２、外付けセンサ９４３、及びオーディオプレイヤ９４４を備えない点で図９に示したシステム９００と異なる。

　制御部９１０の通信部９１３の機能は、ユーザ端末７００の通信部７３０により代替され得る。また、制御部９１０のメイン・コントローラ９１１、メイン・メモリ９１２、映像用ＤＳＰ９１４、及び音響用ＤＳＰ９１５の機能（出力制御部としての機能を含む）は、ユーザ端末７００の端末コントローラ７１０、及びメモリ７２０によって代替され得る。なお、ユーザ端末７００は映像用ＤＳＰや音響用ＤＳＰを備えてもよい。

　また、入力系のうち、変位センサ９４１、頭部検出カメラ９４２、及び外付けセンサ９４３の機能は、センサ部７４０によって代替され得る。なお、図６５ではセンサ部７４０に含まれる具体的なセンサの例を省略しているが、例えば図６４に示したセンサ部７４０に含まれる具体的なセンサの例と同様であってもよい。

　また、入力系のうち、オーディオプレイヤ９４４の機能は、例えば端末コントローラ７１０、及びストレージ部７５０によって代替され得る。

　なお、上述した制御部９１０や入力系の機能の全てが代替されなくてもよく、システム９００は、ユーザ端末７００と共に、制御部９１０や入力系の機能の一部、または全てを備えていてもよい。

　また、ユーザ端末７００と、音響出力系及び映像表示系とは、通信部７３０による無線通信により無線接続されてもよいし、有線接続されてもよい。ユーザ端末７００と音響出力系及び映像表示系とが無線接続される場合、例えばＭｉｒａｃａｓｔ（登録商標）やＡｉｒＰｌａｙ（登録商標）等の技術が用いられてもよい。ユーザ端末７００と音響出力系及び映像表示系とが有線接続される場合、ユーザ端末７００と音響出力系及び映像表示系とは、例えばMHL（Mobile　High-definition　Link）やHDMI（High-Definition　Multimedia　Interface）（登録商標）等により接続されてもよい。なお、ユーザ端末７００と、音響出力系及び映像表示系との間の接続は係る例に限定されず、ユーザ端末７００と音響出力系及び映像表示系とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＵＳＢ（Universal　Serial　Bus）等により接続されてもよい。

　また、図６５では、システム９００が１台のユーザ端末７００を備える例を示したが、システム９００は、複数台のユーザ端末７００を備えてもよい。また、各プロジェクタ１０３、及び１０４に対して、１台のユーザ端末７００が接続されていてもよい。係る場合、複数のユーザ端末７００の間で、映像出力タイミングの同期が行われることが望ましい。例えば、ＰＴＰ(Precision　Time　Protocol)等のプロトコルを用いてユーザ端末７００間の時刻を同期させ、所定の時刻において映像の出力が開始されてもよい。

　以上、システム９００がユーザ端末７００を備える例について説明した。上述したように制御部９１０や入力系の機能をユーザ端末７００が代替することで、構成が簡易化される効果がある。なお、図６５を参照して説明したシステム９００がユーザ端末７００を備える構成においても、上述したセンサ部７４０によるセンシング結果を反映したインタラクションや、プロファイル情報を活用したインタラクション、ユーザ端末７００の機能に基づくインタラクションが行われ得る。

　もちろん、上述した実施例７において、図６５で省略された制御部と入力系等の構成要素のうち少なくとも一部あるいは全部を設けたシステムが採用されても良い。すなわち、単独で機能し得る図９のシステム９００に、補助操作端末としてユーザ端末７００を備え、これらを連携させて動作させる構成としても良い。この構成において、ユーザ端末７００からの操作入力情報やセンサ情報等に加え、図９で示された入力系からの各種信号（情報）に基づいて、映像表示系の映像が制御され得る。すなわち、例えばオブジェクトが椅子の場合、椅子の動作情報とユーザ端末７００からの情報に基づいて、映像表示系の映像が制御され得る。

　上記構成において、例えば、ユーザ端末７００のセンサ部７４０（第１のセンサ部）が、ユーザの身体動作に関するセンサ情報を取得するとともに、一方で、図９で示した変位センサ９４１（第２のセンサ部）もまた、ユーザの身体動作に関するセンサ情報を取得しても良い。センサ部７４０と変位センサ９４１がそれぞれ取得したセンサ情報に基づいて出力部が制御されることで、図９の構成よりも豊富なユーザ体験を、専用のコントローラを用いることなくユーザに提供することができる。

　例えば、ドーム形状を有する表示部で提供される映像をユーザが椅子に座って視聴する場合に、表２に示すようにユーザの身体動作に応じて映像の視差を変化させることを想定する。この構成において、センサ部７４０と変位センサ９４１がそれぞれ取得したセンサ情報に基づいて、表示部に提示される映像の視差が制御されても良い。係る構成より、図９よりも大きく視差を変化させることができる。より具体的には、例えば、ユーザは左右回転とユーザ端末７００への入力操作の組み合わせにより、前方を見た状態を維持しつつ、視差を大きく変化させることができる。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で提案するインタラクション技術は、椅子やベッドなどの日常生活で使用する家具を通じて体幹の変位などユーザの身体動作を検出して、入力に代替することができるので、身体の動きが不自由な障がい者に対して、コントローラやコンソールに置き換わる代替入力機能として展開することも可能である。

　また、本明細書で提案するインタラクション技術は、一般家庭だけではなく、病院やリハビリなどの施設で利用することができる。さらに、本明細書で提案するインタラクション技術は、飛行機や電車、バス、自動運転対応の乗用車など、スペースが限られた移動体でも利用することができる。

　要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部と、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部と、を具備する情報処理装置。
（２）
　前記所定のオブジェクトは、前記ユーザが着座可能なオブジェクトであり、
　前記ユーザの身体動作は、前記ユーザの上半身の傾き動作を含む、前記（１）に記載の情報処理装置。
（３）
　前記所定のオブジェクトはシートバックを有し、
　前記変位情報取得部は、前後方向、左右方向及び上下方向のうち少なくとも１つにおける前記シートバックの位置の変化に対応する前記変位情報を取得する、前記（２）に記載の情報処理装置。
（４）
　前記変位情報取得部は、前記前後方向における前記シートバックの倒れ角度に対応する前記変位情報を取得する、前記（３）に記載の情報処理装置。
（５）
　前記変位情報取得部は、第１の倒れ角度と、前記第１の倒れ角度よりも大きい第２の倒れ角度を前記変位情報として取得し、
　前記出力部は、第１の出力と、前記第１の出力とは異なる第２の出力を含む前記所定の出力を行い、
　前記出力制御部は、前記シートバックが前記第１の倒れ角度を有する場合に前記出力部が前記第１の出力を行うように制御し、前記シートバックが前記第２の倒れ角度を有する場合に前記出力部が前記第２の出力を行うように制御する、前記（４）に記載の情報処理装置。
（６）
　前記変位情報取得部は、前記シートバックの所定時間当たりの倒れ角度に対応する変位情報を取得する、前記（４）又は（５）に記載の情報処理装置。
（７）
　前記変位情報取得部は、前記シートバックの倒れ角加速度に対応する変位情報を取得し、
　前記出力部は、第３の出力を含む前記所定の出力を行い、
　前記出力制御部は、前記倒れ角加速度が所定の閾値以上である場合に前記出力部が前記第３の出力を行うように制御する、前記（３）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記変位情報取得部は、前記所定のオブジェクトの着座部位の前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、前記（２）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記変位情報取得部は、前記所定のオブジェクトのアームレストの前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、前記（２）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記出力部は、映像を表示する表示部を含む、前記（２）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の明るさを制御する、前記（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の視差を制御する、前記（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の遷移方向を制御する、前記（１０）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記出力制御部は、音響信号に応じたエフェクト画像を表示させる、前記（１０）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記出力制御部は、前記音響信号の解析結果に応じて前記エフェクト画像を変化させる、前記（１４）に記載の情報処理装置。
（１６）
　前記エフェクト画像は、前記表示部の外縁付近に近づくにつれて相対的な長さを伸ばすように表示される粒子を含む、前記（１４）又は（１５）に記載の情報処理装置。
（１７）
　前記エフェクト画像は、仮想空間において奥行方向に互いに重なり合い、前記音響信号の変化に応じて、前記仮想空間において奥行方向に互いに離間または接近する複数の粒子群レイヤーを含む、前記（１４）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　前記変位情報取得部は、前記所定のオブジェクトの上面の前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、前記（１）に記載の情報処理装置。
（１９）
　前記出力部は、前記所定のオブジェクトの上方に設けられた映像を表示する表示部を含み、
　前記出力制御部は、前記変位情報に基づいて推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像を制御する、前記（１８）に記載の情報処理装置。
（２０）
　前記出力制御部は、前記推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像の表示位置を制御する、前記（１９）に記載の情報処理装置。
（２１）
　前記出力制御部は、前記推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像の向きを制御する、前記（１９）又は（２０）に記載の情報処理装置。
（２２）
　前記出力部は、前記第１の出力及び前記第２の出力のいずれとも異なる第４の出力を含む前記所定の出力を行い、
　前記変位情報取得部は、前記所定の部位の振動又は揺動に対応する前記変位情報を取得し、
　前記出力制御部は、前記振動又は揺動に応じて前記出力部が前記第４の出力を行うように制御する、前記（５）に記載の情報処理装置。
（２３）
　前記出力部は、音響を出力するスピーカーを含み、前記スピーカーは、前記スピーカーの振動方向に正対する直線が前記ユーザの顔と交差するように設けられる、前記（１）～（２２）のいずれか１項に記載の情報処理装置。
（２４）
　前記スピーカーと前記ユーザの顔との間で、前記スピーカーの前記振動方向に正対する直線が遮られない、前記（２３）に記載の情報処理装置。
（２５）
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得ステップと、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御ステップと、を有する情報処理方法。
（２６）
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部、としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラム。
（２７）
　所定のオブジェクトが有する少なくとも２箇所の特徴箇所により形成される直線の、ユーザの身体動作に応じた３次元的な回転変位に対応する第１の変位情報を取得する変位情報取得部と、
　前記取得された第１の変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部と、
を具備する情報処理装置。
（２８）
　前記変位情報取得部は、少なくとも３箇所の特徴箇所により形成される面の３次元的な回転変位に対応する前記第１の変位情報を取得し、
　前記出力制御部は、前記取得された第１の変位情報に基づいて、前記出力部を制御する、
前記（２７）に記載の情報処理装置。
（２９）
　前記所定の出力は、第１の出力と、前記第１の出力とは異なる第２の出力を含み、
　前記出力制御部は、前記第１の変位情報として実質的に第１の方向における回転変位が取得された場合に、前記出力部が前記第１の出力を行うように制御し、前記第１の変位情報として前記第１の方向とは異なる実質的に第２の方向における回転変位が取得された場合に、前記出力部が前記第２の出力を行うように制御する、
前記（２８）に記載の情報処理装置。
（３０）
　前記第１の方向及び前記第２の方向は、前記ユーザの体幹の３次元的な変位に応じた前記所定のオブジェクトの変位方向に対応する、
前記（２９）に記載の情報処理装置。
（３１）
　前記所定の出力は、前記第１の出力及び前記第２の出力のいずれとも異なる第３の出力をさらに含み、
　前記出力制御部は、前記第１の変位情報として実質的に第１の方向における第１の変位量が取得された場合に、前記出力部が前記第１の出力を行うように制御し、前記第１の変位情報として実質的に前記第１の方向における前記第１の変位量よりも大きい第２の変位量が取得された場合に、前記出力部が前記第３の出力を行うように制御する、
前記（２９）又は（３０）のいずれか１項に記載の情報処理装置。
（３２）
　前記所定の出力は、前記第１の出力及び前記第２の出力のいずれとも異なる第４の出力をさらに含み、
　前記変位情報取得部は、少なくとも１つの前記特徴箇所の前記ユーザの身体動作に応じた並進変位に対応する第２の変位情報をさらに取得し、
　前記出力制御部は、前記第２の変位情報に基づいて、前記出力部が前記第４の出力を行うように制御する、
前記（２９）～（３１）のいずれか１項に記載の情報処理装置。
（３３）
　前記所定の出力は、前記第１の出力及び前記第２の出力のいずれとも異なる第５の出力をさらに含み、
　前記変位情報取得部は、少なくとも１つの前記特徴箇所の前記ユーザの身体動作に応じた往復並進変位に対応する第３の変位情報をさらに取得し、
　前記出力制御部は、前記第３の変位情報に基づいて、前記出力部が前記第５の出力を行うように制御する、
前記（２９）～（３２）のいずれか１項に記載の情報処理装置。
（３４）
　前記所定のオブジェクトは、床に載置され、前記ユーザの身体動作に対して前記床に対する相対移動を実質的に行わないオブジェクトであり、
　前記出力制御部は、載置状態の前記所定のオブジェクトに関する拘束条件と前記第１の変位情報に基づいて前記出力部の出力を制御する、
前記（２７）～（３３）のいずれか１項に記載の情報処理装置。
（３５）
　前記特徴箇所は、前記所定のオブジェクトに対して設けられたマーカである、
前記（２７）～（３４）のいずれか１項に記載の情報処理装置。
（３６）
　前記マーカは、前記所定のオブジェクトの縁部に設けられたマーカである、
前記（３５）に記載の情報処理装置。
（３７）
　前記特徴箇所は、画像認識処理により認識される前記所定のオブジェクトの特徴点である、
前記（２７）～（３４）のいずれか１項に記載の情報処理装置。
（３８）
　前記出力部は、立体視可能な映像を表示する表示部を含み、
　前記出力制御部は、前記取得された第１の変位情報に基づいて前記映像の視差を制御する、
前記（２７）～（３７）のいずれか１項に記載の情報処理装置。
（３９）
　前記出力制御部は、前記取得された第１の変位情報に基づいて前記映像の明るさを制御する、
前記（３８）に記載の情報処理装置。
（４０）
　前記出力部は、前記映像に応じて、温度、風、湿度、匂い、触覚、及び音のうち少なくとも１つのフィードバック情報を出力するフィードバック部をさらに備え、
　前記出力制御部は、前記取得された第１の変位情報に基づいて、前記フィードバック部から出力する前記フィードバック情報の出力方向及び出力量のうち少なくとも一方を制御する、
前記（３８）又は（３９）に記載の情報処理装置。
（４１）
　前記ユーザの視線情報を取得する視線情報取得部をさらに備え、
　前記出力制御部は、前記取得された視線情報に基づいて前記映像の視野範囲を制御するとともに、前記取得された第１の変位情報に基づいて前記映像の視差を制御する、
前記（３８）～（４０）のいずれか１項に記載の情報処理装置。
（４２）
　前記変位情報は、前記所定のオブジェクトの角速度又は角加速度に関する、
前記（２７）～（４１）のいずれか１項に記載の情報処理装置。
（４３）
　前記所定のオブジェクトは、前記ユーザが乗ることが可能なオブジェクトである、
前記（２７）～（４２）のいずれか１項に記載の情報処理装置。
（４４）
　所定のオブジェクトが有する少なくとも２箇所の特徴箇所により形成される直線の、ユーザの身体動作に応じた３次元的な回転変位に対応する第１の変位情報を取得する変位情報取得ステップと、
　前記取得された第１の変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御ステップと、
を有する情報処理方法。
（４５）
　所定のオブジェクトが有する少なくとも２箇所の特徴箇所により形成される直線の、ユーザの身体動作に応じた３次元的な回転変位に対応する第１の変位情報を取得する変位情報取得部、
　前記取得された第１の変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラム。
（４６）
　ユーザの視野を覆うことが可能なドーム形状を有し、映像または音を出力するように構成された出力部と、
　前記ユーザの身体動作に関するセンサ情報と、前記ユーザの携帯端末またはウェアラブル端末の少なくとも一方を含むユーザ端末から取得される端末情報に基づいて、前記出力部を制御するように構成された出力制御部と
　を有する情報処理装置。
（４７）
　前記端末情報は、前記ユーザ端末のストレージに含まれる前記ユーザに関するプロファイル情報を含み、
　前記出力制御部は、前記プロファイル情報に基づいて、前記出力部を制御する
　前記（４６）に記載の情報処理装置。
（４８）
　前記端末情報は、前記ユーザ端末の周辺環境に関する環境情報を含み
　前記出力制御部は、前記環境情報に基づいて前記出力部を制御する、
　前記（４６）または（４７）に記載の情報処理装置。
（４９）
　前記環境情報は、前記ユーザ端末が含むマイククロフォンにより取得される音情報を含む、
　前記（４８）に記載の情報処理装置。
（５０）
　前記ユーザ端末は、前記センサ情報を取得するように構成された第１のセンサ部を含み、
　前記出力制御部は、前記ユーザ端末から取得される前記センサ情報に基づいて、前記出力部を制御する
　前記（４６）～（４９）のいずれか一項に記載の情報処理装置。
（５１）
　前記センサ情報を取得するように構成され、前記第１のセンサ部とは異なる第２のセンサ部をさらに備え、
　前記出力制御部は、前記第１のセンサ部により取得される前記センサ情報と前記第２のセンサ部により取得される前記センサ情報に基づいて、前記出力部を制御する
　前記（５０）に記載の情報処理装置。
（５２）
　前記ユーザの視野の略全範囲を覆うように構成された表示部をさらに備え、
　前記出力制御部は、前記第１のセンサ部により取得される前記センサ情報と前記第２のセンサ部により取得される前記センサ情報に基づいて、前記出力部から前記表示部に提示される映像の視差を制御する
　前記（５１）に記載の情報処理装置。
（５３）
　前記第１のセンサ部により取得される前記センサ情報は、前記ユーザ端末への前記ユーザの入力操作情報を含み、
　前記第２のセンサ部により取得される前記センサ情報は、前記ユーザの回転動作に関する回転動作情報を含み、
　前記出力制御部は、前記回転動作情報および前記入力操作情報に基づいて、前記映像の視差を制御する
　前記（５２）に記載の情報処理装置。
（５４）
　前記出力制御部は、前記ユーザが乗ることが可能な所定のオブジェクトに配置された前記ユーザ端末から取得される前記センサ情報に基づいて、前記出力部を制御する
　前記（５０）～（５３）のいずれか一項に記載の情報処理装置。

　１００…ドーム型ディスプレイ、１０１…ドーム型スクリーン
　１０２…支持体、１０２Ａ、１０２Ｂ…軸部
　１０３、１０４…プロジェクタ、１０５…映像復号部
　１０６…椅子、１０８、１０９…プロジェクタ
　９００…システム、９１０…制御部
　９１１…メイン・コントローラ、９１２…メイン・メモリ
　９１３…通信部、９１４…映像用ＤＳＰ、９１５…音響用ＤＳＰ
　９３１…ＤＡＣ、９３２…増幅部、９３３…ヘッドフォン
　９３４…ヘッドレスト・スピーカー、９３５…サブウーファー
　９３６…スピーカー、９３７…リアスピーカー
　９４１…変位センサ、９４２…頭部検出カメラ、９４３…外付けセンサ、９４４…オーディオプレイヤ
　９５０…ＭＣＯＭ、９５１…駆動系出力部
　９５２…外部出力部、９５３…ディスプレイＵＩ部
　１０００…椅子、１０１０…シートバック
　１０１１～１０１４…マーカ、１０２１、１０２２…カメラ
　１０３０…アームレスト
　１５００…トレッドミル
　１５１０…踏み台、１５１１…無端ベルト
　１５２０…操作パネル、１５２１、１５２２…手摺りフレーム
　１５３１、１５３２…マーカ、１５４１、１５４２…マーカ
　１５５１、１５５２…カメラ
　１６００…フィットネスバイク、１６１０…サドル
　１６２０…ハンドル、１６３０…前輪、１６４１…マーカ
　１６５１、１６５２…マーカ、１６６１、１６６２…カメラ
　２０００…部屋の天井や壁面
　２１００…椅子、２１０１…幌
　２１１１、２１１２…マーカ、２１２０…カメラ
　２３００…乗用車の車室、２３０１…座席
　２３１１…マーカ、２３２０…カメラ
　２４００…ベッド
　２４０１、２４０２…マーカ、２４１１、２４１２…カメラ
　２５００…ベッド
　２５０１…リクライニング、２５１０…ディスプレイ
　２５２１、２５２２…マーカ、２５３１、２５３２…カメラ

Claims

　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部と、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部と、を具備する情報処理装置。
　前記所定のオブジェクトは、前記ユーザが着座可能なオブジェクトであり、
　前記ユーザの身体動作は、前記ユーザの上半身の傾き動作を含む、請求項１に記載の情報処理装置。
　前記所定のオブジェクトはシートバックを有し、
　前記変位情報取得部は、前後方向、左右方向及び上下方向のうち少なくとも１つにおける前記シートバックの位置の変化に対応する前記変位情報を取得する、請求項２に記載の情報処理装置。
　前記変位情報取得部は、前記前後方向における前記シートバックの倒れ角度に対応する前記変位情報を取得する、請求項３に記載の情報処理装置。
　前記変位情報取得部は、第１の倒れ角度と、前記第１の倒れ角度よりも大きい第２の倒れ角度を前記変位情報として取得し、
　前記出力部は、第１の出力と、前記第１の出力とは異なる第２の出力を含む前記所定の出力を行い、
　前記出力制御部は、前記シートバックが前記第１の倒れ角度を有する場合に前記出力部が前記第１の出力を行うように制御し、前記シートバックが前記第２の倒れ角度を有する場合に前記出力部が前記第２の出力を行うように制御する、請求項４に記載の情報処理装置。
　前記変位情報取得部は、前記シートバックの所定時間当たりの倒れ角度に対応する変位情報を取得する、請求項４に記載の情報処理装置。
　前記変位情報取得部は、前記シートバックの倒れ角加速度に対応する変位情報を取得し、
　前記出力部は、第３の出力を含む前記所定の出力を行い、
　前記出力制御部は、前記倒れ角加速度が所定の閾値以上である場合に前記出力部が前記第３の出力を行うように制御する、請求項３に記載の情報処理装置。
　前記変位情報取得部は、前記所定のオブジェクトの着座部位の前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、請求項２に記載の情報処理装置。
　前記変位情報取得部は、前記所定のオブジェクトのアームレストの前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、請求項２に記載の情報処理装置。
　前記出力部は、映像を表示する表示部を含む、請求項２に記載の情報処理装置。
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の明るさを制御する、請求項１０に記載の情報処理装置。
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の視差を制御する、請求項１０に記載の情報処理装置。
　前記出力制御部は、前記所定のオブジェクトの左右方向における倒れ角度に基づいて、前記映像の遷移方向を制御する、請求項１０に記載の情報処理装置。
　前記出力制御部は、音響信号に応じたエフェクト画像を表示させる、請求項１０に記載の情報処理装置。
　前記出力制御部は、前記音響信号の解析結果に応じて前記エフェクト画像を変化させる、請求項１４に記載の情報処理装置。
　前記エフェクト画像は、前記表示部の外縁付近に近づくにつれて相対的な長さを伸ばすように表示される粒子を含む、請求項１４に記載の情報処理装置。
　前記エフェクト画像は、仮想空間において奥行方向に互いに重なり合い、前記音響信号の変化に応じて、前記仮想空間において奥行方向に互いに離間または接近する複数の粒子群レイヤーを含む、請求項１４に記載の情報処理装置。
　前記変位情報取得部は、前記所定のオブジェクトの上面の前後方向、左右方向及び上下方向のうち少なくとも１つにおける位置の変化に対応する前記変位情報を取得する、請求項１に記載の情報処理装置。
　前記出力部は、前記所定のオブジェクトの上方に設けられた映像を表示する表示部を含み、
　前記出力制御部は、前記変位情報に基づいて推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像を制御する、請求項１８に記載の情報処理装置。
　前記出力制御部は、前記推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像の表示位置を制御する、請求項１９に記載の情報処理装置。
　前記出力制御部は、前記推定される前記ユーザの頭部位置及び正面方向の少なくとも一方に応じて前記映像の向きを制御する、請求項１９に記載の情報処理装置。
　前記出力部は、前記第１の出力及び前記第２の出力のいずれとも異なる第４の出力を含む前記所定の出力を行い、
　前記変位情報取得部は、前記所定の部位の振動又は揺動に対応する前記変位情報を取得し、
　前記出力制御部は、前記振動又は揺動に応じて前記出力部が前記第４の出力を行うように制御する、請求項５に記載の情報処理装置。
　前記出力部は、音響を出力するスピーカーを含み、前記スピーカーは、前記スピーカーの振動方向に正対する直線が前記ユーザの顔と交差するように設けられる、請求項１に記載の情報処理装置。
　前記スピーカーと前記ユーザの顔との間で、前記スピーカーの前記振動方向に正対する直線が遮られない、請求項２３に記載の情報処理装置。
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得ステップと、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御ステップと、を有する情報処理方法。
　ユーザが乗っている所定のオブジェクトの所定の部位の前記ユーザの身体動作に応じた３次元的な変位に対応する変位情報を、前記所定の部位の位置情報に基づいて取得する変位情報取得部、
　前記取得された変位情報に基づいて、出力部が所定の出力を行うように制御する出力制御部、としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラム。