JP2019179080A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザによって操作されるカメラワークの撮影映像と、ユーザ以外の主体によって操作されるカメラワークの撮影映像とをより適切に切り替えることを可能にする。【解決手段】ユーザの動作に関する情報を取得する取得部と、前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御する制御部と、を備える、情報処理装置が提供される。【選択図】図１１

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、撮影技術または情報処理技術の進展に伴い、映像コンテンツの表示に関する様々な技術が開発されている。例えば、以下の特許文献１には、ユーザ視点の第１の画像の表示制御を行う第１の表示制御モードと、ユーザが撮影された第２の画像の表示制御を行う第２の表示制御モードとを切り替える技術が開示されている。

特開２０１４−１１５４５７号公報

しかし、特許文献１の技術等によっては、ユーザによって操作されるカメラワークの撮影映像と、ユーザ以外の主体によって操作されるカメラワークの撮影映像とを適切に切り替えることはできなかった。

そこで、本開示は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによって操作されるカメラワークの撮影映像と、ユーザ以外の主体によって操作されるカメラワークの撮影映像とをより適切に切り替えることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

本開示によれば、ユーザの動作に関する情報を取得する取得部と、前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御する制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、ユーザの動作に関する情報を取得することと、前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、を有する、コンピュータにより実行される情報処理方法が提供される。

また、本開示によれば、ユーザの動作に関する情報を取得することと、前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザによって操作されるカメラワークの撮影映像と、ユーザ以外の主体によって操作されるカメラワークの撮影映像とをより適切に切り替えることが可能になる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係るＨＭＤ１００の一例を示す図である。 ユーザによって操作される第１のカメラワークと、ユーザ以外の主体によって操作される第２のカメラワークの一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 ウィンドウの表示態様の一例を示す図である。 本実施形態に係るＨＭＤ１００の機能構成例を示すブロック図である。 映像コンテンツの進行もしくは内容の制御例を示す図である。 映像コンテンツの進行もしくは内容の制御例を示す図である。 ウィンドウの切り替えに関する処理フローの一例を示すフローチャートである。 ウィンドウの制御に関する処理フローの一例を示すフローチャートである。 映像コンテンツの進行の制御に関する処理フローの一例を示すフローチャートである。 本実施形態に係るＨＭＤ１００を具現する情報処理装置９００のハードウェア構成例を示すブロック図である。 コントローラ２００の一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．背景
２．機能概要
３．機能構成例
４．処理フローの例
５．ハードウェア構成例
６．備考
７．まとめ

＜１．背景＞
まず、本開示の背景について説明する。

例えば、ユーザがテレビやヘッドマウントディスプレイ（以降、「ＨＭＤ」と呼称する）等を用いて映像コンテンツを視聴する場合、製作者によって操作されるカメラワークの撮影映像のみが提供されるとユーザの欲求が満たされない場合がある。例えば、ユーザが撮影映像中のあるオブジェクトに興味をもち当該オブジェクトを注視していても、製作者によって操作されるカメラワークは、ユーザの興味を考慮することなく撮影を行うため、ユーザは当該オブジェクトをよく見ることができない場合がある（例えば、当該オブジェクトが画角から外れる等）。

他方、自由視点技術等によって実現される、ユーザによって操作されるカメラワークの撮影映像のみが提供されると、ユーザは常に（または頻繁に）移動操作を行わなければ所望の撮影映像を見ることができないため、ユーザへの負荷が高くなり、長時間の視聴には適さない。特に、映像コンテンツがサッカー中継等である場合のように、被写体が移動する空間が広くなるほど、ユーザへの負荷はより高くなる。そこで、ユーザによって操作されるカメラワークの撮影映像と、製作者によって操作されるカメラワークの撮影映像とを適切に切り替えることが求められている。

しかし、上記のとおり、特許文献１の技術等によっては、ユーザによって操作されるカメラワークの撮影映像と、製作者によって操作されるカメラワークの撮影映像とを適切に切り替えることはできなかった。

本件の開示者は、上記事情に鑑みて、本開示を創作するに至った。本開示は、ユーザの動作に基づいてユーザによって操作される第１のカメラワークの撮影映像を表示する第１のウィンドウと、ユーザ以外の主体によって操作される第２のカメラワークの撮影映像を表示する第２のウィンドウの切り替えを制御する。以降では、本開示を詳細に説明していく。

＜２．機能概要＞
上記では、本開示の背景について説明した。続いて、本開示の機能概要について説明する。

本開示は、様々な装置やシステムに適用され得るところ、以降では、一例として、本開示が図１に示すような遮蔽型のＨＭＤ１００に適用された場合について説明する。ＨＭＤ１００は、ユーザの頭部に装着され、撮影映像を眼前のディスプレイに表示する情報処理装置である。なお、ＨＭＤ１００の形状は図１に示された形状に限定されない。例えば、必ずしもユーザの視界全体が覆われていなくてもよい。

ＨＭＤ１００は、全天球映像が表示される映像コンテンツ（以降、「全天球映像コンテンツ」と呼称する）、または、自由視点映像が表示される映像コンテンツ（以降、「自由視点映像コンテンツ」と呼称する）等を提供する。なお、ＨＭＤ１００が提供する映像コンテンツは、撮影と並行してリアルタイムに提供されるコンテンツ、または、過去に収録されたコンテンツのうちのいずれでもよい。また、ＨＭＤ１００が提供する映像コンテンツの内容も特に限定されず、例えば、ゲーム、映画またはミュージックビデオ等を含むとする。

そして、ＨＭＤ１００は、ユーザの所定の動作に基づいて、ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、ユーザ以外の主体（例えば、映像コンテンツの製作者等）によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御する。なお、ユーザに提供される映像コンテンツは実写間を撮像した映像に限られず、予め任意に作成された仮想空間の映像であっても良い。この場合、ユーザに対して提供される仮想空間の一部の領域もまた撮影映像として見做され得る。すなわち、本開示において第１の表示領域は、ユーザによって操作される第１のカメラワークの撮影映像（実空間映像の一部または仮想空間映像の一部）を示す表示領域として見做され得る。一方、第２の表示領域は、ユーザ以外の主体によって操作される第２のカメラワークの撮影映像（実空間映像の一部または仮想空間映像の一部）を表示する表示領域として見做され得る。本開示において、これらの撮影映像を表示する表示領域を、便宜上、第１のウィンドウ、第２のウィンドウという場合がある。なお、本開示において、上記表示領域がＨＭＤのスクリーン全体（ユーザの視界）を占める場合も、便宜上、第１の（第２の）ウィンドウと称する点に留意されたい。すなわち、本開示におけるウィンドウとは、平面的な表示領域やユーザが視認可能な境界を有する表示領域に限定されない点に留意されたい。

例えば、ＨＭＤ１００が卓球の試合に関する自由視点映像コンテンツを提供する場合を一例として考える。このとき、図２の２Ａには、ユーザ以外の主体によって操作される第２のカメラワーク１０が示されている。ユーザ以外の主体が当該映像コンテンツの製作者である場合、製作者は、試合展開に応じてより適切な映像が撮影されるように第２のカメラワーク１０を決定する。なお、ユーザ以外の主体は、映像コンテンツの製作者に限定されない。例えば、ユーザ以外の主体は、ユーザ以外の他のユーザ（例えば、卓球の試合を観戦している他のユーザ、相手選手を応援している他のユーザ、または、芸能人等のようにカリスマ性を有するユーザ等）であり、第２のカメラワーク１０は他のユーザの視点と同期していてもよい。また、ユーザ以外の主体は、映像コンテンツソフトウェア自体であり、第２のカメラワーク１０は、映像コンテンツソフトウェアが空間メタ情報（例えば、選手もしくはボールの位置に関する情報等）を解析することで自律的に制御するものであってもよい。なお、自由視点映像コンテンツが提供される場合、第２のカメラワーク１０（換言すると、カメラの位置）は、製作者等のユーザ以外の主体によって操作されるが、撮影映像の内容（換言すると、カメラが撮影する方向もしくは画角等）はユーザの操作によって制御され得るとする。

他方、図２の２Ｂには、ユーザによって操作される第１のカメラワーク１１が示されている。ＨＭＤ１００は、ユーザの眼球を撮影可能な態様で設置されたカメラ（以降、「内向きカメラ」と呼称する）、ジャイロセンサ、加速度センサまたは方位センサ等を備えている。そして、ＨＭＤ１００は、これらのセンサによって取得される各種センサ情報を解析することで、ＨＭＤ１００を装着しているユーザの頭部の姿勢または視線を認識することができる。そして、ユーザは、ＨＭＤ１００を装着した状態で、頭部の姿勢や視線を変えたり、移動したりすることによって、第１のカメラワーク１１（換言すると、ユーザの視点）を変更し、所望の映像をディスプレイに表示させることができる。

そして、ＨＭＤ１００は、ユーザの所定の動作に基づいて、第１のカメラワーク１１の撮影映像を表示する第１のウィンドウと、第２のカメラワーク１０の撮影映像を表示する第２のウィンドウを切り替える。例えば、図３に示すように、ＨＭＤ１００は、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウ１２をＨＭＤ１００のディスプレイ全体に表示している状態で、ユーザによって所定の動作が行われた場合に、他方のウィンドウに切り替えてもよい。

また、ＨＭＤ１００は、図３以外にも様々な態様で第１のウィンドウと第２のウィンドウの切り替えを行うことができる。例えば、図４に示すように、ＨＭＤ１００は、第１のウィンドウまたは第２のウィンドウをユーザの視界に同時に提供し、ユーザによって所定の動作が行われた場合に、第１のウィンドウと第２のウィンドウを切り替えてもよい。より具体的には、ＨＭＤ１００は、一方のウィンドウ１３に対して、他方のウィンドウ１４を重畳的に表示している状態で、所定の動作が行われた場合に、第１のウィンドウと第２のウィンドウを切り替えてもよい。これによって、ユーザは、２種類のウィンドウが存在することを認識することができ、必要に応じてこれらのウィンドウを切り替えることができる。

また、図５に示すように、ＨＭＤ１００は、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウ１５に対して、他方のウィンドウ１６を重畳的に表示する際に、他方のウィンドウ１６の位置、大きさまたは形状等を制御することで、ユーザがより見易い映像を表示してもよい。より具体的には、ＨＭＤ１００は、ウィンドウ１５に表示されているオブジェクト（図中における選手）に重畳しないようにウィンドウ１６の位置、大きさまたは形状等を制御してもよい。これによって、ユーザは、より簡単にウィンドウ１５およびウィンドウ１６を見比べることができ、より簡単にオブジェクトを見ることができる。また、ユーザは、所望の撮影映像を表示する第１のウィンドウが表示された状態でも、第２のウィンドウに表示される（製作者等から提供される）重要なシーンを見逃さない。なお、ウィンドウ１６は、単に重畳的に表示されるだけでなく、あたかもウィンドウ１５の世界に設置された仮想的なディスプレイに見えるような態様で表示されてもよい（例えば、ディスプレイにおけるウィンドウ１６の表示位置がユーザの視界と連動する等）。

また、図６に示すように、ＨＭＤ１００は、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウ１７に表示されている重要度の高いオブジェクト（以降、「重要オブジェクト」と呼称する）に重畳しないように他方のウィンドウ２３の位置、大きさまたは形状等を制御してもよい。なお、重要オブジェクトは、ウィンドウ１７において相対的に高い表示優先度を有するオブジェクトとして見做されてもよい。より具体的には、図６における重要オブジェクトが選手１８、選手１９、ボール２０、卓球台２１および審判２２である場合、ＨＭＤ１００は、これらの各重要オブジェクトに重畳しないようにウィンドウ２３の位置、大きさまたは形状等を決定しｖ、ウィンドウ２３を重畳的に表示してもよい。これによって、ユーザは、より簡単に重要オブジェクトを見ることができる。

また、図７の７Ａに示すように、重畳的に表示されるウィンドウ２４が任意のオブジェクト２５に対して中途半端に重畳している場合（例えば、ウィンドウ２４がオブジェクト２５における所定の割合以上かつ所定の割合以下の領域に重畳している場合）、ＨＭＤ１００は、７Ｂに示すように、オブジェクト２５の大分部（例えば、オブジェクト２５における所定の割合以上の領域）が隠れるようにウィンドウ２４の位置、大きさまたは形状等を決定し、ウィンドウ２４を重畳的に表示してもよい。ウィンドウ２４が任意のオブジェクト２５に対して中途半端に重畳している場合、ユーザは不快感を覚える可能性があるため、上記の対応により、ＨＭＤ１００は、ユーザに与える不快感を軽減させることができる。

また、図８の８Ａに示すように、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウ２６に、他方のウィンドウ２７を重畳的に表示できる十分な広さの領域が無い場合、ＨＭＤ１００は、８Ｂに示すように、ウィンドウ２６に対応する撮影映像を縮小することで、ウィンドウ２７を表示する領域（面積）を確保してもよい。なお、ＨＭＤ１００は、ウィンドウ２７を表示できる十分な広さの領域を確保できれば、ウィンドウ２６に対応する撮影映像の縮小ではなく、ウィンドウ２６に対応するカメラの画角を広げたり、ウィンドウ２６に対応するカメラの位置を後ろに変更したりしてもよい。

また、図９に示すように、ＨＭＤ１００は、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウ２８に複数のカメラをそれぞれ示す複数のオブジェクト３０（図中には、オブジェクト３０ａ〜オブジェクト３０ｃが示されている）を表示してもよい。ユーザは、複数のオブジェクト３０の中から所望のオブジェクト３０を選択することで、選択したオブジェクト３０に対応するカメラからの撮影映像をディスプレイに表示させることができる。なお、ユーザが選択したオブジェクト３０に対応するカメラからの撮影映像は、ウィンドウ２８およびウィンドウ２９のいずれに表示されてもよい。また、ＨＭＤ１００は、図９に示すように、重畳的に表示されているウィンドウ２９に対応するカメラを示すオブジェクト３０に所定のマーク３１を付加してもよい。これによって、ユーザは、ウィンドウ２９に表示されている映像の撮影位置を認識することができる。

なお、ＨＭＤ１００は、複数のカメラをそれぞれ示す複数のオブジェクト３０を、重畳的に表示されているウィンドウ２９中に表示してもよい。そして、ＨＭＤ１００は、ウィンドウ２８に対応するカメラを示すオブジェクト３０に所定のマーク３１を付加してもよい。

また、会場全体（例えば、卓球の試合会場等）を上方向から俯瞰する映像（以降、「俯瞰映像」と呼称する）が用意され、俯瞰映像中にカメラを示すオブジェクトが表示されてもよい。ユーザは、俯瞰映像中のオブジェクトの中から所望のオブジェクトを選択することで、選択したオブジェクトに対応するカメラからの撮影映像をディスプレイに表示させることができる。

なお、上記で説明したディスプレイの表示態様はあくまで例であり、適宜柔軟に変更され得る。

ここで、ウィンドウの切り替えのトリガとなるユーザの所定の動作について説明すると、第２のウィンドウ（製作者等により提供される撮影映像が表示されるウィンドウ）が第１のウィンドウ（ユーザ所望の撮影映像が表示されるウィンドウ）よりも大きい状態から、第１のウィンドウが第２のウィンドウよりも大きい状態への切り替えについては、例えば、ユーザが立ち上がる動作、ユーザが首を動かす動作、ユーザが所定のコントローラを持ち上げる動作、ユーザが所定のコントローラのボタンを押下する動作、ユーザが一定以上の時間にわたり特定の被写体を注視し続ける動作、または、ユーザが一定以上の時間にわたり第１のウィンドウ（または、図９の、カメラを示すオブジェクト３０のいずれか）を注視し続ける動作等が含まれる。なお、ディスプレイ全体に第２のウィンドウが表示されている状態から、ディスプレイ全体に第１のウィンドウが表示される状態への切り替えについても同様である（この場合、切り替え前のディスプレイには、第２のウィンドウしか表示されていないため、ユーザが一定以上の時間にわたり第１のウィンドウを注視し続ける動作は含まれない）。

反対に、第１のウィンドウが第２のウィンドウよりも大きい状態から、第２のウィンドウが第１のウィンドウよりも大きい状態への切り替えについては、例えば、ユーザが座る動作、ユーザが首を動かす動作、ユーザが所定のコントローラを置く動作、ユーザが所定のコントローラのボタンを押下する動作、ユーザが一定以上の時間にわたり特定の被写体を注視し続ける動作、ユーザが一定以上の時間にわたり第２のウィンドウ（または、図９の、カメラを示すオブジェクト３０のいずれか）を注視し続ける動作、または、ユーザが一定以上の時間にわたり移動操作を行わないこと等が含まれる。なお、ディスプレイ全体に第１のウィンドウが表示されている状態から、ディスプレイ全体に第２のウィンドウが表示される状態への切り替えについても同様である（この場合、切り替え前のディスプレイには、第１のウィンドウしか表示されていないため、ユーザが一定以上の時間にわたり第２のウィンドウを注視し続ける動作は含まれない）。

なお、ウィンドウの切り替え方法は上記に限定されない。例えば、図１０の１０Ａに示すように、自由視点映像コンテンツがディスプレイに表示されている状態で、ユーザが壁へ入り込む動作をした場合（１０Ａの矢印方向に移動した場合）、１０Ｂに示すように、複数のカメラからの撮影映像をそれぞれ示す複数のウィンドウ３２（図中には、ウィンドウ３２ａ〜ウィンドウ３２ｃが示されている）が表示されている空間への遷移が行われてもよい。そして、ユーザは、複数のウィンドウ３２のいずれかに入り込む動作（または、一定以上の時間にわたり複数のウィンドウ３２のいずれかを注視し続ける動作等）をすることで、ディスプレイに所望のウィンドウ３２を表示させることができる。自由視点映像コンテンツにおいては、カメラによって撮影されない範囲にユーザが入り込む（めり込む）ことができてしまう場合がある。この場合、従来、ディスプレイ全体を暗転させる等の対応がとられていたが、この対応ではユーザが不快感を覚える可能性がある。その点、ＨＭＤ１００は、上記の対応をとることによって、暗転等によりユーザが不快感を覚えることを防止し、かつ、ユーザがより簡単に所望のウィンドウを選択することを可能にする。

また、ＨＭＤ１００は、ユーザの動作に基づいて映像コンテンツの進行もしくは内容を制御することもできる。例えば、ユーザが撮影映像中の任意のオブジェクトを一定以上の時間にわたり注視し続けた場合、ＨＭＤ１００は、映像コンテンツの進行を一時的に中断したり、進行速度を遅くしたりすることができる。詳細については後述する。

＜３．機能構成例＞
上記では、本開示の機能概要について説明した。続いて、図１１を参照して、ＨＭＤ１００の機能構成例について説明する。

図１１に示すように、ＨＭＤ１００は、センサ部１１０と、操作入力部１２０と、制御部１３０と、表示部１４０と、スピーカ１５０と、通信部１６０と、記憶部１７０と、を備える。

（センサ部１１０）
センサ部１１０は、ユーザまたは周辺環境に関する各種センサ情報を取得する取得部として機能する機能構成である。例えば、センサ部１１０は、内向きカメラ１１１、ジャイロセンサ１１２、加速度センサ１１３および方位センサ１１４を備える。なお、センサ部１１０は、外向きカメラ、マイクロホン、測位センサまたはＴＯＦ（Time-of-Flight）センサ等を含むその他のセンサを備えていてもよい。また、各センサは複数あってもよい。また、これらの各センサがＨＭＤ１００以外の外部装置（または、外部システム）に備えられており、各種センサ情報は外部装置から取得されてもよい。センサ部１１０は、取得した各種センサ情報を制御部１３０へ提供する。

（内向きカメラ１１１）
内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々備える機能構成である。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary
Metal Oxide Semiconductor）センサアレイにより実現されてもよい。

（ジャイロセンサ１１２）
ジャイロセンサ１１２は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する機能構成である。

（加速度センサ１１３）
加速度センサ１１３は、例えば３軸加速度センサ（Ｇセンサとも呼称される）により実現され、移動時の加速度を検出する機能構成である。

（方位センサ１１４）
方位センサ１１４は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する機能構成である。

（操作入力部１２０）
操作入力部１２０は、ユーザによる入力を受ける機能構成であり、ユーザの動作に関する情報を取得する取得部としても機能する。例えば、操作入力部１２０はマウス、キーボード、タッチパネル、ボタン、スイッチまたはマイクロホン等の入力手段を備えており、ユーザはこれらを用いて各種の入力を行うことができる。操作入力部１２０は、入力された内容を制御部１３０に提供する。なお、操作入力部１２０が備える入力手段はこれらに限定されない。

（制御部１３０）
制御部１３０は、ＨＭＤ１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１３０は、制御情報を生成することによって、表示部１４０またはスピーカ１５０等を含む各機能構成の起動や停止を制御することができる。なお、制御部１３０の制御内容はこれに限定されない。例えば、制御部１３０は、ＨＭＤ１００を含む任意の情報処理装置によって一般的に行われる処理を制御してもよい。本実施形態においては、制御部１３０は、認識エンジン１３１、切替制御部１３２、ウィンドウ制御部１３３およびコンテンツ制御部１３４を備える。

（認識エンジン１３１）
認識エンジン１３１は、センサ部１１０により取得された各種センサ情報を用いてユーザまたは周辺の各種状況を認識する機能構成である。より具体的には、認識エンジン１３１は、頭部姿勢認識エンジン１３１ａおよび視線認識エンジン１３１ｂを含む。なお、認識エンジン１３１は、Ｄｅｐｔｈ認識エンジン、ＳＬＡＭ（Simultaneous
Localization and Mapping）認識エンジン、音声認識エンジン、位置認識エンジンまたは行動認識エンジン等を含むその他の認識エンジンを備えていてもよい。

（頭部姿勢認識エンジン１３１ａ）
頭部姿勢認識エンジン１３１ａは、センサ部１１０により取得された各種センサ情報を用いて、ユーザの頭部の姿勢（身体に対する顔の向きまたは傾きを含む）を認識する機能構成である。例えば頭部姿勢認識エンジン１３１ａは、ジャイロセンサ１１２により取得されたジャイロ情報、加速度センサ１１３により取得された加速度情報または方位センサ１１４により取得された方位情報の少なくともいずれかを解析して、ユーザの頭部の姿勢を認識し得る。なお頭部姿勢の認識アルゴリズムは一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

（視線認識エンジン１３１ｂ）
視線認識エンジン１３１ｂは、センサ部１１０により取得された各種センサ情報を用いて、ユーザの視線検出を行う機能構成である。例えば、視線認識エンジン１３１ｂは、内向きカメラ１１１により取得されたユーザの眼の撮影映像を解析して、ユーザの視線方向を認識する。なお、視線検出のアルゴリズムは特に限定されないが、視線認識エンジン１３１ｂは、例えば、目頭と虹彩の位置関係、または角膜反射（プルキニエ像等）と瞳孔の位置関係に基づいて視線検出を実現し得る。また、視線認識エンジン１３１ｂは、のＨＭＤ１００の正面を視線方向とみなしてもよい。

（切替制御部１３２）
切替制御部１３２は、ウィンドウの切り替えを制御する機能構成である。より具体的には、上記の認識エンジン１３１が各種センサ情報を解析することでユーザによる所定の動作を検出した場合、または、操作入力部１２０から所定の入力が行われた場合、切替制御部１３２は、ユーザによって操作される第１のカメラワークの撮影映像を表示する第１のウィンドウと、ユーザ以外の主体（例えば、映像コンテンツの製作者等）によって操作される第２のカメラワークの撮影映像を表示する第２のウィンドウを切り替える。なお、ウィンドウの切り替えのトリガとなるユーザの所定の動作例については上述のとおりである。切替制御部１３２は、ウィンドウの切り替えを行う旨を通知する制御情報を生成し、ウィンドウ制御部１３３へ提供する。

（ウィンドウ制御部１３３）
ウィンドウ制御部１３３は、ディスプレイに表示されるウィンドウを制御する機能構成である。より具体的には、ウィンドウの切り替えを行う旨を通知する制御情報が切替制御部１３２から提供された場合、ウィンドウ制御部１３３は、例えば、上記の図３〜図８で説明した表示態様のうち、いずれの態様でウィンドウを表示させるかを決定する。ウィンドウの表示態様の決定方法は特に限定されない。例えば、ウィンドウの表示態様は予め決定されていてもよいし、ユーザ入力等に基づいて決定されてもよい。

そして、ウィンドウ制御部１３３は、決定した表示態様を実現するための各種処理を行う。例えば、ウィンドウの表示態様が図５に示したものである場合、ウィンドウ制御部１３３は、所定の画像解析処理等によってウィンドウ１５に表示されているオブジェクト（図中における選手）を認識し、当該オブジェクトに重畳しないようにウィンドウ１６の位置、大きさまたは形状等を決定する。そして、ウィンドウ制御部１３３は、決定に基づいて制御情報を生成し、表示部１４０に提供することで図５の表示態様を実現する。なお、ウィンドウ１６の形状は、例えば、四角形を含む多角形、楕円形を含む円形、その他任意の形状（例えば、星形等）を含む。

また、ウィンドウの表示態様が図６に示したものである場合、ウィンドウ制御部１３３は、所定の画像解析処理等によってウィンドウ１７における重要オブジェクトの表示有無および表示位置を認識する。例えば、ウィンドウ制御部１３３は、ウィンドウ１７に表示されている各オブジェクトの特徴量を抽出し、事前に抽出された重要オブジェクトの特徴量と比較することで重要オブジェクトの表示有無および表示位置を認識する。そして、ウィンドウ制御部１３３は、重要オブジェクトに重畳しないようにウィンドウ２３の位置、大きさまたは形状等を決定する。なお、重要オブジェクトの決定方法は特に限定されない。例えば、重要オブジェクトは、予め決定されていてもよいし、ユーザが注視しているオブジェクトやユーザが指定したオブジェクトであってもよい。また、重要オブジェクトは、あるオブジェクト全体ではなく一部分だけを指してもよい。

また、ウィンドウの表示態様が図７に示したものである場合、ウィンドウ制御部１３３は、所定の画像解析処理等によってウィンドウ２４が任意のオブジェクト２５に対して中途半端に重畳していないかを確認する。より具体的には、ウィンドウ制御部１３３は、ウィンドウ２４がオブジェクト２５における所定の割合以上かつ所定の割合以下の領域に重畳していないかを確認する。ウィンドウ２４が任意のオブジェクト２５に対して中途半端に重畳している場合、ウィンドウ制御部１３３は、オブジェクト２５の大分部が隠れるようにウィンドウ２４の位置、大きさまたは形状等を決定する。より具体的には、ウィンドウ制御部１３３は、オブジェクト２５における所定の割合以上の領域が隠れるようにウィンドウ２４の位置、大きさまたは形状等を決定する。なお、オブジェクト２５の、ウィンドウ２４に収まりきらない部分については、ぼかし加工が施されたり、削除されたりしてもよい。

また、ウィンドウの表示態様が図８に示したものである場合、ウィンドウ制御部１３３は、ウィンドウ２６において、オブジェクト（重要オブジェクト等を指し、背景等を除く）が表示されておらず、かつ、ウィンドウ２７を重畳的に表示可能な十分な広さの領域を探索する。より具体的には、ウィンドウ制御部１３３は、ウィンドウ２６において、オブジェクトが表示されておらず、かつ、ウィンドウ２７を重畳的に表示可能な所定値以上の面積を有する領域を探索する。このような領域が存在しない場合、ウィンドウ制御部１３３は、ウィンドウ２６に対応する撮影映像を縮小することで、ウィンドウ２７を表示する領域を確保する。なお、上記のとおり、ウィンドウ２７を表示する領域を確保可能であれば、撮影映像の縮小以外の対応がとられてもよい。

なお、ウィンドウ制御部１３３によるウィンドウの制御内容は上記に限定されない。例えば、上記の制御内容は複数組み合わされてもよい。

また、ウィンドウが重畳的に表示される場合、ユーザにとって当該ウィンドウの境界が分かりづらくなる場合がある。そこで、ウィンドウ制御部１３３は、重畳的に表示させるウィンドウの周辺領域をぼかしたり、ウィンドウの周辺領域の輝度を下げたり、ウィンドウに枠を設けたりすることでウィンドウの境界を明確にしてもよい。

（コンテンツ制御部１３４）
コンテンツ制御部１３４は、ユーザの動作に基づいて映像コンテンツの進行もしくは内容を制御する機能構成である。より具体的には、上記の認識エンジン１３１が各種センサ情報を解析することでユーザの所定の動作を検出した場合、または、ユーザが操作入力部１２０から所定の入力をする動作を行った場合、コンテンツ制御部１３４は、映像コンテンツの進行もしくは内容を変更する。

映像コンテンツの進行の変更についてより具体的に説明すると、コンテンツ制御部１３４は、各種パラメータを変更することで、映像コンテンツの進行速度を早くしたり、遅くしたり、中断したりすること等を行う。

例えば、ＨＭＤ１００を装着したユーザが、ある街の全天球映像を見ながら散策することができる録画された街歩きコンテンツを視聴する場合において、図１２の１２Ａに示すように、撮影映像中のオブジェクト（図中では、看板）に対応する領域３３を注視していることが認識エンジン１３１によって認識されたとする。この場合、ユーザは領域３３に対応するオブジェクトに対して興味を示していると考えられるため、例えば、街歩きコンテンツが進行し、１２Ｂに示すように、領域３３に対応するオブジェクトがディスプレイの中央付近の表示されたタイミングで、コンテンツ制御部１３４は、再生を一時中断したり、再生速度を遅くしたりしてもよい。これによって、ユーザは当該オブジェクトをよく見ることができる。

また、ユーザが首を盛んに動かして周囲を見回していることが認識エンジン１３１によって認識された場合、コンテンツ制御部１３４は、ユーザが撮影映像中で何かを探索していると判断して、再生を中断したり、再生速度を遅くしたりしてもよい。また、ユーザが視聴動作としては不自然な動作（例えば、ＨＭＤ１００を外す動作等）をしていることが認識エンジン１３１によって認識された場合、コンテンツ制御部１３４は、ユーザが映像コンテンツの視聴を中断していると判断し、再生を一時中断してもよい。また、複数人のユーザが同期して映像コンテンツを視聴している際に、その中のいずれかのユーザが上記のような動作をした場合には、全ユーザが視聴している映像コンテンツの再生が一時中断されたり、再生速度が遅くされたりしてもよい。

そして、ユーザが上記の動作を止めた場合、または、再生の一時中断等が行われてから一定以上の時間が経過した場合等に、コンテンツ制御部１３４は、再生を再開したり、再生速度を通常の速度に戻したりしてもよい。

映像コンテンツの内容の変更についてより具体的に説明すると、例えば、ＨＭＤ１００を装着したユーザが、自由視点のスポーツコンテンツを視聴する場合において、図１３の１３Ａに示すように、撮影映像中のオブジェクト（図中では、選手）に対応する領域３４を注視していることが認識エンジン１３１によって認識されたとする。この場合、ユーザは領域３４に対応するオブジェクトに対して興味を示していると考えられるため、例えば、コンテンツ制御部１３４は、１３Ｂに示すように、当該オブジェクトが画角から外れないように各種パラメータ（例えば、画角、視点、拡大もしくは縮小倍率等）を決定してもよい。これによって、ユーザは当該オブジェクトをよく見続けることができる。

また、ユーザが、自由視点の街歩きコンテンツを視聴する場合において、撮影映像中のオブジェクトに対応する領域を注視していることが認識エンジン１３１によって認識されたとする。この場合、コンテンツ制御部１３４は、視点の移動を一時中断したり、当該オブジェクトが良く見えるように視点を移動したり、当該オブジェクトが時間の経過と共に消滅したり変化したりするものである場合には、消滅または変化のタイミングを遅らせたりしてもよい。また、首の動きが少ない等、ユーザが映像コンテンツに飽きてきたことが認識エンジン１３１によって認識された場合、コンテンツ制御部１３４は視点の移動を行ってもよい。

また、コンテンツ制御部１３４は、映像コンテンツで発生するイベントの内容等を制御してもよい。例えば、ＨＭＤ１００を装着したユーザが、自由視点のゲームコンテンツをプレイする場合において、映像中のオブジェクトに対応する領域または特定の方向を注視していることが認識エンジン１３１によって認識されたことをトリガに、コンテンツ制御部１３４は所定のイベントを発生させてもよい。また、ユーザが反対の方向を注視し続けている場合には、コンテンツ制御部１３４は、所定のイベントの発生を遅らせたり、別のイベントを発生させたりしてもよい。また、ユーザが、動いている複数のオブジェクトの中からいずれのオブジェクトを追尾対象として選択するかに基づいて、コンテンツ制御部１３４は発生させるイベント（またはその後のストーリー）を決定してもよい。

なお、上記はあくまで一例であり、映像コンテンツの制御内容は適宜変更され得る。例えば、コンテンツ制御部１３４は、ユーザによる発話もしくはジェスチャ等に基づいて映像コンテンツの進行もしくは内容を制御してもよい。また、例えば、第１のウィンドウ（ユーザ所望の撮影映像が表示されるウィンドウ）から第２のウィンドウ（製作者等により提供される撮影映像が表示されるウィンドウ）への切り替えが行われる間に、コンテンツ制御部１３４は、第１のウィンドウの表示によってユーザが見逃したシーンをハイライトシーンとして提供してもよい。また、ユーザが一度ＨＭＤ１００を外した後に再びＨＭＤ１００を装着した場合、コンテンツ制御部１３４は、ユーザがＨＭＤ１００を外した際に一時中断したシーンから少し巻き戻して（所定の時間だけ巻き戻して）再生を再開してもよい。

また、全天球映像コンテンツが撮影される際に、カメラが回転すると撮影映像も回転したものとなる。ユーザが、このように回転した撮影映像を見ると不快感を覚える可能性があるため、コンテンツ制御部１３４は、所定の画像処理を施すことで撮影映像の回転を補正し固定化した後の映像をユーザに提供してもよい。撮影映像の回転の補正方法は特に限定されない。

（表示部１４０）
表示部１４０は、ディスプレイ等であり、制御部１３０の制御に従って、各種情報を表示する機能構成である。例えば、表示部１４０は、制御部１３０の切替制御部１３２によって切り替えられ、かつ、ウィンドウ制御部１３３によって指定された態様で第１のウィンドウまたは第２のウィンドウを表示する。また、表示部１４０は、コンテンツ制御部１３４によって進行もしくは内容が制御された映像コンテンツを各ウィンドウに表示する。

（スピーカ１５０）
スピーカ１５０は、制御部１３０の制御に従って、音声信号を再生する機能構成である。

（通信部１６０）
通信部１６０は、有線もしくは無線により他の装置との間でデータの送受信を行う機能構成である。通信部１６０は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離もしくは非接触通信等の方式で、外部機器と直接もしくはネットワークアクセスポイントを介して無線通信する。

（記憶部１７０）
記憶部１７０は、上述した制御部１３０が各機能を実行するためのプログラム、パラメータまたは画像データ等を記憶する機能構成である。例えば記憶部１７０には、表示部１４０が表示する映像コンテンツに関する画像データ等が記憶されている。

以上、ＨＭＤ１００の機能構成例について説明した。なお、図１１を用いて説明した上記の機能構成はあくまで一例であり、ＨＭＤ１００の機能構成は係る例に限定されない。例えば、ＨＭＤ１００は、図１１に示す機能構成の全てを必ずしも備えなくてもよい。また、ＨＭＤ１００の機能構成は、仕様や運用に応じて柔軟に変形可能である。

＜４．処理フローの例＞
上記では、ＨＭＤ１００の機能構成例について説明した。続いて、ＨＭＤ１００の処理フローの例について説明する。

（ウィンドウの切り替えに関する処理フロー）
まず、図１４を参照して、ＨＭＤ１００によるウィンドウの切り替えに関する処理フローについて説明する。

ステップＳ１０００では、ＨＭＤ１００の表示部１４０が、製作者によって操作される第２のカメラワークの撮影映像を表示する第２のウィンドウを表示していたとする。ステップＳ１００４にて、認識エンジン１３１がセンサ部１１０からの各種センサ情報に基づいてユーザによる所定の動作を検出した場合（ステップＳ１００４／Ｙｅｓ）、ステップＳ１００８にて、切替制御部１３２が、ユーザによって操作される第１のカメラワークの撮影映像を表示する第１のウィンドウへの切り替えを行う。ここで、切替制御部１３２は、ディスプレイ全体を第１のウィンドウに切り替えてもよいし、第１のウィンドウと、第１のウィンドウに重畳するように第２のウィンドウが表示されたディスプレイに切り替えてもよい。

ステップＳ１０１２にて、認識エンジン１３１がセンサ部１１０からの各種センサ情報に基づいて、ユーザが一定以上の時間にわたり移動操作を行っていないことを認識した場合（ステップＳ１０１２／Ｙｅｓ）、ステップＳ１０１６にて、切替制御部１３２は、第２のウィンドウへの切り替えを行う。ここでも上記と同様に、切替制御部１３２は、ディスプレイ全体を第２のウィンドウに切り替えてもよいし、第２のウィンドウと、第２のウィンドウに重畳するように第１のウィンドウが表示されたディスプレイに切り替えてもよい。なお、図１４に示す処理フローは、映像コンテンツが起動している間に繰り返し行われることを想定している。

なお、ウィンドウの切り替えに関する処理フローは上記に限定されない。例えば、ステップＳ１００４にて、認識エンジン１３１がユーザによる所定の動作を検出した場合だけでなく、ユーザが操作入力部１２０から所定の入力を行った場合等においても、切替制御部１３２はウィンドウの切り替えを行ってもよい。その他、フローチャートは、適宜変更され得る。

（ウィンドウの制御に関する処理フロー）
続いて、図１５を参照して、ＨＭＤ１００によるウィンドウの制御に関する処理フローについて説明する。より具体的には、図１５には、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウに対して、他方のウィンドウが重畳的に表示される場合において、重畳的に表示される他方のウィンドウの表示制御に関する処理フローが示されている。当該処理フローは、例えば、図１４のステップＳ１００８またはステップＳ１０１６におけるウィンドウの切り替えの際に実行され得る。

ステップＳ１１００では、ＨＭＤ１００のウィンドウ制御部１３３がウィンドウの表示態様を決定する。より具体的には、ウィンドウ制御部１３３が、第１のウィンドウまたは第２のウィンドウのいずれか一方のウィンドウに対して、他方のウィンドウを重畳的に表示する旨を決定する。ステップＳ１１０４では、ウィンドウ制御部１３３が、ディスプレイにおいて重要オブジェクトが表示されていない領域を探索する。

そして、ウィンドウ制御部１３３が、ディスプレイにおいて重要オブジェクトが表示されていない十分な広さの領域（所定値以上の面積を有する領域）を検出することができない場合（ステップＳ１１０８／Ｎｏ）、ステップＳ１１１２にて、ウィンドウ制御部１３３は、より大きなウィンドウ（例えば、図８におけるウィンドウ２６）に対応するカメラの位置を後ろに変更する。これによって、ウィンドウ制御部１３３が、十分な広さの領域（所定値以上の面積を有する領域）を検出することができた場合（ステップＳ１１０８／Ｙｅｓ）、ステップＳ１１１６にて、ウィンドウ制御部１３３は、検出された領域へ重畳的にウィンドウを表示させる旨の制御情報を生成し、表示部１４０へ提供することで、表示部１４０が検出された領域へ重畳的にウィンドウを表示する。

なお、ウィンドウの制御に関する処理フローは上記に限定されない。例えば、ステップＳ１１１２にて、ウィンドウ制御部１３３は、より大きなウィンドウに対応するカメラの位置を後ろに変更するのではなく、より大きなウィンドウに対応する撮影映像を縮小すること等によって十分な広さの領域を確保してもよい。その他、フローチャートは、適宜変更され得る。

（映像コンテンツの進行の制御に関する処理フロー）
続いて、図１６を参照して、ＨＭＤ１００による映像コンテンツの進行の制御に関する処理フローについて説明する。

ステップＳ１２００では、ＨＭＤ１００のコンテンツ制御部１３４が全天球映像コンテンツを再生しているとする。ステップＳ１２０４にて、認識エンジン１３１がセンサ部１１０からの各種センサ情報に基づいてユーザが撮影映像中の任意のオブジェクトを注視していることを検出した場合（ステップＳ１２０４／Ｙｅｓ）、ステップＳ１２０８にて、コンテンツ制御部１３４は、全天球映像コンテンツの再生を一時中断する。

ステップＳ１２１２にて、ユーザがオブジェクトへの注視を止めたことを認識エンジン１３１が検出した場合（ステップＳ１２１２／Ｙｅｓ）、ステップＳ１２１６にて、コンテンツ制御部１３４は、全天球映像コンテンツの再生を再開する。

なお、映像コンテンツの進行の制御に関する処理フローは上記に限定されない。例えば、ステップＳ１２０８にて、コンテンツ制御部１３４は、全天球映像コンテンツの再生速度を遅くしてもよい。また、コンテンツ制御部１３４は、ユーザの動作に基づいて、映像コンテンツの進行だけでなく映像コンテンツの内容を制御してもよい。

また、図１４〜図１６に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

＜５．ハードウェア構成例＞
上記では、ＨＭＤ１００の処理フローの例について説明した。続いて、ＨＭＤ１００のハードウェア構成例について説明する。上記で説明してきた各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１７は、ＨＭＤ１００を具現する情報処理装置９００のハードウェア構成例を示すブロック図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、制御部１３０の機能が実現される。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための操作入力部１２０や、各種センサ情報を入力するセンサ部１１０として機能し、入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置９０９は、映像データ等の各種情報をイメージまたはテキストで表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。当該出力装置９０９により、表示部１４０またはスピーカ１５０の機能が実現される。

ストレージ装置９１０は、記憶部１７０の一例として構成されたデータ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。

通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置９１２により、通信部１６０の機能が実現される。

なお、情報処理装置９００のハードウェア構成は、図１７に示す構成に限られない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して通信を行う場合には、通信装置９１２を備えていなくてもよい。また、通信装置９１２は、複数の通信方式によって通信を行うことが可能な構成であってもよい。また、例えば、図１７に示す構成の一部または全部は、１または２以上のＩＣ（Integrated Circuit）で実現されてもよい。

＜６．備考＞
上記では、ＨＭＤ１００のハードウェア構成例について説明した。続いて、図１８を参照して、本実施形態において使用可能なコントローラ２００の具体例について説明する。例えば、ユーザは、コントローラ２００を用いて、第１のウィンドウと第２のウィンドウの切り替え等を制御することができる。

当該コントローラ２００は、ユーザが片手で把持可能な小型のコントローラであり、図１８に示すように、上方向ボタン２１０と、下方向ボタン２２０と、Ｅｎｔｅｒボタン２３０と、ＵＰボタン２４０と、を備える。

（上方向ボタン２１０、下方向ボタン２２０）
上方向ボタン２１０または下方向ボタン２２０は、切り替え先のウィンドウを選択するボタンである。例えば、図９のカメラを示すオブジェクト３０がディスプレイに表示されている場合、ユーザは、上方向ボタン２１０または下方向ボタン２２０を押下することで、順方向または逆方向に各オブジェクト３０を選択すること（例えば、フォーカスを移動させること）ができる。

（Ｅｎｔｅｒボタン２３０）
Ｅｎｔｅｒボタン２３０は、切り替え先のウィンドウを決定し切り替えを実行するボタンである。例えば、ユーザは、上方向ボタン２１０または下方向ボタン２２０を用いて切り替え先のウィンドウを選択した状態（例えば、所望のカメラを示すオブジェクト３０がフォーカスされている状態）で、Ｅｎｔｅｒボタン２３０を押下することで、切り替え先のウィンドウを決定し切り替えを実行する。

（ＵＰボタン２４０）
ＵＰボタン２４０は、俯瞰映像へ移動するボタンである。例えば、ユーザは、ＵＰボタン２４０を押下することで、映像コンテンツの会場全体（例えば、卓球の試合会場等）を上方向から俯瞰する映像をディスプレイに表示させることができる。そして、この俯瞰映像には、複数のカメラをそれぞれ示す複数のオブジェクトが表示されており、ユーザは、上記の各ボタンを押下することで切り替え先のウィンドウの選択、決定およびウィンドウの切り替えを実行することができる。

なお、上記はあくまで一例であり、コントローラ２００における各ボタンの機能は適宜変更され得る。例えば、上方向ボタン２１０または下方向ボタン２２０は、切り替え先のウィンドウの選択ではなく、順方向または逆方向にウィンドウの切り替えを実行してもよい。また、切り替え先のウィンドウの選択は、カメラを示すオブジェクトの注視等によって実現されてもよい。

＜７．まとめ＞
以上で説明してきたように、本開示は、ユーザの動作に基づいて、ユーザによって操作される第１のカメラワークの撮影映像を表示する第１のウィンドウと、ユーザ以外の主体によって操作される第２のカメラワークの撮影映像を表示する第２のウィンドウの切り替えを制御することができる。

また、本開示は、様々な態様で第１のウィンドウまたは第２のウィンドウを表示させることができ、仮に、第１のウィンドウまたは第２のウィンドウのいずれか一方に対して、他方を重畳的に表示する場合、それぞれのウィンドウの表示態様を適切に制御することができる。さらに、本開示は、ユーザの動作に基づいて映像コンテンツの進行もしくは内容を制御することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、上記のとおり、本開示は、ＨＭＤ１００以外の様々な装置やシステムに適用され得る。例えば、本開示は、テレビ、スマートフォン、平面ディスプレイ装置または３Ｄディスプレイ装置等（特に、視線トラッキング機能付きの装置等）に適用されてもよい。また、本開示は、網膜直描方式のＨＭＤや、プロジェクションマッピングを利用した映像提供に適用されてもよい。この場合、本開示の表示領域は、それぞれユーザの網膜及び実空間の所定の面に対応する。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの動作に関する情報を取得する取得部と、
前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御する制御部と、を備える、
情報処理装置。
（２）
前記制御部は、前記第１の表示領域と前記第２の表示領域を前記ユーザの視界に同時に提供するよう表示装置を制御する、
前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１の表示領域または前記第２の表示領域のいずれか一方の表示領域に対して、他方の表示領域を重畳的に表示させる、
前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記他方の表示領域の位置、大きさまたは形状を制御する、
前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記一方の表示領域において相対的に高い表示優先度を有するオブジェクトに重畳させないように前記他方の表示領域を表示させる、
前記（４）に記載の情報処理装置。
（６）
前記制御部は、前記一方の表示領域に表示されているオブジェクトにおける所定の割合以上の領域に重畳させるように前記他方の表示領域を表示させる、
前記（４）に記載の情報処理装置。
（７）
前記制御部は、前記一方の表示領域に対応するカメラの位置を後退させること、前記カメラの画角を広げること、または、前記カメラの撮影映像を縮小することによって前記他方の表示領域を表示するための表示面積を確保する、
前記（３）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記第１のカメラワークもしくは前記第２のカメラワークに対応するオブジェクトを、前記一方の表示領域もしくは前記他方の表示領域に表示させる、
前記（３）から（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザの動作は、前記ユーザが立ち上がる動作、前記ユーザが座る動作、前記ユーザが首を動かす動作、前記ユーザが所定のコントローラを持ち上げる動作、前記ユーザが前記コントローラを置く動作、前記ユーザが前記コントローラのボタンを押下する動作、前記ユーザが一定以上の時間にわたり特定の被写体を注視し続ける動作、前記ユーザが一定以上の時間にわたり前記一方の表示領域もしくは前記他方の表示領域を注視し続ける動作、前記ユーザが前記一方の表示領域もしくは前記他方の表示領域に入り込む動作、または、前記ユーザが一定以上の時間にわたり移動操作を行わないことを含む、
前記（３）から（８）のいずれか１項に記載の情報処理装置。
（１０）
前記第２の表示領域は、前記第１の表示領域内に表示されるウィンドウである、
前記（１）から（９）のいずれか１項に記載の情報処理装置。
（１１）
前記ユーザ以外の主体は、映像コンテンツの製作者、前記ユーザ以外の前記映像コンテンツを視聴するユーザ、または、映像コンテンツソフトウェアを含む、
前記（１）から（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記映像コンテンツは、自由視点映像コンテンツまたは全天球映像コンテンツを含む、
前記（１１）に記載の情報処理装置。
（１３）
前記制御部は、前記ユーザの動作に関する情報に基づいて映像コンテンツの進行もしくは内容を制御する、
前記（１）から（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記情報処理装置は、遮蔽型のヘッドマウントディスプレイを含む、
前記（１）から（１３）のいずれか１項に記載の情報処理装置。
（１５）
ユーザの動作に関する情報を取得することと、
前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、を有する、
コンピュータにより実行される情報処理方法。
（１６）
ユーザの動作に関する情報を取得することと、
前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、
をコンピュータに実現させるためのプログラム。

１００ ＨＭＤ
１１０ センサ部
１１１ 内向きカメラ
１１２ ジャイロセンサ
１１３ 加速度センサ
１１４ 方位センサ
１２０ 操作入力部
１３０ 制御部
１３１ 認識エンジン
１３１ａ 頭部姿勢認識エンジン
１３１ｂ 視線認識エンジン
１３２ 切替制御部
１３３ ウィンドウ制御部
１３４ コンテンツ制御部
１４０ 表示部
１５０ スピーカ
１６０ 通信部
１７０ 記憶部
２００ コントローラ
２１０ 上方向ボタン
２２０ 下方向ボタン
２３０ Ｅｎｔｅｒボタン
２４０ ＵＰボタン

Claims (16)

1. ユーザの動作に関する情報を取得する取得部と、
   前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御する制御部と、を備える、
   情報処理装置。
2. 前記制御部は、前記第１の表示領域と前記第２の表示領域を前記ユーザの視界に同時に提供するよう表示装置を制御する、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記第１の表示領域または前記第２の表示領域のいずれか一方の表示領域に対して、他方の表示領域を重畳的に表示させる、
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記他方の表示領域の位置、大きさまたは形状を制御する、
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記一方の表示領域において相対的に高い表示優先度を有するオブジェクトに重畳させないように前記他方の表示領域を表示させる、
   請求項４に記載の情報処理装置。
6. 前記制御部は、前記一方の表示領域に表示されているオブジェクトにおける所定の割合以上の領域に重畳させるように前記他方の表示領域を表示させる、
   請求項４に記載の情報処理装置。
7. 前記制御部は、前記一方の表示領域に対応するカメラの位置を後退させること、前記カメラの画角を広げること、または、前記カメラの撮影映像を縮小することによって前記他方の表示領域を表示するための表示面積を確保する、
   請求項３に記載の情報処理装置。
8. 前記制御部は、前記第１のカメラワークもしくは前記第２のカメラワークに対応するオブジェクトを、前記一方の表示領域もしくは前記他方の表示領域に表示させる、
   請求項３に記載の情報処理装置。
9. 前記ユーザの動作は、前記ユーザが立ち上がる動作、前記ユーザが座る動作、前記ユーザが首を動かす動作、前記ユーザが所定のコントローラを持ち上げる動作、前記ユーザが前記コントローラを置く動作、前記ユーザが前記コントローラのボタンを押下する動作、前記ユーザが一定以上の時間にわたり特定の被写体を注視し続ける動作、前記ユーザが一定以上の時間にわたり前記一方の表示領域もしくは前記他方の表示領域を注視し続ける動作、前記ユーザが前記一方の表示領域もしくは前記他方の表示領域に入り込む動作、または、前記ユーザが一定以上の時間にわたり移動操作を行わないことを含む、
   請求項３に記載の情報処理装置。
10. 前記第２の表示領域は、前記第１の表示領域内に表示されるウィンドウである、
    請求項１に記載の情報処理装置。
11. 前記ユーザ以外の主体は、映像コンテンツの製作者、前記ユーザ以外の前記映像コンテンツを視聴するユーザ、または、映像コンテンツソフトウェアを含む、
    請求項１に記載の情報処理装置。
12. 前記映像コンテンツは、自由視点映像コンテンツまたは全天球映像コンテンツを含む、
    請求項１１に記載の情報処理装置。
13. 前記制御部は、前記ユーザの動作に関する情報に基づいて映像コンテンツの進行もしくは内容を制御する、
    請求項１に記載の情報処理装置。
14. 前記情報処理装置は、遮蔽型のヘッドマウントディスプレイを含む、
    請求項１に記載の情報処理装置。
15. ユーザの動作に関する情報を取得することと、
    前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、を有する、
    コンピュータにより実行される情報処理方法。
16. ユーザの動作に関する情報を取得することと、
    前記ユーザの動作に関する情報に基づいて、前記ユーザによって操作される第１のカメラワークに対応する第１の表示領域と、前記ユーザ以外の主体によって操作される第２のカメラワークに対応する第２の表示領域の切り替えを制御することと、
    をコンピュータに実現させるためのプログラム。
    

Images