JP2022059098A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】見どころを見失わず、かつ、身体の負荷を軽減する。【解決手段】映像処理部は、ユーザの視界を超える大きさの広角映像のシーン切り替わり後のフレームにおける誘目領域を、シーン切り替わり前のユーザの視線方向に対してユーザの身体の捻り量がより小さくなる提示位置に配置する。本開示は、例えば、全天球映像や全周囲映像に所定の処理を施す情報処理装置に適用することができる。【選択図】図６

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、映像視聴時の身体の負荷を軽減することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。

従来、水平方向や垂直方向といった全方位を撮影した全天球映像や、水平方向３６０度を撮影した全周囲映像などを提示するＶＲ（Virtual Reality）コンテンツでは、視聴者の周囲を取り囲むように映像を提示することで、没入感の高い視聴体験を実現している。

特許文献１には、全天球映像において、視聴者の視界の外側の領域に表示される映像を視聴しようと頭を動かしたときに、映像の再生速度を下げることで、視聴者に所望する映像を適切に視聴させる技術が開示されている。

特開２０１７－１２６８９９号公報

ところで、全天球映像や全周囲映像においてシーンが切り替わった時に、見どころの提示位置が変わることで、視聴者がその見どころを見失ったり、首を捻ったままの姿勢で視聴を続けなければならないことがあった。

本開示は、このような状況に鑑みてなされたものであり、広角映像の視聴時に見どころを見失わず、かつ、身体の負荷を軽減することができるようにするものである。

本開示の情報処理装置は、ユーザの視界を超える大きさの広角映像に所定の処理を施す映像処理部を備え、前記映像処理部は、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの身体の捻り量がより小さくなる提示位置に配置する情報処理装置である。

本開示の情報処理方法は、情報処理装置が、ユーザの視界を超える大きさの広角映像に所定の処理を施し、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する情報処理方法である。

本開示のプログラムは、コンピュータに、ユーザの視界を超える大きさの広角映像に所定の処理を施し、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する処理を実行させるプログラムである。

本開示においては、ユーザの視界を超える大きさの広角映像に所定の処理が施され、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置される。

広角映像の提示について説明する図である。 シーン切り替わり時の映像提示について説明する図である。 シーン切り替わり時の映像提示について説明する図である。 映像提示システムの構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示すブロック図である。 映像処理部の構成例を示すブロック図である。 映像再生処理の流れについて説明するフローチャートである。 映像回転処理の流れについて説明するフローチャートである。 シーン切り替わりの検出の例を示す図である。 首の捻り量の検出の例を示す図である。 首の捻り量の検出の他の例を示す図である。 広角映像の回転について説明する図である。 映像処理部の他の構成例を示すブロック図である。 映像表示処理の流れについて説明するフローチャートである。 映像提示システムの他の構成例を示すブロック図である。 映像編集システムの構成例を示すブロック図である。 映像編集処理の流れについて説明するフローチャートである。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．広角映像の提示とシーン切り替わり
２．映像提示システムの構成と動作（ＨＭＤへの映像提示の例）
３．映像提示システムの他の構成（スクリーンへの映像提示の例）
４．映像編集システムへの適用
５．その他

＜１．広角映像の提示とシーン切り替わり＞
本開示に係る技術（本技術）を適用した映像提示システムは、全天球映像や全周囲映像などの広角映像において、視聴者であるユーザの姿勢に応じて見どころを配置するように、映像を回転させて提示する。

図１は、広角映像の提示について説明する図である。

図１においては、ユーザ１０が、水平方向３６０度を囲む円筒型の全周囲スクリーン２０に提示される広角映像を視聴している様子が示されている。

広角映像は、ユーザの視界を超える大きさの映像であり、例えば水平方向１８０度以上の視野角で撮影された映像とされる。図１には、広角映像として、水平方向３６０度を撮影した全周囲映像が全周囲スクリーン２０に提示される例が示されているが、水平方向や垂直方向といった全方位を撮影した全天球映像が、ドーム型の全天球スクリーンに提示されてもよい。さらに、広角映像は、ＶＲコンテンツを提示可能なＨＭＤ（Head-Mounted Display）に提示されてもよい。

図１左側に示されるように、映像視聴開始時には、全周囲スクリーン２０におけるユーザ１０の正面に、映像の見どころである人物２１が提示される。見どころである人物２１は、映像中、シーン毎にその配置を変えて提示されるため、シーンによっては、図１右側に示されるように、ユーザ１０が首を右に大きく捻って映像を視聴することになる。

図２は、ユーザ１０が首を右に大きく捻って映像を視聴している状態で、シーンが切り替わった場合の映像提示の例を示している。図２の例では、シーン切り替わり後の見どころが、人物２１からボール２２に変わっている。

シーン切り替わり後の見どころであるボール２２が、図２右側上段に示されるように、映像視聴開始時と同様、ユーザ１０の正面に提示されるようにした場合、ボール２２はユーザ１０の視界から外れてしまい、ユーザ１０が見どころを見失うおそれがある。

一方、シーン切り替わり後の見どころであるボール２２が、図２右側下段に示されるように、シーン切り替わり前の人物２１と同じ位置に提示されるようにした場合、首を捻ったままの姿勢で視聴を続けなければならず、ユーザ１０の首に負荷がかかってしまう。

そこで、本技術を適用した映像提示システムにおいては、図３に示されるように、シーン切り替わり後の見どころであるボール２２が、ユーザ１０の正面と、シーン切り替わり前の人物２１の位置との中間付近に提示されるようにする。

これにより、ユーザ１０は、広角映像の視聴時に見どころを見失わず、かつ、身体の負荷を軽減できるようになる。

以下では、上述した映像提示を実現する構成について説明する。

＜２．映像提示システムの構成と動作＞
（映像提示システムの構成例）
図４は、上述した映像提示を実現する映像提示システムの構成例を示すブロック図である。

図４の映像提示システムは、情報処理装置１００とＨＭＤ２００から構成される。

情報処理装置１００は、例えばＰＣ（Personal Computer）などとして構成される。情報処理装置１００は、撮影により得られた広角映像のデータ（映像データ）に所定の処理を施し、ＨＭＤ２００に供給する。

ＨＭＤ２００は、ユーザ１０の頭部に装着されるＶＲ用の表示装置として構成され、非透過型の表示部を備える。その表示部には、仮想空間を実現する広角映像が提示される。

情報処理装置１００は、映像処理部１１０と表示制御部１２０を備えている。

映像処理部１１０は、広角映像（映像データ）に所定の処理を施し、表示制御部１２０に供給する。表示制御部１２０は、映像処理部１１０により処理が施された広角映像のＨＭＤ２００での表示を制御する。なお、表示制御部１２０は、ＨＭＤ２００側に設けられてもよい。

（情報処理装置の構成例）
図５は、情報処理装置１００のハードウェア構成例を示すブロック図である。

図５に示されるように、ＣＰＵ（Central Processor Unit）１５１、ＲＯＭ（Read Only Memory）１５２、およびＲＡＭ（Random Access Memory）１５３は、バス１５４を介して相互に接続されている。

ＣＰＵ１５１は、ＲＯＭ１５２に記憶されているプログラム、またはＲＡＭ１５３にロードされたプログラムに従って、情報処理装置１００が備える各種の機能（具体的には、映像処理部１１０と表示制御部１２０の機能）を実現するための処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。

バス１５４にはまた、入出力インタフェース１５５が接続されている。

入出力インタフェース１５５には、入力部１５６、出力部１５７、記憶部１５８、および通信部１５９が接続される。

入力部１５６は、キー、ボタン、タッチパネル、およびマイクロフォンなどで構成され、出力部１５７は、ディスプレイやスピーカなどで構成される。

記憶部１５８は、不揮発性のメモリなどにより構成される。記憶部１５８は、ＣＰＵ１５１が実行するプログラムの他に、ＨＭＤ２００において提示される映像などの各種のデータを記憶する。

通信部１５９は、ネットワークインタフェースなどにより構成される。通信部１５９は、無線や有線による通信を、ＨＭＤ２００や外部の装置との間で行う。

入出力インタフェース１５５にはまた、必要に応じてドライブ１６０が接続され、半導体メモリなどで構成されるリムーバブルメディア１６１が適宜装着される。リムーバブルメディア１６１から読み出されたプログラムは、必要に応じて記憶部１５８にインストールされる。

（映像処理部の構成例）
次に、図６を参照して、図４の映像処理部１１０の構成例について説明する。

映像処理部１１０は、切り替わり検出部１７１、誘目領域検出部１７２、捻り量検出部１７３、および回転処理部１７４から構成される。

切り替わり検出部１７１は、広角映像の映像データに基づいて、広角映像におけるシーンの切り替わりを検出する。検出されたシーン切り替わりを示す情報は、回転処理部１７４に供給される。

誘目領域検出部１７２は、広角映像の映像データに基づいて、広角映像において相対的に誘目性の高い領域である誘目領域を検出する。誘目領域は、視聴者に最も注目して欲しい、いわゆる見どころであり、広角映像において検出された人物領域や、広角映像の撮影者や映像制作者によってあらかじめ指定された領域などとされる。広角映像における誘目領域の位置を示す情報は、回転処理部１７４に供給される。

捻り量検出部１７３は、ＨＭＤ２００の回転量に基づいて、ユーザ１０の身体の捻り量、具体的には首の捻り量を検出する。検出された首の捻り量は、回転処理部１７４に供給される。

回転処理部１７４は、シーン切り替わりを示す情報、誘目領域の位置を示す情報、および首の捻り量に基づいて、シーン切り替わり後の誘目領域を、シーン切り替わり前のユーザ１０の視線方向に対してユーザ１０の首の捻り量がより小さくなる提示位置に配置する。具体的には、回転処理部１７４は、シーン切り替わり後の誘目領域（見どころ）が、ユーザの首の捻り量がより小さくなる提示位置に配置されるように、広角映像をヨー方向に回転させる。回転後の映像データは、表示制御部１２０（図４）に供給される。表示制御部１２０は、回転後の広角映像をＨＭＤ２００に表示させる。

（映像再生処理の流れ）
図７は、上述した映像提示システムにおける映像再生処理の流れについて説明するフローチャートである。

情報処理装置１００は、ＨＭＤ２００を装着しているユーザにより、例えば映像再生用のアプリケーションなどに対して映像の再生が指示されると、ステップＳ１１において、映像の再生を開始する。

ステップＳ１２において、映像処理部１１０は、再生対象となる広角映像に対して、映像回転処理を施す。

ステップＳ１３において、表示制御部１２０は、映像回転処理が施された広角映像をＨＭＤ２００に表示させる。

図７の処理においては、映像再生の際、リアルタイムに映像回転処理が実行される。

（映像回転処理の流れ）
次に、図８のフローチャートを参照して、映像処理部１１０による映像回転処理の流れの詳細について説明する。

ステップＳ３１において、映像処理部１１０は、広角映像の映像データを１フレームずつ読み込む。

ステップＳ３２において、切り替わり検出部１７１は、読み込んだ現フレームの次フレームでシーン切り替わりが検出されるか否かを判定する。

シーン切り替わりとしては、広角映像をヨー方向へ回転させても違和感のないタイミングが検出される。

例えば、図９に示されるように、映像の撮影中に撮影を停止し、その後、映像の撮影を再開したとする。撮影停止の前後で映像が大きく変化している場合、撮影停止したタイミングで、提示される映像をヨー方向へ回転させたとしても、多くの視聴者はそのことに気づかない。そこで、撮影停止したタイミングを表す情報を映像データとともに保存しておくことで、映像再生時のシーン切り替わりの検出に用いられるようにする。

また、撮影停止だけでなく、撮影されている映像において、例えば色など、画面の内容が大きく変化し、かつ、その変化の前後での被写体の位置関係が特段重要でないシーンがある場合、その変化のタイミングがシーン切り替わりとして検出されてもよい。

次フレームでシーン切り替わりが検出される場合、ステップＳ３３において、誘目領域検出部１７２は、次フレームにおける見どころ（誘目領域）を検出する。

誘目領域は、上述したように、映像において視聴者に最も注目して欲しい領域であり、具体的には、映像中で大きく映っている人物や、口を動かしている人物などとされる。

誘目領域の検出においては、例えば、画像処理による顔認識が行われ、口元が動いている人物が映っている領域が特定される。

また、映像制作者が、映像を事前にチェックしながら、見どころに指定したい領域を表す情報を、メタデータとして映像に付加するようにしてもよい。

さらに、複数の視聴者に事前に映像を視聴させ、より多くの視聴者が注目している領域を誘目領域としてもよい。

ステップＳ３４において、捻り量検出部１７３は、そのときに検出されたユーザ１０の首の捻り量が一定量以上あるか否かを判定する。

首の捻り量は、広角映像の視聴開始時を基準とした、ユーザ１０の視線方向（顔の向き）の回転量である。例えば、図１０に示されるように、広角映像の視聴開始時のユーザ１０の視線方向を正面方向（初期位置）＃１１とし、その正面方向＃１１から、現在のユーザ１０の視線方向＃１２への首の回転量Ｔａ１が、首の捻り量として検出される。

具体的には、ユーザ１０の頭部に装着されているＨＭＤ２００によって取得される初期位置からの回転量が、首の捻り量として検出される。

また、捻り量は、ユーザ１０の身体の向きに対する相対的なユーザ１０の視線方向の回転量であってもよい。例えば、図１１に示されるように、ユーザ１０の身体が回転している場合、現在のユーザ１０の身体の向きを正面方向＃２１とし、その正面方向＃２１から、現在のユーザ１０の視線方向＃２２への相対的な首の回転量Ｔａ２が、首の捻り量として検出されてもよい。

この場合、ユーザ１０の正面方向＃２１（身体の向き）の検出は、例えばユーザ１０が座る椅子にその回転量を検出するセンサを設けるなどすることで実現することができる。

なお、首の捻り量は、常に検出されてもよいが、少なくとも次フレームでシーン切り替わりが検出されるときに検出されればよい。

さて、ユーザ１０の首の捻り量が一定量以上あると判定された場合、ステップＳ３５に進み、回転処理部１７４は、首の捻り量と次フレームの見どころの提示位置に基づいて、広角映像を回転させる。

まず、回転処理部１７４は、シーン切り替わり時の首の捻り量に基づいて、次フレーム（シーン切り替わり後）の見どころの提示位置を決定する。

例えば、図１２に示されるように、シーン切り替わり時に、ユーザ１０が正面方向＃３１から首を右に大きく捻って視線方向＃３２を向いているとする。この場合、シーン切り替わり後の見どころであるボール２２が、視線方向＃３２に対してユーザ１０の首の捻り量が小さくなる提示位置（正面方向＃３１と視線方向＃３２の間）に配置されるようにする。

次フレームの見どころの提示位置が決定されると、回転処理部１７４は、その提示位置に見どころが提示されるように、次フレーム以降の広角映像をヨー方向に回転させる。図１２の例では、広角映像は、ヨー方向に回転量Ｒａだけ回転している。

なお、回転量Ｒａ（すなわち、ボール２２の提示位置をどの程度、正面方向＃３１に近づけるか）は、本技術を適用するアプリケーションによって任意に指定されるようにしてもよい。

ただし、首の捻り量が大きいほど、その首の捻りをいち早く解消したいことから、首の捻り量が大きいほど、見どころの提示位置を正面方向＃３１に大きく近づけることが好ましい。

そして、ステップＳ３６において、回転処理部１７４は、回転後の映像データを表示制御部１２０に出力する。

なお、ステップＳ３２において次フレームでシーン切り替わりが検出されないと判定された場合、ステップＳ３３乃至Ｓ３５はスキップされ、ステップＳ３６において、回転していないそのままの映像データが出力される。

また、ステップＳ３４において首の捻り量が一定量以上ないと判定された場合には、ステップＳ３５はスキップされ、ステップＳ３６において、回転していないそのままの映像データが出力される。

以上の処理によれば、ユーザは、広角映像の視聴時に見どころを見失わず、かつ、身体の負荷を軽減することが可能となる。

（首の捻り量を推定する構成と動作）
以上においては、ユーザの首の捻り量が実際に検出されるものとしたが、シーン切り替わり前後の見どころ（誘目領域）の提示位置に基づいて、ユーザの首の捻り量が推定されるようにしてもよい。

以下においては、ユーザの首の捻り量を推定する構成とその動作について説明する。

（映像処理部の構成例）
図１３は、ユーザの首の捻り量を推定する映像処理部１１０の構成例を示すブロック図である。

図１３の映像処理部１１０は、切り替わり検出部１９１、誘目領域検出部１９２、捻り量推定部１９３、および回転処理部１９４から構成される。

なお、切り替わり検出部１９１および誘目領域検出部１９２は、図６の切り替わり検出部１７１および誘目領域検出部１７２と同様の機能を有する。

捻り量推定部１９３は、シーン切り替わりを示す情報と、誘目領域の位置を示す情報に基づいて、ユーザの身体の捻り量、具体的には首の捻り量を推定する。推定された首の捻り量は、回転処理部１９４に供給される。

回転処理部１９４は、シーン切り替わりを示す情報、誘目領域の位置を示す情報、および推定された首の捻り量に基づいて、シーン切り替わり後の誘目領域を、推定された首の捻り量がより小さくなる提示位置に配置する。

（映像回転処理の流れ）
次に、図１４のフローチャートを参照して、図１３の映像処理部１１０による映像回転処理の流れについて説明する。

ステップＳ５１において、映像処理部１１０は、広角映像の映像データを１フレームずつ読み込む。

ステップＳ５２において、切り替わり検出部１９１は、読み込んだ現フレームの次フレームでシーン切り替わりが検出されるか否かを判定する。

次フレームでシーン切り替わりが検出される場合、ステップＳ５３において、誘目領域検出部１９２は、現フレームにおける見どころを検出する。

次いで、ステップＳ５４において、誘目領域検出部１９２は、次フレームにおける見どころを検出する。

ステップＳ３４において、捻り量推定部１９３は、シーン切り替わり前の現フレームの見どころ（誘目領域）の位置に基づいて、ユーザの首の捻り量が一定量以上あると推定されるか否かを判定する。

ここでは、ユーザは常に見どころを見ていると仮定して、映像視聴開始時の正面方向に対する、シーン切り替わり前の見どころの位置をユーザの視線方向（顔の向き）として、首の捻り量が推定される。

ユーザの首の捻り量が一定量以上あると推定された場合、ステップＳ５６に進み、回転処理部１９４は、推定された首の捻り量と次フレームの見どころの提示位置に基づいて、広角映像を回転させる。

そして、ステップＳ５７において、回転処理部１９４は、回転後の映像データを表示制御部１２０に出力する。

なお、ステップＳ５２において次フレームでシーン切り替わりが検出されないと判定された場合、ステップＳ５３乃至Ｓ５６はスキップされ、ステップＳ５７において、回転していないそのままの映像データが出力される。

また、ステップＳ５５において首の捻り量が一定量以上あると推定されなかった場合には、ステップＳ５６はスキップされ、ステップＳ５７において、回転していないそのままの映像データが出力される。

以上の処理によっても、ユーザは、広角映像の視聴時に見どころを見失わず、かつ、身体の負荷を軽減することが可能となる。

＜３．映像提示システムの他の構成＞
上述した映像提示システムにおいては、広角映像が提示される表示装置として、ＨＭＤ２００が用いられるものとしたが、図１５に示されるように、スクリーン３００が用いられてもよい。

スクリーン３００は、広角映像として全周囲映像が提示される全周囲スクリーンとして構成されてもよいし、広角映像として全天球映像が提示される全天球スクリーンとして構成されてもよい。

図１５の構成においても、ユーザは、広角映像の視聴時に見どころを見失わず、かつ、身体の負荷を軽減することが可能となる。

＜４．映像編集システムへの適用＞
以上においては、本技術を映像提示システムに適用した例について説明してきたが、本技術を映像編集システムに適用することもできる。

図１６は、本技術を適用した映像編集システムを実現する情報処理装置の機能構成例を示すブロック図である。

情報処理装置４００は、例えば、動画編集機能を備えるＰＣや、動画公開サイトのサーバなどとして構成され、広角映像を、ユーザの身体（例えば首）に対する負担の少ない映像に編集する。

情報処理装置４００は、映像処理部４１０、記録制御部４２０、および記録部４３０を備えている。

映像処理部４１０は、上述した映像処理部１１０と同様の機能を有し、広角映像（映像データ）に所定の処理を施し、記録制御部４２０に供給する。記録制御部４２０は、映像処理部４１０により処理が施された広角映像を、記録部４３０に記録したり、外部の装置やインターネット上などに供給する。

図１７は、上述した映像編集システムにおける映像編集処理の流れについて説明するフローチャートである。

情報処理装置４００は、映像編集者により、例えば映像編集用のアプリケーションなどに対して映像の編集が指示されると、ステップＳ１１１において、映像の編集を開始する。

ステップＳ１１２において、映像処理部４１０は、編集対象となる広角映像に対して、映像回転処理を施す。ここでは、図１４のフローチャートを参照して説明した処理が実行される。

ステップＳ１１３において、記録制御部４２０は、映像回転処理が施された広角映像を記録部４３０のファイルに記録する。

以上のようにして、広角映像が、ユーザの身体に対する負担の少ない映像に編集される。

＜５．その他＞
以上においては、ユーザの身体の捻り量として、首（胴体に対する頭部）の捻り量が小さくなる提示位置に見どころが配置されるものとしたが、用いられるユーザの身体の捻り量はこれに限られない。例えば、ユーザの身体の捻り量として、腰（下半身に対する上半身）の捻り量が小さくなる提示位置に見どころが配置されるようにもできる。

また、例えばユーザがＨＭＤを装着して広角映像を視聴している中で、身体全体の回転を含めて、ユーザの視線方向が、視聴開始時を基準とした方向から１８０度より大きく回転することが考えられる。この場合、上述した映像回転処理によって、ユーザの視線方向がさらに大きく（３６０度に近い向きに）回転してしまい、ＨＭＤに接続されているケーブルがユーザの身体に巻き付いてしまうおそれがある。そこで、このような場合には、ユーザの視線方向の回転を戻す提示位置に見どころが配置されるようにすることで、ケーブルがユーザの身体に巻き付くことを避けることができる。

映像提示システムがＨＭＤから構成され、ＨＭＤとは独立したユーザの身体の状態を検出するセンサを外部環境に設けない場合、基本的には、ＨＭＤに設けられたセンサで捻り量を検出する必要がある。このようなセンサとしては、一般的には慣性計測装置（ＩＭＵ）が知られている。このようなセンサは１種類に限られず、複数種類のセンサを組み合わせたいわゆるセンサフュージョン技術が適用されたセンサ系が用いられてもよい。

ＨＭＤに単一のセンサまたは単一のセンサ系が設けられる場合、その出力値に応じたユーザの身体動作は、身体全体の回転と、首の捻り（または腰の捻り）とで区別される必要がある。一般的に、身体全体の慣性質量、関節の可動域、ユーザ個人の動作特性などに起因して、ユーザが無意識に行った動作で生じる身体全体の回転加速度と首の捻りの回転加速度とでは、センサの出力値が異なり得る。具体的には、身体全体の回転加速度は、首の捻りの回転加速度より小さくなり得る。そこで、あらかじめ設定された閾値とセンサの出力値を比較することで、ユーザの身体動作が、身体全体の回転であるか、または、首の捻りであるかが判定されるようにしてもよい。この閾値は、あらかじめユーザの動作に応じたセンサの出力値を取得し、機械学習を用いることで設定されるようにしてもよい。また、首の捻り、腰の捻り、身体全体の回転をそれぞれ区別するために、少なくとも２つの閾値が設定されてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図５に示されるように、装置本体とは別に、情報処理装置１００のユーザにプログラムを配信するために配布されるリムーバブルメディア１６１により構成される。リムーバブルメディア１６１は、そのプログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ－ＲＯＭおよびＤＶＤを含む）、光磁気ディスク、もしくは半導体メモリなどより構成される。また、これらだけでなく、記録媒体は、装置本体にあらかじめ組み込まれた状態で管理者に配信されるプログラムが記録されているＲＯＭ１５２や、記憶部１５８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示
の要旨を逸脱しない範囲において種々の変更が可能である。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他
の効果があってもよい。

さらに、本開示は以下のような構成をとることができる。
（１）
ユーザの視界を超える大きさの広角映像に所定の処理を施す映像処理部
を備え、
前記映像処理部は、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの身体の捻り量がより小さくなる提示位置に配置する
情報処理装置。
（２）
前記映像処理部は、前記シーン切り替わり後の前記誘目領域が前記提示位置に配置されるように、前記広角映像をヨー方向に回転させる
（１）に記載の情報処理装置。
（３）
前記捻り量は、前記ユーザの首の捻り量を含む
（１）または（２）に記載の情報処理装置。
（４）
前記捻り量は、前記ユーザの腰の捻り量を含む
（１）または（２）に記載の情報処理装置。
（５）
前記捻り量を検出する検出部をさらに備え、
前記映像処理部は、前記シーン切り替わり後の前記誘目領域を、前記シーン切り替わり前に検出された前記捻り量がより小さくなる前記提示位置に配置する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記映像処理部は、前記シーン切り替わり前に検出された前記捻り量が一定量以上ある場合に、前記シーン切り替わり後の前記誘目領域を前記提示位置に配置する
（７）に記載の情報処理装置。
（７）
前記捻り量は、前記広角映像の視聴開始時を基準とした前記ユーザの視線方向の回転量である
（５）または（６）に記載の情報処理装置。
（８）
前記捻り量は、前記ユーザの身体の向きに対する相対的な前記ユーザの視線方向の回転量である
（５）または（６）に記載の情報処理装置。
（９）
前記シーン切り替わり前のフレームにおける前記誘目領域の位置に基づいて、前記捻り量を推定する推定部をさらに備え、
前記映像処理部は、前記シーン切り替わり後の前記誘目領域を、推定された前記捻り量がより小さくなる前記提示位置に配置する
（１）乃至（４）のいずれかに記載の情報処理装置。
（１０）
前記誘目領域は、前記広角映像において検出された人物領域である
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記誘目領域は、前記広角映像においてあらかじめ指定された領域である
（１）乃至（９）のいずれかに記載の情報処理装置。
（１２）
前記広角映像は、水平方向１８０度以上の視野角で撮影された映像である
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記広角映像は、全周囲映像である
（１２）に記載の情報処理装置。
（１４）
前記広角映像は、全天球映像である
（１２）に記載の情報処理装置。
（１５）
前記映像処理部により処理が施された前記広角映像の表示装置での表示を制御する表示制御部をさらに備える
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記表示装置は、ＨＭＤである
（１５）に記載の情報処理装置。
（１７）
前記表示装置は、全周囲スクリーンである
（１５）に記載の情報処理装置。
（１８）
前記表示装置は、全天球スクリーンである
（１５）に記載の情報処理装置。
（１９）
情報処理装置が、
ユーザの視界を超える大きさの広角映像に所定の処理を施し、
前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する
情報処理方法。
（２０）
コンピュータに、
ユーザの視界を超える大きさの広角映像に所定の処理を施し、
前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する
処理を実行させるプログラム。

１００ 情報処理装置， １１０ 映像処理部， １２０ 表示制御部， １７１ 切り替わり検出部， １７２ 誘目領域検出部， １７３ 捻り量検出部， １７４ 回転処理部， １９１ 切り替わり検出部， １９２ 誘目領域検出部， １９３ 捻り量推定部， １９４ 回転処理部， ２００ ＨＭＤ， ３００ スクリーン

Claims (20)

1. ユーザの視界を超える大きさの広角映像に所定の処理を施す映像処理部
   を備え、
   前記映像処理部は、前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの身体の捻り量がより小さくなる提示位置に配置する
   情報処理装置。
2. 前記映像処理部は、前記シーン切り替わり後の前記誘目領域が前記提示位置に配置されるように、前記広角映像をヨー方向に回転させる
   請求項１に記載の情報処理装置。
3. 前記捻り量は、前記ユーザの首の捻り量を含む
   請求項１に記載の情報処理装置。
4. 前記捻り量は、前記ユーザの腰の捻り量を含む
   請求項１に記載の情報処理装置。
5. 前記捻り量を検出する検出部をさらに備え、
   前記映像処理部は、前記シーン切り替わり後の前記誘目領域を、前記シーン切り替わり前に検出された前記捻り量がより小さくなる前記提示位置に配置する
   請求項１に記載の情報処理装置。
6. 前記映像処理部は、前記シーン切り替わり前に検出された前記捻り量が一定量以上ある場合に、前記シーン切り替わり後の前記誘目領域を前記提示位置に配置する
   請求項５に記載の情報処理装置。
7. 前記捻り量は、前記広角映像の視聴開始時を基準とした前記ユーザの視線方向の回転量である
   請求項６に記載の情報処理装置。
8. 前記捻り量は、前記ユーザの身体の向きに対する相対的な前記ユーザの視線方向の回転量である
   請求項６に記載の情報処理装置。
9. 前記シーン切り替わり前のフレームにおける前記誘目領域の位置に基づいて、前記捻り量を推定する推定部をさらに備え、
   前記映像処理部は、前記シーン切り替わり後の前記誘目領域を、推定された前記捻り量がより小さくなる前記提示位置に配置する
   請求項１に記載の情報処理装置。
10. 前記誘目領域は、前記広角映像において検出された人物領域である
    請求項１に記載の情報処理装置。
11. 前記誘目領域は、前記広角映像においてあらかじめ指定された領域である
    請求項１に記載の情報処理装置。
12. 前記広角映像は、水平方向１８０度以上の視野角で撮影された映像である
    請求項１に記載の情報処理装置。
13. 前記広角映像は、全周囲映像である
    請求項１２に記載の情報処理装置。
14. 前記広角映像は、全天球映像である
    請求項１２に記載の情報処理装置。
15. 前記映像処理部により処理が施された前記広角映像の表示装置での表示を制御する表示制御部をさらに備える
    請求項１に記載の情報処理装置。
16. 前記表示装置は、ＨＭＤである
    請求項１５に記載の情報処理装置。
17. 前記表示装置は、全周囲スクリーンである
    請求項１５に記載の情報処理装置。
18. 前記表示装置は、全天球スクリーンである
    請求項１５に記載の情報処理装置。
19. 情報処理装置が、
    ユーザの視界を超える大きさの広角映像に所定の処理を施し、
    前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する
    情報処理方法。
20. コンピュータに、
    ユーザの視界を超える大きさの広角映像に所定の処理を施し、
    前記広角映像のシーン切り替わり後のフレームにおける誘目領域を、前記シーン切り替わり前の前記ユーザの視線方向に対して前記ユーザの首または腰の捻り量がより小さくなる提示位置に配置する
    処理を実行させるプログラム。

Images