JP7417373B2 - 映像符号化装置、再生装置及びプログラム - Google Patents

Description

本発明は、動画配信における映像符号化装置、再生装置及びプログラムに関する。

従来、動画のストリーミング配信において、MPEG-DASH（MPEG Dynamic Adaptive Streaming over HTTP）、HLS（HTTP Live Streaming）等のアダプティブストリーミングに対応したプロトコルが広く利用されている。アダプティブストリーミングによって、解像度及びビットレート等の映像品質が異なる複数の映像データから、ネットワークの混雑状況に応じて、適切な映像データを選択して受信することができる。

従来の技術では、視聴端末がディスプレイの画面解像度（例えば２Ｋ）と等しい解像度の映像データ（例えば２Ｋ）を受信している場合に、ユーザが映像の一部の領域を拡大して視聴すると、ディスプレイに表示される映像の解像度が低下し、体感品質が低下する。

一方、視聴端末がディスプレイの画面解像度（例えば２Ｋ）より高い解像度の映像データ（例えば８Ｋ）を受信している場合に、ユーザが映像の一部の領域を拡大して視聴するときにも、ディスプレイに表示される映像の解像度を維持することはできる。しかし、伝送量が大きくなり、視聴端末による復号化の負荷も大きくなることが問題となり得る。

そこで、この問題を解決するために、映像を領域分割し、各領域で複数の品質の映像を配信サーバに用意しておくことが考えられる。例えば、ヘッドマウントディスプレイを用いた全天周映像の視聴において、映像を分割し、各領域で異なる品質の映像を配信する技術が提案されている（例えば、非特許文献１を参照）。

この非特許文献１の技術によれば、全天周映像内の注視点の領域を高解像度で提示し、その他の領域を低解像度で提示することができる。つまり、領域毎に必要な解像度の映像を処理すればよいことから、高い体感品質を維持したまま、伝送量の低減及び視聴端末での復号化の負荷低減を実現することができる。

R.Skupin、Y.Sanchez、C.Hellge、T.Schierl、"Tile based HEVC video for head mounted displays"、Proceedings of 2016 IEEE International Symposium on Multimedia、2016年

前述の非特許文献１の技術では、映像を分割した各領域において複数の品質の映像データを生成する。このため、映像データの生成数が多く、符号化処理の負荷が大きくなり、注視点が複数の分割領域を跨ぐ場合には、伝送量の削減効果が低下してしまう。

また、前述の非特許文献１の技術では、ヘッドマウントディスプレイの方向情報に基づいて注視点を決定する等、注視点となる領域の場所のみが変更される視聴技術を対象としている。

一方、映像の一部の領域を拡大して視聴する場合には、注視点となる領域の場所の変更に加えて、注視点となる領域の大きさも変更される。したがって、注視点となる領域の場所及び大きさに応じた、より柔軟な映像の領域分割方法及び画面表示制御方法が必要となる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、符号化の処理負荷及び映像データの伝送量を削減し、解像度を維持したまま映像の一部の領域を拡大して視聴可能な映像符号化装置、再生装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像符号化装置は、映像素材の解像度を変換して符号化し、解像度の異なる複数の映像ストリームを生成する映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記映像符号化装置であって、高解像度の映像データを高解像度映像データとし、当該高解像度映像データよりも解像度の低い映像データを中解像度映像データとし、当該中解像度映像データよりも解像度の低い映像データを低解像度映像データとして、前記映像素材の解像度を変換し、解像度の異なる複数の映像データを生成する解像度変換処理部と、前記映像素材の映像データ及び前記解像度変換処理部により変換された前記複数の映像データのうち、解像度の最も高い映像データを前記高解像度映像データとし、解像度の最も低い映像データを前記低解像度映像データとし、前記映像素材の映像データ及び前記解像度変換処理部により変換された前記複数の映像データのうち、前記高解像度映像データ及び前記低解像度映像データを除く映像データを前記中解像度映像データとして、前記高解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の高解像度切り出し映像データを出力し、前記中解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の中解像度切り出し映像データを出力する切り出し処理部と、前記切り出し処理部により出力された前記領域毎の高解像度切り出し映像データ及び前記領域毎の中解像度切り出し映像データを符号化し、時系列にセグメント化した領域毎の高解像度映像ストリーム及び領域毎の中解像度映像ストリームを生成し、前記領域毎の高解像度映像ストリーム及び前記領域毎の中解像度映像ストリームを前記配信サーバに格納し、前記低解像度映像データを符号化し、時系列にセグメント化した低解像度映像ストリームを生成し、当該低解像度映像ストリームを前記配信サーバに格納するストリーム生成部と、を備え、前記切り出し処理部が、前記再生装置が前記高解像度映像ストリーム、前記中解像度映像ストリーム及び前記低解像度映像ストリームを重ね合わせて表示する際に、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記高解像度映像データから切り出しを行うと共に、前記中解像度映像データから切り出しを行い、前記低解像度映像ストリーム、前記再生装置からの要求に応じた所定領域の前記中解像度映像ストリーム、及び前記要求に応じた所定領域の前記高解像度映像ストリームが、前記配信サーバから前記再生装置へ送信される、ことを特徴とする。

また、請求項２の映像符号化装置は、映像素材の解像度を変換して符号化し、解像度の異なる複数の映像ストリームを生成する映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記映像符号化装置であって、前記映像素材の映像データを高解像度映像データとし、当該高解像度映像データよりも解像度の低い映像データを中解像度映像データとし、当該中解像度映像データよりも解像度の低い映像データを低解像度映像データとして、前記映像素材の解像度を低解像度に変換し、前記中解像度映像データ及び前記低解像度映像データを生成する解像度変換処理部と、前記高解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の高解像度切り出し映像データを出力し、前記解像度変換処理部により生成された前記中解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の中解像度切り出し映像データを出力する切り出し処理部と、前記切り出し処理部により出力された前記領域毎の高解像度切り出し映像データ及び前記領域毎の中解像度切り出し映像データを符号化し、時系列にセグメント化した領域毎の高解像度映像ストリーム及び領域毎の中解像度映像ストリームを生成し、前記領域毎の高解像度映像ストリーム及び前記領域毎の中解像度映像ストリームを前記配信サーバに格納し、前記解像度変換処理部により変換された前記低解像度映像データを符号化し、時系列にセグメント化した低解像度映像ストリームを生成し、当該低解像度映像ストリームを前記配信サーバに格納するストリーム生成部と、を備え、前記切り出し処理部が、前記再生装置が前記高解像度映像ストリーム、前記中解像度映像ストリーム及び前記低解像度映像ストリームを重ね合わせて表示する際に、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記高解像度映像データから切り出しを行うと共に、前記中解像度映像データから切り出しを行い、前記低解像度映像ストリーム、前記再生装置からの要求に応じた所定領域の前記中解像度映像ストリーム、及び前記要求に応じた所定領域の前記高解像度映像ストリームが、前記配信サーバから前記再生装置へ送信される、ことを特徴とする。

また、請求項３の映像符号化装置は、請求項１または２に記載の映像符号化装置において、前記切り出し処理部により切り出される前記複数の領域のそれぞれは、他の領域との間で重複する部分を有する、ことを特徴とする。

さらに、請求項４の再生装置は、請求項１から３までのいずれか一項に記載の映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記再生装置であって、所定の高解像度の前記映像ストリームを高解像度映像ストリームとし、当該高解像度映像ストリームよりも解像度の低い前記映像ストリームを中解像度映像ストリームとし、当該中解像度映像ストリームよりも解像度の低い前記映像ストリームを低解像度映像ストリームとして、前記配信サーバに、映像における領域毎の前記高解像度映像ストリーム、前記映像における領域毎の前記中解像度映像ストリーム、及び前記低解像度映像ストリームが格納されている場合に、前記ユーザの操作に従い設定されたズーム倍率に基づいて、受信する映像ストリームの種類を決定すると共に、前記ユーザの操作に従い設定された視聴領域に基づいて、前記領域の位置を示すインデックスを決定する受信ストリーム決定部と、前記受信ストリーム決定部により決定された前記映像ストリームの種類及び前記インデックスが示す前記映像ストリームを受信するための要求を、前記配信サーバへ送信する受信ストリーム要求部と、前記配信サーバから、前記低解像度映像ストリームを受信すると共に、前記要求に応じた所定領域の前記中解像度映像ストリーム及び前記要求に応じた所定領域の前記高解像度映像ストリームを受信するストリーム受信部と、前記ストリーム受信部により受信された前記低解像度映像ストリームを復号すると共に、前記所定領域の前記中解像度映像ストリーム、及び前記所定領域の前記高解像度映像ストリームを復号する映像復号処理部と、前記視聴領域及び前記ズーム倍率に基づいて、前記映像復号処理部により復号された前記低解像度映像ストリームを、第一層に所定表示倍率にて再生し、前記映像復号処理部により復号された前記中解像度映像ストリームを、第二層の所定位置に所定表示倍率にて再生し、前記映像復号処理部により復号された前記高解像度映像ストリームを、第三層の所定位置に所定表示倍率にて再生する映像再生処理部と、前記第三層、前記第二層及び前記第一層について、解像度の高い順を優先順位として、当該優先順位の高い層の前記映像ストリームが表示されるように、さらに、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記映像再生処理部により再生された前記第一層の前記低解像度映像ストリーム、前記第二層の前記中解像度映像ストリーム及び前記第三層の前記高解像度映像ストリームを重ねて画面表示する画面表示部と、を備えたことを特徴とする。

また、請求項５の再生装置は、請求項４に記載の再生装置において、前記受信ストリーム決定部が、前記視聴領域の中心位置と前記領域毎の中心位置との間の距離が最小となる領域を特定し、当該領域の位置を示す前記インデックスを決定する、ことを特徴とする。

また、請求項６の再生装置は、請求項４または５に記載の再生装置において、前記映像再生処理部により所定解像度の第一映像ストリームが第一表示倍率にて再生され、前記画面表示部により前記第一映像ストリームが画面表示されている場合に、前記ユーザによるズーム操作があると、前記映像再生処理部が、前記第一映像ストリームを、前記ズーム操作に従い前記第一表示倍率よりも高い表示倍率にて再生し、前記画面表示部が、前記映像再生処理部により再生された前記第一映像ストリームを画面表示し、前記ズーム操作に従った前記要求に応じて、前記第一映像ストリームよりも解像度の高い所定領域の第二映像ストリームが受信されると、前記映像再生処理部が、前記第二映像ストリームを、所定表示倍率にて再生し、前記画面表示部が、画面表示している前記第一映像ストリームを、前記映像再生処理部により再生された前記第二映像ストリームに切り替え、当該第二映像ストリームを画面表示する、ことを特徴とする。

また、請求項７の再生装置は、請求項４または５に記載の再生装置において、前記映像再生処理部により所定解像度の第一映像ストリームが第一表示倍率にて再生され、前記第一映像ストリームよりも高い解像度の所定領域の第二映像ストリームが前記第一表示倍率よりも低い第二表示倍率にて再生され、前記画面表示部により前記所定領域の前記第二映像ストリームが画面表示されている場合に、前記ユーザによるスワイプ操作があると、前記画面表示部が、前記所定領域の前記第二映像ストリームに代えて、前記第一映像ストリームを画面表示し、前記スワイプ操作に従った前記要求に応じて、前記所定領域とは異なる領域の前記第二映像ストリームが受信されると、前記映像再生処理部が、前記所定領域とは異なる前記領域の前記第二映像ストリームを、前記第二表示倍率にて再生し、前記画面表示部が、画面表示している前記所定領域の前記第二映像ストリームを、前記映像再生処理部により再生された前記所定領域とは異なる前記領域の前記第二映像ストリームに切り替え、当該第二映像ストリームを画面表示する、ことを特徴とする。

さらに、請求項８のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の映像符号化装置として機能させることを特徴とする。

さらに、請求項９のプログラムは、コンピュータを、請求項４から７までのいずれか一項に記載の再生装置として機能させることを特徴とする。

以上のように、本発明によれば、符号化の処理負荷及び映像データの伝送量を削減することができる。また、ユーザは、解像度を維持した状態で、映像の一部の領域を拡大して視聴することができ、体感品質を維持することができる。

本発明の実施形態による映像符号化装置及び再生装置を含む映像配信システムの全体構成例を示す概略図である。 映像配信システムにおいて、解像度の異なる映像ストリーム及び画面表示の概要を説明する図である。 本発明の実施形態による映像符号化装置の構成例を示すブロック図である。 解像度変換処理部の構成例を示すブロック図である。 切り出し処理部の構成例を示すブロック図である。 ストリーム生成部の構成例を示すブロック図である。 解像度変換処理部及び切り出し処理部の処理例を説明する図である。 （１）は、４Ｋ解像度の映像データから切り出された２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を説明する図である。（２）は、８Ｋ解像度の映像データから切り出された２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を説明する図である。 本発明の実施形態による再生装置の構成例を示すブロック図である。 ズーム倍率ｘ＝１をｘ＝２に変更したときの動作を説明する図である。 図１０のステップＳ１００２，Ｓ１００６，Ｓ１００９において、再生装置に画面表示される映像データの解像度及び表示倍率を説明する図である。 ズーム倍率ｘ変更時の受信ストリーム及び再生映像を説明する図である。 図１２の（２）及び（３）において、再生装置に画面表示される映像データの解像度及び表示倍率を説明する図である。 視聴領域ｒを変更したときの動作を説明する図である。 図１４のステップＳ１４０２，Ｓ１４０６，Ｓ１４０９において、再生装置に画面表示される映像データの解像度及び表示倍率を説明する図である。 視聴領域ｒ変更時の受信ストリーム及び再生映像（ズーム倍率ｘ＝４）を説明する図である。 再生装置の処理例を示すフローチャートである。 映像ストリーム（４Ｋ［ｉ］）再生処理（ステップＳ１７０９）を示すフローチャートである。 映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）再生処理（ステップＳ１７１２）を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔映像配信システム〕
まず、本発明の実施形態による映像符号化装置及び再生装置を含む映像配信システムについて説明する。図１は、その映像配信システムの全体構成例を示す概略図である。この映像配信システム１は、映像符号化装置２、配信サーバ３及び再生装置４を備えて構成される。配信サーバ３及び再生装置４は、インターネット５を介して接続される。

映像符号化装置２により、映像素材から解像度及び切り出し位置の異なる複数の映像ストリームが生成され、配信サーバ３に格納される。配信サーバ３により、再生装置４からの要求に従い、単一または複数の映像ストリームがインターネット５を介して再生装置４へ配信される。再生装置４により、受信した複数の映像ストリームが重ね合わせて再生される。

映像符号化装置２は、映像素材を入力し、映像素材に対して解像度変換処理及び切り出し処理を行い、解像度及び切り出し位置の異なる複数の映像データを生成する。そして、映像符号化装置２は、映像データを符号化し、映像ストリームとして、時系列に複数のセグメント化したファイルに変換し、当該ファイルを配信サーバ３に格納する。

配信サーバ３には、複数の映像ストリームのファイルが格納される。配信サーバ３は、複数の映像ストリームのうち再生装置４からの要求に対応した映像ストリームのファイルを読み出し、当該要求に応じた映像ストリームを、インターネット５を介して再生装置４へ配信する。配信プロトコルとしては、MPEG-DASH、HTTP Live Streaming等が用いられる。つまり、配信サーバ３から、解像度が異なる複数の映像ストリーム（例えば、第一解像度の映像ストリーム、第二解像度の映像ストリーム及び第三解像度の映像ストリーム）が配信される。

再生装置４は、ＰＣ（パーソナルコンピュータ）、タブレット、スマートフォン等の電子機器であり、ユーザの操作に従い、所望の映像を、所望のズーム倍率ｘ及び視聴領域ｒにて視聴可能な装置である。視聴領域ｒは、再生装置４が再生している映像ストリームの領域のうち、画面表示されている映像の領域をいう。

再生装置４は、ユーザの操作に従い、ズーム倍率ｘ及び／または視聴領域ｒに応じた映像ストリームを決定し、当該映像ストリームを受信するための要求を配信サーバ３へ送信する。再生装置４は、配信サーバ３から要求に対応する映像ストリームを受信し、受信した映像ストリームが複数の場合、複数の映像ストリームを重ね合わせて再生する。

再生装置４は、ユーザの操作に従い、ズーム倍率ｘ及び／または視聴領域ｒが変更された場合、新たな要求を配信サーバ３へ送信し、当該要求に対応する映像ストリームを受信して再生する。映像ストリームの再生は、ＷＥＢブラウザでも実行可能であり、前述のＰＣ、タブレット、スマートフォン等の電子機器で共通に動作する。

図２は、図１に示した映像配信システム１において、解像度の異なる映像ストリーム及び画面表示の概要を説明する図である。

配信サーバ３には、低解像度映像ストリームとして、２Ｋ解像度の２Ｋ画素数の１種類（１領域）の映像ストリーム（２Ｋ［１］）、中解像度映像ストリームとして、４Ｋ解像度の映像データから切り出した２Ｋ画素数の２５種類（２５領域）の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び、高解像度映像ストリームとして、８Ｋ解像度の映像データから切り出した２Ｋ画素数の４９種類（４９領域）の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が格納されているものとする。ｉ，ｊは自然数であり、映像内の領域の位置を示すインデックスである。

映像ストリーム（２Ｋ［１］）は、２Ｋ解像度であって、かつ切り出し処理が行われていないストリームである。映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）は、４Ｋ解像度の映像データから切り出され、かつ、領域が他の領域の一部と重複するように異なる位置で切り出されたストリームである。映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）は、８Ｋ解像度の映像データから切り出され、かつ、領域が他の領域の一部と重複するように異なる位置で切り出されたストリームである。これらの映像ストリームの詳細については後述する。

以下、映像ストリーム（４Ｋ［ｉ］）は、２５領域のストリームのうちのｉ番目のインデックスの１つのストリームとし、映像ストリーム（８Ｋ［ｊ］）は、４９領域のストリームのうちのｊ番目のインデックスの１つのストリームとする。

再生装置４は、映像ストリーム（２Ｋ［１］）が再生される第一層、映像ストリーム（４Ｋ［ｉ］）が再生される第二層、及び映像ストリーム（８Ｋ［ｊ］）が再生される第三層の再生領域を備えているものとする。

図２の例において、再生装置４は、ユーザの操作に従い、ズーム倍率ｘ及び視聴領域ｒに応じた受信ストリームとして、インデックスｉ＝７の映像ストリーム（４Ｋ［ｉ＝７］）及びインデックスｊ＝１０の映像ストリーム（８Ｋ［ｊ＝１０］）を決定する。そして、再生装置４は、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）を受信するための要求を配信サーバ３へ送信する。

尚、映像ストリーム（２Ｋ［１］）を受信するための要求は既に送信されており、再生装置４は、常に映像ストリーム（２Ｋ［１］）を受信し再生しているものとする。

ここで、視聴領域ｒは、ユーザの操作、例えばスワイプ操作に従い設定される、再生装置４に画面表示される領域をいう。視聴領域ｒは、映像ストリーム（２Ｋ［１］）が再生される領域内で設定される。

配信サーバ３は、再生装置４から要求を受信し、当該要求に対応して、２５領域のうちインデックスｉ＝７の映像ストリーム（４Ｋ［ｉ＝７］）、及び、４９領域のうちインデックスｊ＝１０の映像ストリーム（８Ｋ［ｊ＝１０］）を再生装置４へ送信する。尚、配信サーバ３は、既に受信した要求に従い、常に映像ストリーム（２Ｋ［１］）を再生装置４へ送信しているものとする。

再生装置４は、配信サーバ３から映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）を受信する。

再生装置４は、第一層に映像ストリーム（２Ｋ［１］）を再生し、第二層に映像ストリーム（４Ｋ［ｉ＝７］）を再生し、第三層に映像ストリーム（８Ｋ［ｊ＝１０］）を再生する。そして、再生装置４は、視聴領域ｒにおいて、第三層の映像ストリーム（８Ｋ［ｊ＝１０］）を第二層及び第一層よりも優先して画面表示すると共に、第三層の映像ストリーム（８Ｋ［ｊ＝１０］）以外の箇所に、第二層の映像ストリーム（４Ｋ［ｉ＝７］）を第一層よりも優先して画面表示する。

優先して画面表示するとは、複数の映像ストリームを重ねて画面表示する場合に、優先順位の高い層の映像ストリームを、優先順位の低い層の映像ストリームに対して上書きして画面表示することを意味する。また、再生と画面表示とは異なる意味合いであり、再生された映像ストリームのうち、視聴領域ｒの映像ストリームが画面表示される。

〔映像符号化装置２〕
次に、図１に示した映像符号化装置２について説明する。図３は、本発明の実施形態による映像符号化装置の構成例を示すブロック図である。この映像符号化装置２は、解像度変換処理部１０、切り出し処理部１１及びストリーム生成部１２を備えている。前述のとおり、映像符号化装置２は、映像素材から解像度及び切り出し位置の異なる複数の映像ストリームを生成し、複数の映像ストリームを配信サーバ３に格納する。

解像度変換処理部１０は、映像素材を入力し、映像素材をダウンスケーリング（低解像度化、例えば間引き）することで、異なる解像度の映像データに変換し、変換後の映像データを切り出し処理部１１に出力する。また、解像度変換処理部１０は、入力した映像素材を映像データとしてストリーム生成部１２に出力する。

切り出し処理部１１は、解像度変換処理部１０から映像データを入力し、映像データから所定画素数の異なる領域を切り出すことで、複数の映像データに分割し、切り出し後の映像データをストリーム生成部１２に出力する。

尚、切り出し処理部１１にて切り出す領域は、各領域が等面積である必要はなく、領域間で重複する部分があってもよい。切り出し処理部１１が領域を重複させて切り出すことにより、再生装置４にて画面表示される視聴領域ｒに応じた、より柔軟な映像ストリームの選択が可能となる。詳細については後述する。

ストリーム生成部１２は、解像度変換処理部１０から映像素材である映像データを入力すると共に、切り出し処理部１１から切り出し後の映像データを入力する。そして、ストリーム生成部１２は、これらの映像データのそれぞれを符号化し、映像ストリームとして、時系列に複数のセグメント化したファイルに変換し、当該ファイルを配信サーバ３に格納する。

これにより、配信サーバ３には、解像度及び切り出し位置が異なる複数の映像ストリームが格納される。図２の例では、１領域の映像ストリーム（２Ｋ［１］）、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び、４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が格納される。

（解像度変換処理部１０）
次に、図３に示した解像度変換処理部１０について説明する。図４は、解像度変換処理部１０の構成例を示すブロック図である。この解像度変換処理部１０は、８Ｋ／２Ｋ変換部２０及び８Ｋ／４Ｋ変換部２１を備えている。

解像度変換処理部１０は、８Ｋ解像度の映像素材を入力するものとする。８Ｋ／２Ｋ変換部２０は、８Ｋ解像度の映像素材を入力し、８Ｋ解像度の映像素材をダウンスケーリングして２Ｋ解像度の映像データ（２Ｋ［１］）（低解像度映像データ）に変換する。そして、８Ｋ／２Ｋ変換部２０は、２Ｋ解像度の映像データ（２Ｋ［１］）をストリーム生成部１２に出力する。２Ｋ解像度の映像データ（２Ｋ［１］）は、２Ｋ解像度の２Ｋ画素数の映像データである。

８Ｋ／４Ｋ変換部２１は、８Ｋ解像度の映像素材を入力し、８Ｋ解像度の映像素材をダウンスケーリングして４Ｋ解像度の映像データ（中解像度映像データ）に変換する。そして、８Ｋ／４Ｋ変換部２１は、４Ｋ解像度の映像データを切り出し処理部１１に出力する。

解像度変換処理部１０は、入力した８Ｋ解像度の映像素材を８Ｋ解像度の映像データ（高解像度映像データ）として切り出し処理部１１に出力する。

尚、解像度変換処理部１０は、例えば４Ｋ解像度の映像素材を入力し、４Ｋ解像度の映像素材をアップスケーリング（高解像度化）して８Ｋ解像度の映像データを生成し、８Ｋ解像度の映像データを切り出し処理部１１に出力するようにしてもよい。

また、解像度変換処理部１０に入力される映像素材は、元となる映像素材であってもよいし、切り出し処理部１１により切り出された映像データ（映像素材における一部の領域の映像データ）であってもよい。

（切り出し処理部１１）
次に、図３に示した切り出し処理部１１について説明する。図５は、切り出し処理部１１の構成例を示すブロック図である。切り出し処理部１１は、解像度変換処理部１０から出力された２Ｋ解像度の映像データである映像データ（２Ｋ［１］）及び４Ｋ解像度の映像データ、並びに映像素材である８Ｋ解像度の映像データのうち、解像度が最も低い２Ｋ解像度の映像データを除き、解像度が最も高い８Ｋ解像度の映像データ、及び解像度が中程度の４Ｋ解像度の映像データに対して処理を行う。

この切り出し処理部１１は、４Ｋ切り出し部２２及び８Ｋ切り出し部２３を備えている。

４Ｋ切り出し部２２は、解像度変換処理部１０の８Ｋ／４Ｋ変換部２１から４Ｋ解像度の映像データを入力し、４Ｋ解像度の映像データから２Ｋ画素数の異なる複数の領域を切り出し、例えば当該映像データを構成する２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）（領域毎の中解像度切り出し映像データ）を生成する。そして、４Ｋ切り出し部２２は、２５領域の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）をストリーム生成部１２に出力する。映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）は、４Ｋ解像度の映像データから切り出された２５領域の２Ｋ画像数の映像データである。

８Ｋ切り出し部２３は、解像度変換処理部１０から８Ｋ解像度の映像データを入力し、８Ｋ解像度の映像データから２Ｋ画素数の異なる複数の領域を切り出し、例えば当該映像データを構成する４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）（領域毎の高解像度切り出し映像データ）を生成する。そして、８Ｋ切り出し部２３は、４９領域の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）をストリーム生成部１２に出力する。映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）は、８Ｋ解像度の映像データから切り出された４９領域の２Ｋ画像数の映像データである。

このように、切り出し処理部１１により、解像度及び切り出し位置の異なる２Ｋ画素数の映像データが生成される。尚、切り出し処理部１１に入力される映像データは、元となる映像素材であってもよいし、解像度変換処理部１０により生成された映像データとは異なる解像度の映像データであってもよい。

（ストリーム生成部１２）
次に、図３に示したストリーム生成部１２について説明する。図６は、ストリーム生成部１２の構成例を示すブロック図である。ストリーム生成部１２は、解像度変換処理部１０から出力された２Ｋ解像度の映像データである映像データ（２Ｋ［１］）及び４Ｋ解像度の映像データ、並びに映像素材である８Ｋ解像度の映像データのうち、解像度が最も低い２Ｋ解像度の映像データに対して処理を行う。また、ストリーム生成部１２は、切り出し処理部１１から出力された中程度の解像度の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）及び解像度が最も高い映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）に対して処理を行う。

このストリーム生成部１２は、２Ｋストリーム生成部２４、４Ｋストリーム生成部２５及び８Ｋストリーム生成部２６を備えている。

２Ｋストリーム生成部２４は、解像度変換処理部１０から映像データ（２Ｋ［１］）を入力し、映像データ（２Ｋ［１］）を符号化し、時系列にセグメント化した映像ストリームを生成することで、映像ストリームのファイルに変換する。２Ｋストリーム生成部２４は、１つの映像ストリーム（２Ｋ［１］）のファイルを配信サーバ３に格納する。

４Ｋストリーム生成部２５は、切り出し処理部１１から２５領域の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を入力する。そして、４Ｋストリーム生成部２５は、２５領域の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）のそれぞれを符号化し、時系列にセグメント化した映像ストリームを生成することで、映像ストリームのファイルに変換する。４Ｋストリーム生成部２５は、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）のファイルを配信サーバ３に格納する。

８Ｋストリーム生成部２６は、切り出し処理部１１から４９領域の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を入力する。そして、８Ｋストリーム生成部２６は、４９領域の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のそれぞれを符号化し、時系列にセグメント化した映像ストリームを生成することで、映像ストリームのファイルに変換する。８Ｋストリーム生成部２６は、４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のファイルを配信サーバ３に格納する。

（解像度変換処理部１０及び切り出し処理部１１の処理）
図７は、解像度変換処理部１０及び切り出し処理部１１の処理例を説明する図である。以下、映像素材の解像度は、アスペクト比１６：９の８Ｋ解像度であるとし、再生装置４の画面解像度は、アスペクト比１６：９の２Ｋ解像度であるとする。映像符号化装置２により生成され配信サーバ３に格納される映像ストリームは、１つの映像ストリーム（２Ｋ［１］）、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）であるとする。

尚、これらは一例に過ぎず、映像素材のアスペクト比及び解像度、再生装置４の画面解像度、配信サーバ３に格納される映像ストリームの数は限定されず、適宜変更して構わない。

解像度変換処理部１０は、横幅７６８０ｐｘ（ピクセル）及び縦幅４３２０ｐｘの８Ｋ解像度の映像素材を入力する（ステップＳ４０１）。そして、解像度変換処理部１０の８Ｋ／２Ｋ変換部２０は、８Ｋ解像度の映像素材を２Ｋ画素数（２Ｋ解像度）にダウンスケーリングし（ステップＳ４０２）、２Ｋ解像度の２Ｋ画素数の映像データ（２Ｋ［１］）を生成する。映像データ（２Ｋ［１］）は、横幅１９２０ｐｘ及び縦幅１０８０ｐｘからなる。

また、８Ｋ／４Ｋ変換部２１は、８Ｋ解像度の映像素材を４Ｋ画素数（４Ｋ解像度）にダウンスケーリングし（ステップＳ４０３）、４Ｋ解像度の映像データを生成する。４Ｋ解像度の映像データは、横幅３８４０ｐｘ及び縦幅２１６０ｐｘからなる。

このように、解像度変換処理部１０により、８Ｋ解像度の映像素材がダウンスケーリングされ、２Ｋ解像度の映像データ（２Ｋ［１］）及び４Ｋ解像度の映像データが生成され、元の映像素材も含めて３つの解像度の映像データが得られる。

ここで、最小解像度を第一解像度とし、解像度の小さい順に、第一解像度、第二解像度、第三解像度、・・・と定義すると、第一解像度が２Ｋ解像度、第二解像度が４Ｋ解像度、第三解像度が８Ｋ解像度となる（図１を参照）。尚、解像度変換処理部１０のダウンスケーリングの処理により生成される映像データの解像度の比は整数倍である必要はなく、生成される映像データの数も限定されない。

切り出し処理部１１の４Ｋ切り出し部２２は、４Ｋ解像度の映像データから２Ｋ画素数の異なる領域を切り出し、２５領域の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を生成する（ステップＳ５０１）。

８Ｋ切り出し部２３は、８Ｋ解像度の映像データから２Ｋ画素数の異なる領域を切り出し、４９領域の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を生成する（ステップＳ５０２）。

このように、切り出し処理部１１により、４Ｋ解像度の映像データから映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）が生成され、８Ｋ解像度の映像データから映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が生成され、映像データ（２Ｋ［１］）も含め、解像度及び切り出し位置の異なる複数の２Ｋ画素数の映像データが生成される。

尚、再生装置４の画面解像度が２Ｋ解像度であるからといって、必ずしも２Ｋ画素数の映像データを切り出す必要はなく、適宜変更しても構わない。

図７の例では、第一解像度の映像データとして、２Ｋ解像度の２Ｋ画素数の映像データ（２Ｋ［１］）が生成される。また、第二解像度の映像データとして、４Ｋ解像度の映像データから切り出した２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）が生成される。また、第三解像度の映像データとして、８Ｋ解像度の映像データから切り出した２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が生成される。

図８（１）は、４Ｋ解像度の映像データから切り出された２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を説明する図である。前述のとおり、ｉは自然数であり、４Ｋ解像度の映像データ内における領域の位置を示すインデックスである。

映像データ（４Ｋ［ｉ］）は、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）のうちｉ番目の映像データを示す。

例えば、映像データ（４Ｋ［１］）、すなわち映像データ（４Ｋ［ｉ＝１］）は、４Ｋ解像度の映像データにおいて、左上端に位置する２Ｋ画素数の映像データである。映像データ（４Ｋ［５］）は、４Ｋ解像度の映像データにおいて、右上端に位置する２Ｋ画素数の映像データであり、映像データ（４Ｋ［２５］）は、４Ｋ解像度の映像データにおいて、右下端に位置する２Ｋ画素数の映像データである。

図８（２）は、８Ｋ解像度の映像データから切り出された２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を説明する図である。前述のとおり、ｊは自然数であり、８Ｋ解像度の映像データ内における領域の位置を示すインデックスである。

映像データ（８Ｋ［ｊ］）は、４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のうちｊ番目の映像データを示す。

例えば、映像データ（８Ｋ［１］）、すなわち映像データ（８Ｋ［ｊ＝１］）は、８Ｋ解像度の映像データにおいて、左上端に位置する２Ｋ画素数の映像データである。映像データ（８Ｋ［７］）は、８Ｋ解像度の映像データにおいて、右上端に位置する２Ｋ画素数の映像データであり、映像データ（８Ｋ［４９］）は、８Ｋ解像度の映像データにおいて、右下端に位置する２Ｋ画素数の映像データである。

尚、インデックスｉ，ｊの順番は任意で構わないが、図８（１）（２）の例では、左上が最小のインデックス、右下が最大のインデックスとなるように番号が割り振られている。

＜映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）＞
図７に戻って、映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）は、８Ｋ解像度の映像素材から２Ｋ画素数の異なる領域が切り出されることで生成される。この場合、切り出し処理部１１の８Ｋ切り出し部２３は、２Ｋ画素数の異なる領域を切り出す際に、切り出す位置の横のオフセット幅を２Ｋ画素数の横幅である１９２０ｐｘの倍数ではなく、例えば９６０ｐｘの倍数として領域を重複させて切り出すようにしてもよい。

また、８Ｋ切り出し部２３は、切り出す位置の縦のオフセット幅を２Ｋ画素数の縦幅である１０８０ｐｘの倍数ではなく、例えば５４０ｐｘの倍数として領域を重複させて切り出すようにしてもよい。

オフセット幅は任意であるが、切り出す画素数の横幅及び／または縦幅よりも小さくする。切り出し処理部１１は、このような横幅及び／または縦幅にて領域を重複させて切り出す。これにより、再生装置４において、視聴領域ｒに応じた映像データの選択がより柔軟となるため、視聴領域ｒのより多くの面積を高解像度の映像で表示することができる。

図７に示したとおり、８Ｋ切り出し部２３は、横のオフセット幅を９６０ｐｘの倍数、縦のオフセット幅を５４０ｐｘの倍数として切り出しを行った場合、合計で４９領域の映像データを生成することとなる。

＜映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）＞
映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）は、８Ｋ解像度の映像素材が４Ｋ画素数にダウンスケーリングされ、ダウンスケーリングされた４Ｋ解像度の映像データから２Ｋ画素数の異なる領域が切り出されることで生成される。この場合、切り出し処理部１１の４Ｋ切り出し部２２は、２Ｋ画素数の異なる領域を切り出す際に、切り出す位置の横のオフセット幅を２Ｋ画素数の横幅である１９２０ｐｘの倍数ではなく、例えば４８０ｐｘ（映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）の場合の９６０ｐｘの半分）の倍数として領域を重複させて切り出すようにしてもよい。

また、４Ｋ切り出し部２２は、切り出す位置の縦のオフセット幅を２Ｋ画素数の縦幅である１０８０ｐｘの倍数ではなく、例えば２７０ｐｘの倍数として領域を重複させて切り出すようにしてもよい。

図７に示したとおり、４Ｋ切り出し部２２は、横のオフセット幅を４８０ｐｘの倍数、縦のオフセット幅を２７０ｐｘの倍数として切り出しを行った場合、合計で２５領域の映像データを生成することとなる。

切り出し処理部１１により、映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）及び映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を切り出す際のオフセット幅は、再生装置４が映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を重ね合わせて表示する際に、映像ストリーム（８Ｋ［ｊ］）の裏側に、当該映像ストリーム（８Ｋ［ｊ］）の２倍の表示倍率にて再生される映像ストリーム（４Ｋ［ｉ］）が映像ストリーム（８Ｋ［ｊ］）を内包して表示されるように、かつ、映像ストリーム（８Ｋ［ｊ］）及び当該映像ストリーム（８Ｋ［ｊ］）の４倍の表示倍率にて再生される映像ストリーム（２Ｋ［１］）が隣接して表示されないように、予め設定されることが望ましい。

これにより、再生装置４において、隣接する領域の解像度の差異をできる限り小さくすることができ、ユーザが領域の境目において解像度の差異を認知することによる体感品質の低下を抑制することができる。

＜映像ストリーム（２Ｋ［１］）＞
映像ストリーム（２Ｋ［１］）は、８Ｋ解像度の映像素材が２Ｋ画素数にダウンスケーリングされることにより生成される。映像ストリーム（２Ｋ［１］）は、再生装置４においてユーザの操作に従い設定されるズーム倍率ｘ及び視聴領域ｒに関わることなく、配信サーバ３から再生装置４へ配信される。

以上のように、本発明の実施形態による映像符号化装置２によれば、解像度変換処理部１０は、８Ｋ解像度の映像素材をダウンスケーリングし、２Ｋ解像度の映像データ（２Ｋ［１］）及び４Ｋ解像度の映像データを生成する。

切り出し処理部１１は、４Ｋ解像度の映像データから２Ｋ画素数の異なる領域を切り出し、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を生成する。また、切り出し処理部１１は、８Ｋ解像度の映像素材である８Ｋ解像度の映像データから２Ｋ画素数の異なる領域を切り出し、４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を生成する。

ストリーム生成部１２は、１領域の映像データ（２Ｋ［１］）を符号化し、時系列にセグメント化した映像ストリームを生成し、映像ストリーム（２Ｋ［１］）のファイルを配信サーバ３に格納する。

また、ストリーム生成部１２は、２５領域の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）のそれぞれを符号化し、時系列にセグメント化した映像ストリームを生成し、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）のファイルを配信サーバ３に格納する。

また、ストリーム生成部１２は、４９領域の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のそれぞれを符号化し、時系列にセグメント化した映像ストリームを生成し、４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のファイルを配信サーバ３に格納する。

そして、再生装置４からの要求に応じて、配信サーバ３から再生装置４へ、例えば映像データを構成する２５領域のうちの１領域の映像ストリーム（４Ｋ［ｉ］）及び、映像データを構成する４９領域のうちの１領域の映像ストリーム（８Ｋ［ｊ］）が送信される。尚、映像ストリーム（２Ｋ［１］）は常に送信されているものとする。

再生装置４は、ユーザの操作に従った要求を配信サーバ３へ送信し、配信サーバ３から、例えば映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を受信する。そして、再生装置４は、ユーザの操作に従って、例えばこれらの映像ストリームを表示倍率４倍、２倍及び１倍にてそれぞれ再生する。再生装置４は、映像ストリーム（８Ｋ［ｊ］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（２Ｋ［１］）の順に優先して、これらの映像ストリームを重ね合わせて表示する。

これにより、映像符号化装置２において、映像を分割した領域毎に、複数の品質の映像データを生成する必要がなく、１領域の映像ストリームが送信されるため、符号化の処理負荷及び映像データの伝送量を削減することができる。また、再生装置４を操作するユーザは、解像度を維持した状態で、映像の一部の領域を拡大して視聴することができ、体感品質を維持することができる。

〔再生装置４〕
次に、図１に示した再生装置４について説明する。図９は、本発明の実施形態による再生装置４の構成例を示すブロック図である。この再生装置４は、視聴操作受付部３０、画面表示制御部３１、受信ストリーム決定部３２、受信ストリーム要求部３３、ストリーム受信部３４、再生バッファ管理部３５、映像復号処理部３６、映像再生処理部３７、同期再生管理部３８、画面表示部３９、通信インターフェース部４０及びメモリ４１を備えている。

前述のとおり、再生装置４は、ユーザの操作に従い、ズーム倍率ｘ及び／または視聴領域ｒに応じた映像ストリームを決定し、当該映像ストリームを受信するための要求を配信サーバ３へ送信する。再生装置４は、配信サーバ３から要求に対応する映像ストリームを受信し、複数の映像ストリームを重ね合わせて再生する。

視聴操作受付部３０は、ユーザによるズーム、スワイプ等の操作に従い、ズーム倍率ｘの変更及び／または視聴領域ｒの変更を指示する視聴操作を受け付け、視聴操作に伴う操作データを生成する。そして、視聴操作受付部３０は、操作データを画面表示制御部３１に出力する。視聴操作は、画面タッチ操作、マウス操作、リモコンを用いたボタン操作、声による操作、再生装置４の加速度センサを用いた操作等により行われる。

画面表示制御部３１は、視聴操作受付部３０から操作データを入力し、操作データに基づいて、ズーム倍率ｘ及び視聴領域ｒを設定し、画面制御を行う。画面表示制御部３１は、ズーム倍率ｘ及び視聴領域ｒを受信ストリーム決定部３２及び映像再生処理部３７に出力し、視聴領域ｒを画面表示部３９に出力する。

画面表示制御部３１は、ズーム倍率ｘに基づいて、画面表示部３９により画面表示が行われる各層の表示モード（「表示」または「非表示」）を設定し、層毎の表示／非表示情報を画面表示部３９に出力する。この場合、画面表示制御部３１は、層毎の表示／非表示情報をメモリ４１に格納し、画面表示部３９は、メモリ４１から層毎の表示／非表示情報を読み出すようにしてもよい。

例えば、図２、図７及び図８の例において、画面表示制御部３１は、ズーム倍率ｘ＝１の場合、映像ストリーム（２Ｋ［１］）が再生される第一層を「表示」の表示モードに設定する。また、画面表示制御部３１は、映像ストリーム（４Ｋ［ｉ］）が再生される第二層を「非表示」の表示モードに設定し、映像ストリーム（８Ｋ［ｊ］）が再生される第三層を「非表示」の表示モードに設定する。

受信ストリーム決定部３２は、画面表示制御部３１からズーム倍率ｘ及び視聴領域ｒを入力し、ズーム倍率ｘに基づいて、受信する映像ストリーム（受信ストリーム）の種類を決定する。また、受信ストリーム決定部３２は、視聴領域ｒに基づいて、受信ストリームのインデックスを決定する。そして、受信ストリーム決定部３２は、受信ストリームの種類及びインデックスを含む受信ストリーム情報を生成し、受信ストリーム情報を受信ストリーム要求部３３に出力する。

例えば、図２、図７及び図８の例において、ズーム倍率ｘ＝４及び視聴領域ｒ（図２に示した再生装置４の位置の視聴領域ｒ）の場合を想定する。受信ストリーム決定部３２は、ズーム倍率ｘ＝４に基づいて、受信ストリームの種類として、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を決定する。

また、受信ストリーム決定部３２は、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｉ＝７を決定する。具体的には、受信ストリーム決定部３２は、第一層の映像ストリーム（２Ｋ［１］）が表示される第一層の左上端の座標を基準座標（０，０）として、視聴領域ｒの中心位置の座標を求めると共に、各領域の中心位置の座標を求め、これらの中心位置間の距離を求める。

同様に、受信ストリーム決定部３２は、視聴領域ｒの中心位置と、４９領域のインデックスｊ＝１，・・・，４９の映像ストリーム（８Ｋ［ｊ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｊ＝１０を選択する。

例えば、メモリ４１には、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置のデータ、及び、４９領域のインデックスｊ＝１，・・・，４９の映像ストリーム（８Ｋ［ｊ］）における領域の中心位置が格納されている。受信ストリーム決定部３２は、メモリ４１から、これらの領域の中心位置を読み出す。

そして、受信ストリーム決定部３２は、決定した受信ストリームの種類及びインデックス（映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］））を含む受信ストリーム情報を生成する。そして、受信ストリーム決定部３２は、受信ストリーム情報を受信ストリーム要求部３３に出力する。

受信ストリーム要求部３３は、受信ストリーム決定部３２から、受信ストリームの種類及びインデックスを含む受信ストリーム情報を入力する。そして、受信ストリーム要求部３３は、受信ストリームの種類及びインデックスが示す映像ストリームを受信するための要求を生成し、当該要求を、通信インターフェース部４０を介して配信サーバ３へ送信する。

前述の例では、受信ストリーム要求部３３は、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）を受信するための要求を生成し、当該要求を、通信インターフェース部４０を介して配信サーバ３へ送信する。

ストリーム受信部３４は、配信サーバ３から通信インターフェース部４０を介して、受信ストリーム要求部３３から送信された要求に対応する映像ストリームを受信する。また、ストリーム受信部３４は、配信サーバ３から常に送信されている映像ストリームを受信する。そして、ストリーム受信部３４は、受信した１または複数の映像ストリームを再生バッファ管理部３５に出力する。

前述の例では、ストリーム受信部３４は、映像ストリーム（２Ｋ［１］）に加え、要求に応じた映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）を受信し、これらの映像ストリームを再生バッファ管理部３５に出力する。

再生バッファ管理部３５は、ストリーム受信部３４から１または複数の映像ストリームを入力し、１または複数の映像ストリームをバッファリングする。また、再生バッファ管理部３５は、映像再生処理部３７により再生されている映像ストリームのインデックスを、映像再生処理部３７から入力し（図示せず）、これを管理する。再生バッファ管理部３５は、所定量の映像ストリームをバッファリングした際に、映像ストリームを映像復号処理部３６に出力する。

前述の例では、再生バッファ管理部３５は、映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）をバッファリングし、これらを映像復号処理部３６に出力する。

映像復号処理部３６は、再生バッファ管理部３５から１または複数の映像ストリームを入力し、映像ストリームのセグメント番号に従って、映像ストリームのセグメントを順次復号し、１または複数の映像ストリームに対応した復号データを生成する。そして、映像復号処理部３６は、１または複数の復号データを映像再生処理部３７に出力する。

前述の例では、映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）を入力する。そして、映像復号処理部３６は、映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１０］）のセグメントをそれぞれ復号し、映像ストリーム（２Ｋ［１］）の復号データ、映像ストリーム（４Ｋ［ｉ＝７］）の復号データ及び映像ストリーム（８Ｋ［ｊ＝１０］）の復号データを生成し、これらの復号データを映像再生処理部３７に出力する。

映像再生処理部３７は、画面表示制御部３１からズーム倍率ｘ及び視聴領域ｒを入力すると共に、映像復号処理部３６から１または複数の復号データを入力する。そして、映像再生処理部３７は、ズーム倍率ｘに基づいて、１または複数の復号データのそれぞれについての表示倍率を設定する。また、映像再生処理部３７は、視聴領域ｒに基づいて（または復号データに含まれるインデックス）に基づいて、１または複数の復号データのそれぞれについての再生位置を設定する。

映像再生処理部３７は、１または複数の復号データのそれぞれに対応する画面表示部３９の層に、１または複数の復号データを、設定した表示倍率及び再生位置にて重ね合わせて再生する。

前述の例では、映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）の復号データを表示倍率４倍にて、第二層に映像ストリーム（４Ｋ［ｉ＝７］）の復号データを表示倍率２倍及びインデックスｉ＝７の位置にて、第三層に映像ストリーム（８Ｋ［ｊ＝１０］）の復号データを表示倍率１倍及びインデックスｊ＝１０の位置にて重ね合わせて再生する。

同期再生管理部３８は、映像再生処理部３７により１または複数の復号データが再生される際の再生タイミングがずれた場合、再生タイミングの補正を行う。

前述の例において、映像ストリーム（２Ｋ［１］）の復号データ、映像ストリーム（４Ｋ［ｉ＝７］）の復号データ及び映像ストリーム（８Ｋ［ｊ＝１０］）の復号データが再生されているときに、映像ストリーム（４Ｋ［ｉ＝７］）の復号データ及び映像ストリーム（８Ｋ［ｊ＝１０］）の復号データのいずれかの映像フレームが、映像ストリーム（２Ｋ［１］）の復号データに対して１フレームずれた場合を想定する。この場合、同期再生管理部３８は、映像再生処理部３７における全ての映像データの再生速度について、それぞれを一時的に増減させ、再生タイミングを補正する。そして、同期再生管理部３８は、再生タイミングの補正が終了したときに、再生速度を元の１倍に戻す。このような同期再生により、複数の映像ストリームの境目が視認されてしまうことによる体感品質の低下を抑制することができる。

画面表示部３９は、例えばＷＥＢブラウザが動作することにより機能する。画面表示部３９は、画面表示制御部３１から視聴領域ｒ及び層毎の表示／非表示情報を入力すると共に、映像再生処理部３７から所定の表示倍率及び再生位置にて再生された１または複数の復号データを入力する。

画面表示部３９は、視聴領域ｒ及び層毎の表示／非表示情報に基づき、表示が設定された層については、映像再生処理部３７から入力した、対応する層の視聴領域ｒにおける復号データを画面表示する。また、画面表示部３９は、非表示が設定された層については、映像再生処理部３７から入力した、対応する層の復号データを画面表示しない。つまり、画面表示部３９は、表示が設定された層について、当該層の復号データのうち、視聴領域ｒの復号データを画面表示する。

画面表示部３９は、表示が設定された層の１または複数の復号データについて、これらの復号データを所定の優先順位にて、当該優先順位の高い層の復号データが表示されるように、重ね合わせて画面表示する。複数の復号データが表示されるそれぞれの層の優先順位は、予め設定されているものとする。

具体的には、前述の例において、画面表示部３９は、第三層、第二層及び第一層についての予め設定された優先順位（第三層の優先順位が最も高く、第二層の優先順位はその次に高く、第一層の優先順位は最も低い）に従い、優先順位の高い層の映像ストリームが表示されるように、映像ストリーム（８［ｊ］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（２Ｋ［１］）を重ね合わせて表示する。解像度の高い映像データの層であればあるほどは、高い優先順位が設定され、解像度の低い映像データの層であればあるほど、低い優先順位が設定される。

前述の例では、図２に示したとおり、再生装置４の視聴領域ｒには、高解像度の映像ストリーム（８Ｋ［ｊ＝１０］）が表示倍率１倍にて画面表示され、当該映像ストリーム（８Ｋ［ｊ＝１０］）が画面表示された領域以外の箇所（視聴領域ｒの上側及び右側）に、中解像度の映像ストリーム（４Ｋ［ｉ＝７］）が表示倍率２倍にて画面表示される。この場合、表示倍率４倍の低解像度の映像ストリーム（２Ｋ［１］）は、画面移行時に短時間だけ画面表示されることはあり得るが、その後は画面表示されない。

通信インターフェース部４０は、受信ストリーム要求部３３から要求を入力し、当該要求を配信サーバ３へ送信する。また、通信インターフェース部４０は、配信サーバ３から映像ストリームを受信し、映像ストリームをストリーム受信部３４に出力する。

メモリ４１には、再生装置４に備えた視聴操作受付部３０～通信インターフェース部４０の各構成部がそれぞれの処理を行うために必要なデータが格納されている。例えば、メモリ４１には、再生される複数の復号データのそれぞれに対応する層に関するデータ、及び、映像ストリーム毎のインデックスの番号、インデックスの領域の中心位置等が格納されている。

（ズーム倍率ｘを変更したときの動作）
次に、ズーム倍率ｘを変更したときの再生装置４の動作について説明する。図１０は、ズーム倍率ｘ＝１をｘ＝２に変更したときの動作を説明する図であり、図１１は、図１０のステップＳ１００２，Ｓ１００６，Ｓ１００９において、再生装置４に画面表示される映像データの解像度及び表示倍率を説明する図である。

再生装置４は、配信サーバ３から映像ストリーム（２Ｋ［１］）を受信し（ステップＳ１００１）、映像ストリーム（２Ｋ［１］）を引き伸ばすことなく画面表示しているものとする。つまり、再生装置４は、高解像度の映像ストリーム（２Ｋ［１］）を画面表示している（ステップＳ１００２）。

図１１に示すように、図１０のステップＳ１００２において、映像再生処理部３７により、映像ストリーム（２Ｋ［１］）の復号データが表示倍率１倍にて再生される。そして、画面表示部３９により、映像ストリーム（２Ｋ［１］）の復号データが高解像度の映像として画面表示される。

図１０に戻って、再生装置４は、ユーザによるズーム操作に従い（ステップＳ１００３）、ズーム倍率ｘ＝１がｘ＝２に変更されると、映像ストリーム（４Ｋ［ｉ＝１］）を受信するための要求を配信サーバ３へ送信する（ステップＳ１００４）。これにより、映像ストリーム（４Ｋ［ｉ＝１］）が配信サーバ３から再生装置４へ送信される。

再生装置４は、映像ストリーム（４Ｋ［ｉ＝１］）を受信するまでの間、映像ストリーム（２Ｋ［１］）をズーム倍率ｘに応じた表示倍率に引き伸ばして画面表示する（ステップＳ１００５）。具体的には、再生装置４は、映像ストリーム（２Ｋ［１］）を表示倍率２倍に引き伸ばし、低解像度の映像ストリーム（２Ｋ［１］）を画面表示する（ステップＳ１００６）。

図１１に示すように、図１０のステップＳ１００６において、映像再生処理部３７により、映像ストリーム（２Ｋ［１］）の復号データが表示倍率２倍にて再生される。そして、画面表示部３９により、映像ストリーム（２Ｋ［１］）の復号データが低解像度の映像として画面表示される。

図１０に戻って、再生装置４は、要求に対応する映像ストリーム（４Ｋ［ｉ＝１］）を受信する（ステップＳ１００７）。そうすると、再生装置４は、映像ストリーム（２Ｋ［１］）を映像ストリーム（４Ｋ［ｉ＝１］）に切り替え、表示倍率１倍にて画面表示する（ステップＳ１００８）。具体的には、再生装置４は、映像ストリーム（４Ｋ［ｉ＝１］）を引き伸ばすことなく、高解像度の映像ストリーム（４Ｋ［ｉ＝１］）を画面表示する（ステップＳ１００９）。

図１１に示すように、図１０のステップＳ１００９において、映像再生処理部３７により、映像ストリーム（４Ｋ［ｉ＝１］）の復号データが表示倍率１倍にて再生される。そして、画面表示部３９により、映像ストリーム（４Ｋ［ｉ＝１］）の復号データが高解像度の映像として画面表示される。

このように、ユーザの操作に従い、ズーム倍率ｘ＝１をｘ＝２に変更した場合、高解像度の映像ストリーム（４Ｋ［ｉ＝１］）を受信して表示するまでの間、映像ストリーム（２Ｋ［１］）を引き伸ばして低解像度にて画面表示する。これにより、体感上のレスポンスを向上させることができると共に、効率的な配信を実現することができる。また、映像ストリーム（２Ｋ［１］）から映像ストリーム（４Ｋ［ｉ＝１］）に切り替えているときは、一時的に解像度が低下するが、ユーザの操作に合わせた画面表示が可能となる。

図１２は、ズーム倍率ｘ変更時の受信ストリーム及び再生映像を説明する図であり、図１３は、図１２の（２）及び（３）において、再生装置４に画面表示される映像データの解像度及び表示倍率を説明する図である。

まず、ズーム倍率ｘ変更時の映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）について説明する前に、ズーム倍率ｘ、解像度等について説明する。

ズーム倍率がｘ倍であるとは、最低解像度（第一解像度）の映像ストリームを受信する場合は、当該映像ストリームを表示倍率ｘ倍で再生装置４に再生したときの状態であると定義する。また、ズーム倍率がｘ倍であるとは、最低解像度（第一解像度）のｙ²倍の解像度（第Ｎ解像度）の映像ストリームを受信する場合は、当該映像ストリームを表示倍率ｘ／ｙ倍で再生装置４に再生したときの状態であると定義する。

ただし、解像度がｙ²倍であるとは、映像データの横幅または縦幅のピクセル数がｙ倍であること、すなわち表示される映像の画素数がｙ²倍であることをいう。また、表示倍率がｘ倍であるとは、受信した各映像ストリームを、画面上における横幅または縦幅の長さがｘ倍となるように変換して再生したときの状態、すなわち表示される映像の面積がｘ²倍になるように変換して再生したときの状態をいう。

単一の解像度の映像ストリームを受信して再生する場合もあれば、複数の解像度の映像ストリームを受信して重ね合わせて再生する場合もある。複数の解像度の映像ストリームを受信して重ね合わせて再生する場合には、重なりの下の階層から、第一層、第二層、第三層、・・・と定義し、それぞれの層で異なる表示倍率で映像ストリームを再生する。

ここで、基準とする１倍ズームとは、取得できる最低解像度（第一解像度）の映像ストリームを表示倍率１倍で再生装置４に再生したときの状態と定義するが、再生装置４の画面解像度のアスペクト比、映像素材のアスペクト比等に応じて適宜変更しても構わない。

ズーム倍率ｘであるとき、最低解像度（第一解像度）に対してｙ²倍の第Ｎ解像度の映像ストリームを受信するか否かは、例えば次の条件（ａ）（ｂ）及び（ｃ）にて決定される。
（ａ）ｘ／ｙ＜１の場合、第一解像度に対してｙ²倍の第Ｎ解像度の映像ストリームを受信しない。
（ｂ）ｘ／ｙ≧１の場合、第一解像度に対してｙ²倍の第Ｎ解像度の映像ストリームを受信する。
（ｃ）第一解像度の映像ストリームは常に受信する。

再生装置４は、第Ｎ解像度の映像ストリームを受信する場合、第一層には第一解像度の映像ストリームを表示倍率ｘ倍にて再生し、第Ｎ層には第Ｎ解像度の映像ストリームを表示倍率ｘ／ｙ倍にて再生する。

前述のとおり、視聴領域ｒは、再生装置４が再生している映像ストリームのうち、画面表示されている映像の領域である。再生している映像ストリームの領域のうち視聴領域ｒ以外の領域は、再生装置４に表示されず、視聴者には見えない。視聴操作によって視聴領域ｒを変更した場合は、再生している映像ストリームのうち視聴領域ｒと視聴領域ｒ以外の領域が移動する。

以下、映像素材の解像度は、アスペクト比１６：９の８Ｋ解像度であるとし、再生装置４の画面解像度は、アスペクト比１６：９の２Ｋ解像度であるとする。映像符号化装置２により生成され配信サーバ３に格納される映像ストリームは、１つの映像ストリーム（２Ｋ［１］）、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）であるとする。

これらの映像ストリームを前述の条件（１）（２）及び（３）に適用すると、第一解像度の映像ストリームは映像ストリーム（２Ｋ［１］）である。また、第二解像度の映像ストリームは、第一解像度に対して２²倍の解像度である映像ストリーム（４Ｋ［ｉ］）である。さらに、第三解像度の映像ストリームは、第一解像度に対して４²倍の解像度である映像ストリーム（８Ｋ［ｊ］）である。

したがって、受信ストリーム決定部３２は、次の条件（ｄ）（ｅ）及び（ｆ）のとおり、ズーム倍率ｘに基づいて、受信ストリームの種類を決定する。
（ｄ）０＜ｘ＜２の場合、映像ストリーム（２Ｋ［１］）を受信する。
（ｅ）２≦ｘ＜４の場合、映像ストリーム（２Ｋ［１］）及び映像ストリーム（４Ｋ［ｉ］）を受信する。
（ｆ）４≦ｘの場合、映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を受信する。

（ズーム倍率ｘ＝１の場合）
図１２（１）を参照して、ズーム倍率ｘ＝１の場合、再生装置４のストリーム受信部３４は、映像ストリーム（２Ｋ［１］）を受信し、映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率１倍にて再生する。

この場合、受信ストリーム要求部３３は、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を受信するための要求を送信しない。このため、ストリーム受信部３４は、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）を受信しない。また、画面表示制御部３１は、第一層の表示モードを「表示」に設定し、第二層及び第三層の表示モードを「非表示」に設定する。

このように、ズーム倍率ｘ＝１の場合、図１２（１）のとおり、再生装置４の視聴領域ｒには、映像ストリーム（２Ｋ［１］）が表示倍率１倍にて画面表示される。

（ズーム倍率ｘ＝２の場合）
図１２（２）を参照して、ズーム倍率ｘ＝２の場合、再生装置４のストリーム受信部３４は、映像ストリーム（２Ｋ［１］）、及び視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）を受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率２倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝７］）を表示倍率１倍にて再生する。画面表示部３９は、第一層の映像ストリーム（２Ｋ［１］）及び第二層の映像ストリーム（４Ｋ［ｉ＝７］）を重ね合わせて表示する。

図１３に示すように、（２）ズーム倍率ｘ＝２の場合、映像ストリーム（４Ｋ［ｉ＝７］）の復号データは、表示倍率１倍にて再生され、画面表示される。また、映像ストリーム（２Ｋ［１］）の復号データは、表示倍率２倍にて再生され、映像ストリーム（４Ｋ［ｉ＝７］）以外の領域（再生装置４の視聴領域ｒにおいて上端及び右端の領域）に、画面表示される。

この場合、受信ストリーム要求部３３は、映像ストリーム（８Ｋ［ｊ］）を受信するための要求を送信しない。このため、ストリーム受信部３４は、映像ストリーム（８Ｋ［ｊ］）を受信しない。また、画面表示制御部３１は、第一層及び第二層の表示モードを「表示」に設定し、第三層の表示モードを「非表示」に設定する。

ここで、受信ストリーム決定部３２は、ストリーム受信部３４が視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）を受信する際に、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｉ＝７を決定し、映像ストリーム（４Ｋ［ｉ＝７］）を決定する。

画面表示部３９は、第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域と視聴領域ｒとが一致しない場合、第二層の映像ストリーム（４Ｋ［ｉ＝７］）で占有されない領域、すなわち視聴領域ｒのうち第二層の映像ストリーム（４Ｋ［ｉ＝７］）以外の領域（図１２（２）に示す再生装置４の視聴領域ｒにおいて、上端及び右端の領域）に、映像ストリーム（２Ｋ［１］）を画面表示する。

このように、ズーム倍率ｘ＝２の場合、図１２（２）のとおり、再生装置４の視聴領域ｒには、映像ストリーム（４Ｋ［ｉ＝７］）が表示倍率１倍にて画面表示され、映像ストリーム（２Ｋ［１］）が表示倍率２倍にて画面表示される。

尚、画面表示部３９は、第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域と視聴領域ｒとが一致する場合、第二層の映像ストリーム（４Ｋ［ｉ＝７］）のみを画面表示する。第一層の映像ストリーム（２Ｋ［１］）は、第二層の映像ストリーム（４Ｋ［ｉ＝７］）に重なるため、画面表示されない。

ただし、第二層の映像ストリーム（４Ｋ［ｉ＝７］）と視聴領域ｒとが一致する場合であっても、映像再生処理部３７は、第一層の映像ストリーム（２Ｋ［１］）を再生する。これにより、視聴領域ｒが変更され、第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域と視聴領域ｒとが一致しない場合に、新たな映像ストリーム（４Ｋ［ｉ］）の受信を待つことなく、瞬時に第一層の映像ストリーム（２Ｋ［１］）を表示することができる。

図１３に示すように、図１２（２）において、映像再生処理部３７により、映像ストリーム（２Ｋ［１］）の復号データが表示倍率２倍にて再生される。そして画面表示部３９により、映像ストリーム（２Ｋ［１］）の復号データが低解像度の映像として画面表示される。

（ズーム倍率ｘ＝４の場合）
図１２（３）を参照して、ズーム倍率ｘ＝４の場合、再生装置４のストリーム受信部３４は、映像ストリーム（２Ｋ［１］）、並びに視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１７］）を受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率４倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝７］）を表示倍率２倍にて再生し、第三層に映像ストリーム（８Ｋ［ｊ＝１７］）を表示倍率１倍にて再生する。画面表示部３９は、第一層の映像ストリーム（２Ｋ［１］）、第二層の映像ストリーム（４Ｋ［ｉ＝７］）及び第三層の映像ストリーム（８Ｋ［ｊ＝１７］）を重ね合わせて表示する。

この場合、画面表示制御部３１は、第一層、第二層及び第三層の表示モードを「表示」に設定する。

図１３に示すように、（３）ズーム倍率ｘ＝４の場合、映像ストリーム（８Ｋ［ｊ＝１７］）の復号データは、表示倍率１倍にて再生され、画面表示される。また、映像ストリーム（４Ｋ［ｉ＝７］）の復号データは、表示倍率２倍にて再生され、映像ストリーム（８Ｋ［ｊ＝１７］）以外の領域（再生装置４の視聴領域ｒにおいて上端及び右端の領域）に、画面表示される。

ここで、受信ストリーム決定部３２は、ストリーム受信部３４が視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）を受信する際に、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｉ＝７を決定し、映像ストリーム（４Ｋ［ｉ＝７］）を決定する。

また、受信ストリーム決定部３２は、ストリーム受信部３４が視聴領域ｒに応じた映像ストリーム（８Ｋ［ｊ＝１７］）を受信する際に、視聴領域ｒの中心位置と、４９領域のインデックスｊ＝１，・・・，４９の映像ストリーム（８Ｋ［ｊ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｊ＝１７を決定し、映像ストリーム（８Ｋ［ｊ＝１７］）を決定する。

画面表示部３９は、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）の領域と視聴領域ｒとが一致しない場合、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）で占有されない領域、すなわち視聴領域ｒのうち第三層の映像ストリーム（８Ｋ［ｊ＝１７］）以外の領域（図１２（３）に示す再生装置４の視聴領域ｒにおいて上端及び右端の領域）に、映像ストリーム（４Ｋ［ｉ＝７］）を画面表示する。

このように、ズーム倍率ｘ＝４の場合、図１２（３）のとおり、再生装置４の視聴領域ｒには、映像ストリーム（８Ｋ［ｊ＝１７］）が表示倍率１倍にて画面表示され、映像ストリーム（４Ｋ［ｉ＝７］）が表示倍率２倍にて画面表示される。

尚、画面表示部３９は、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）の領域と視聴領域ｒとが一致する場合、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）のみを画面表示する。第二層の映像ストリーム（４Ｋ［ｉ＝７］）は、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）に重なるため、画面表示されない。

ただし、画面表示部３９が第二層の映像ストリーム（４Ｋ［ｉ＝７］）を画面表示しない場合であっても、映像再生処理部３７は、第二層の映像ストリーム（４Ｋ［ｉ＝７］）を再生する。

これにより、視聴領域ｒが変更され、第三層の映像ストリーム（８Ｋ［ｊ］）の領域と視聴領域ｒとが一致しない場合に、新たな映像ストリーム（８Ｋ［ｊ］）の受信を待つことなく、瞬時に第二層の映像ストリーム（４Ｋ［ｉ＝７］）を表示することができる。また、第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域を超える視聴領域ｒの変更がされた場合には、新たな映像ストリーム（８Ｋ［ｊ］）及び映像ストリーム（４Ｋ［ｉ］）の受信を待つことなく、瞬時に第一層の映像ストリーム（２Ｋ［１］）を表示することができる。

（ズーム倍率ｘ＝２^3/2の場合）
図１２（１）～（３）では、ズーム倍率ｘ＝１，２，４の場合について説明したが、本発明は、整数倍のズーム倍率ｘに限定されることなく、整数倍以外のズーム倍率ｘにも適用がある。一例として、ズーム倍率ｘ＝２^3/2の場合について説明する。

図１２（４）を参照して、ズーム倍率ｘ＝２^3/2の場合、再生装置４のストリーム受信部３４は、映像ストリーム（２Ｋ［１］）、及び視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）を受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率２^3/2倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝７］）を表示倍率２^1/2倍にて再生する。

この場合、受信ストリーム要求部３３は、映像ストリーム（８Ｋ［ｊ］）を受信するための要求を送信しない。このため、ストリーム受信部３４は、映像ストリーム（８Ｋ［ｊ］）を受信しない。また、画面表示制御部３１は、第一層及び第二層の表示モードを「表示」に設定し、第三層の表示モードを「非表示」に設定する。

ここで、受信ストリーム決定部３２は、ストリーム受信部３４が視聴領域ｒに応じた映像ストリーム（４Ｋ［ｉ＝７］）を受信する際に、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となる領域を特定し、当該領域のインデックスｉ＝７を決定し、映像ストリーム（４Ｋ［ｉ＝７］）を決定する。

画面表示部３９は、図１２（４）のように、第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域が視聴領域ｒに含まれる場合、すなわち視聴領域ｒが第二層の映像ストリーム（４Ｋ［ｉ＝７］）の領域に占有された場合、第二層の映像ストリーム（４Ｋ［ｉ＝７］）を画面表示する。第一層の映像ストリーム（２Ｋ［１］）は、第二層の映像ストリーム（４Ｋ［ｉ＝７］）に重なるため、画面表示されない。

ただし、この場合であっても、映像再生処理部３７は、第一層の映像ストリーム（２Ｋ［１］）を再生する。これにより、視聴領域ｒが変更され、視聴領域ｒが第二層の映像ストリーム（４Ｋ［ｉ］）の領域に占有されなくなった場合に、新たな映像ストリーム（４Ｋ［ｉ］）の受信を待つことなく、瞬時に第一層の映像ストリーム（２Ｋ［１］）を画面表示することができる。

このように、ズーム倍率ｘ＝２^3/2の場合、図１２（４）のとおり、再生装置４の視聴領域ｒには、映像ストリーム（４Ｋ［ｉ＝７］）が表示倍率２^1/2倍にて画面表示され、映像ストリーム（２Ｋ［１］）が表示倍率２^3/2倍にて画面表示される。

（視聴領域ｒを変更したときの動作）
次に、視聴領域ｒを変更したときの再生装置４の動作について説明する。図１４は、視聴領域ｒを変更したときの動作を説明する図であり、図１５は、図１４のステップＳ１４０２，Ｓ１４０６，Ｓ１４０９において、再生装置４に画面表示される映像データの解像度及び表示倍率を説明する図である。

再生装置４は、配信サーバ３から映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ＝１］）及び映像ストリーム（８Ｋ［ｊ＝１］）を受信し（ステップＳ１４０１）、映像ストリーム（８Ｋ［ｊ＝１］）を引き伸ばすことなく表示倍率１倍で画面表示しているものとする。つまり、再生装置４は、高解像度の映像ストリーム（８Ｋ［ｊ＝１］）を画面表示している（ステップＳ１４０２）。

図１５に示すように、図１４のステップＳ１４０２において、映像ストリーム（８Ｋ［ｊ＝１］）の復号データが表示倍率１倍にて再生されるから、高解像度の映像が画面表示される。

具体的には、映像再生処理部３７により、映像ストリーム（２Ｋ［１］）の復号データが表示倍率４倍にて再生され、映像ストリーム（４Ｋ［ｉ＝１］）の復号データが表示倍率２倍にて再生され、映像ストリーム（８Ｋ［ｊ＝１］）の復号データが表示倍率１倍にて再生される。そして、画面表示部３９により、映像ストリーム（８Ｋ［ｊ＝１］）の復号データが高解像度の映像として画面表示される。

図１４に戻って、再生装置４は、ユーザによるスワイプ操作に従い（ステップＳ１４０３）、視聴領域ｒが変更されると、変更後の視聴領域ｒに対応する映像ストリーム（８Ｋ［ｊ＝２５］）を受信するための要求を配信サーバ３へ送信する（ステップＳ１４０４）。これにより、映像ストリーム（８Ｋ［ｊ＝２５］）が配信サーバ３から再生装置４へ送信される。

再生装置４は、映像ストリーム（８Ｋ［ｊ＝２５］）を受信するまでの間、映像ストリーム（２Ｋ［１］）及び映像ストリーム（４Ｋ［ｉ＝１］）を引き伸ばして画面表示する（ステップＳ１４０５）。具体的には、再生装置４は、映像ストリーム（２Ｋ［１］）を表示倍率４倍に引き伸ばし、低解像度の映像ストリーム（２Ｋ［１］）を画面表示すると共に、映像ストリーム（４Ｋ［ｉ＝１］）を表示倍率２倍に引き伸ばし、低解像度の映像ストリーム（４Ｋ［ｉ＝１］）を画面表示する（ステップＳ１４０６）。

図１５に示すように、図１４のステップＳ１４０６において、映像再生処理部３７により、映像ストリーム（２Ｋ［１］）の復号データが表示倍率４倍にて第一層に再生される。そして、画面表示部３９により、視聴領域ｒ内の所定領域に、映像ストリーム（２Ｋ［１］）の復号データが低解像度の２Ｋ映像として画面表示される。

また、映像再生処理部３７により、映像ストリーム（４Ｋ［ｉ＝１］）の復号データが表示倍率２倍にて第二層に再生される。そして、画面表示部３９により、視聴領域ｒ内の左上の一部の領域に、映像ストリーム（４Ｋ［ｉ＝１］）の復号データが低解像度の４Ｋ映像として画面表示される。この場合、視聴領域ｒ内の左上の一部の領域には、第二層の映像ストリーム（４Ｋ［ｉ＝１］）が第一層の映像ストリーム（２Ｋ［１］）よりも優先して画面表示される。

尚、図１５の例は、高解像度の２Ｋ映像に代えて、低解像度の４Ｋ映像及び２Ｋ映像が画面表示されるが、スワイプ操作に伴う視聴領域ｒによっては、高解像度の２Ｋ映像に代えて、低解像度の２Ｋ映像が画面表示される。

図１４に戻って、再生装置４は、要求に対応する映像ストリーム（８Ｋ［ｊ＝２５］）を受信する（ステップＳ１４０７）。そうすると、再生装置４は、映像ストリーム（２Ｋ［１］）及び映像ストリーム（４Ｋ［ｉ＝１］）を映像ストリーム（８Ｋ［ｊ＝２５］）に切り替え、表示倍率１倍にて画面表示する（ステップＳ１４０８）。具体的には、再生装置４は、映像ストリーム（８Ｋ［ｊ＝２５］）を引き伸ばすことなく、高解像度の映像ストリーム（８Ｋ［ｊ＝２５］）を画面表示する（ステップＳ１４０９）。

図１５に示すように、図１４のステップＳ１４０９において、映像再生処理部３７により、映像ストリーム（８Ｋ［ｊ＝２５］）の復号データが表示倍率１倍にて再生される。そして、画面表示部３９により、映像ストリーム（８Ｋ［ｊ＝２５］）の復号データが高解像度の映像として画面表示される。

図１４に戻って、再生装置４は、変更後の視聴領域ｒに対応する映像ストリーム（４Ｋ［ｉ＝１２］）を受信するための要求を配信サーバ３へ送信する（ステップＳ１４１０）。そして、再生装置４は、要求に対応する映像ストリーム（４Ｋ［ｉ＝１２］）を受信する（ステップＳ１４１１）。

そうすると、再生装置４は、第二層につき、映像ストリーム（４Ｋ［ｉ＝１］）を映像ストリーム（４Ｋ［ｉ＝１２］）に切り替える（ステップＳ１４１２）。この場合、視聴領域ｒの全領域には、第三層の映像ストリーム（８Ｋ［ｊ＝２５］）が画面表示されているため、第二層の映像ストリーム（４Ｋ［ｉ＝１２］）は画面表示されない。

このように、ユーザの操作に従い、視聴領域ｒが、画面表示中の第三層の映像ストリーム（８Ｋ［ｊ＝１］）の分割位置の領域から他の分割位置の領域へ変更された場合、第一層の映像ストリーム（２Ｋ［１］）及び第二層の映像ストリーム（４Ｋ［ｉ＝１］）を引き伸ばして画面表示する。これにより、映像ストリームの分割位置に関係なく、任意の位置で視聴が可能となる。

また、体感上のレスポンスを向上させることができると共に、効率的な配信を実現することができる。さらに、視聴領域ｒの変更に伴い、映像ストリーム（８Ｋ［ｊ＝１］）から映像ストリーム（８Ｋ［ｊ＝２５］）に切り替えているときは、一時的に解像度が低下するが、ユーザの操作に合わせた画面表示が可能となる。

図１６は、視聴領域ｒ変更時の受信ストリーム及び再生映像（ズーム倍率ｘ＝４）を説明する図である。これは、図１２（３）に示したズーム倍率ｘ＝４において、第一層の映像ストリーム（２Ｋ［１］）が表示倍率４倍にて、第二層の映像ストリーム（４Ｋ［ｉ］）が表示倍率２倍にて、及び第三層の映像ストリーム（８Ｋ［ｊ］）が表示倍率１倍にて重ね合わせて表示される場合に対応している。図１６（１）は視聴領域ｒ１の場合を示し、図１６（２）は視聴領域ｒ２の場合を示し、図１６（３）は視聴領域ｒ３の場合を示している。

（視聴領域ｒ１の場合）
図１６（１）を参照して、視聴領域ｒ１の場合、視聴領域ｒ１の中心位置（バツ印）と映像ストリーム（４Ｋ［ｉ］）の中心位置（四角印）との間の距離が最小となるインデックスｉは７である。また、視聴領域ｒ１の中心位置（バツ印）と映像ストリーム（８Ｋ［ｊ］）の中心位置（丸印）との間の距離が最小となるインデックスｊは１７である。

再生装置４の受信ストリーム要求部３３は、視聴領域ｒ１に応じた映像ストリーム（４Ｋ［ｉ＝７］）及び映像ストリーム（８Ｋ［ｊ＝１７］）を受信するための要求を配信サーバ３へ送信する。ストリーム受信部３４は、これらの映像ストリームを受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率４倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝７］）を表示倍率２倍にて再生し、第三層に映像ストリーム（８Ｋ［ｊ＝１７］）を表示倍率１倍にて再生する。

これにより、視聴領域ｒ１には、第三層の映像ストリーム（８Ｋ［ｊ＝１７］）及び第二層の映像ストリーム（４Ｋ［ｉ＝７］）が画面表示される。

（視聴領域ｒ２の場合）
図１６（２）を参照して、ユーザの操作により、図１６（１）の視聴領域ｒ１から右へ移動して視聴領域ｒ２に変更されたものとする。この場合、視聴領域ｒ２の中心位置（バツ印）と映像ストリーム（４Ｋ［ｉ］）の中心位置（四角印）との間の距離が最小となるインデックスｉは、７から８へと変更される。また、視聴領域ｒ２の中心位置（バツ印）と映像ストリーム（８Ｋ［ｊ］）の中心位置（丸印）との間の距離が最小となるインデックスｊは、１７から１８へと変更される。

受信ストリーム要求部３３は、視聴領域ｒ２に応じた映像ストリーム（４Ｋ［ｉ＝８］）及び映像ストリーム（８Ｋ［ｊ＝１８］）を受信するための要求を配信サーバ３へ送信する。ストリーム受信部３４は、これらの映像ストリームを受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率４倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝８］）を表示倍率２倍にて再生し、第三層に映像ストリーム（８Ｋ［ｊ＝１８］）を表示倍率１倍にて再生する。

これにより、視聴領域ｒ２には、第三層の映像ストリーム（８Ｋ［ｊ＝１８］）及び第二層の映像ストリーム（４Ｋ［ｉ＝８］）が画面表示される。

つまり、視聴領域ｒ２の中心位置と映像ストリーム（８Ｋ［ｊ］）の中心位置との間の距離が最小となるインデックスｊ＝１８を選択することで、視聴領域ｒ２のうちの多くの領域に映像ストリーム（８Ｋ［ｊ＝１８］）を占有して配置し、当該領域に映像ストリーム（８Ｋ［ｊ＝１８］）を表示することができる。

また、視聴領域ｒ２の中心位置と映像ストリーム（４Ｋ［ｉ］）の中心位置との間の距離が最小となるインデックスｉ＝８を選択することで、映像ストリーム（８Ｋ［ｊ＝１８］）を内包するように、視聴領域ｒ２の残りの領域に映像ストリーム（４Ｋ［ｉ＝８］）を配置し、当該残りの領域に映像ストリーム（４Ｋ［ｉ＝８］）を表示することができる。

この場合の視聴領域ｒ２において、隣接する領域の解像度の差異は、８Ｋと４Ｋの差である。視聴領域ｒ２には、第三層の映像ストリーム（８Ｋ［ｊ＝１８］）及び第一層の映像ストリーム（２Ｋ［１］）が隣接して画面表示されることはない。したがって、視聴領域ｒ２において、隣接する領域の解像度の差異を小さくすることができ、領域の境目において解像度の差異を認知してしまうことによる体感品質の低下を抑制することができる。

（視聴領域ｒ３の場合）
図１６（３）を参照して、ユーザの操作により、図１６（１）の視聴領域ｒ１から左上の端へ移動して視聴領域ｒ３に変更されたものとする。この場合、視聴領域ｒ３の中心位置（バツ印）と映像ストリーム（４Ｋ［ｉ］）の中心位置（四角印）との間の距離が最小となるインデックスｉは、７から１へと変更される。また、視聴領域ｒ３の中心位置（バツ印）と映像ストリーム（８Ｋ［ｊ］）の中心位置（丸印）との間の距離が最小となるインデックスｊは、１７から１へと変更される。

受信ストリーム要求部３３は、視聴領域ｒ３に応じた映像ストリーム（４Ｋ［ｉ＝１］）及び映像ストリーム（８Ｋ［ｊ＝１］）を受信するための要求を配信サーバ３へ送信する。ストリーム受信部３４は、これらの映像ストリームを受信する。映像再生処理部３７は、第一層に映像ストリーム（２Ｋ［１］）を表示倍率４倍にて再生し、第二層に映像ストリーム（４Ｋ［ｉ＝１］）を表示倍率２倍にて再生し、第三層に映像ストリーム（８Ｋ［ｊ＝１］）を表示倍率１倍にて再生する。

これにより、視聴領域ｒ３には、第三層の映像ストリーム（８Ｋ［ｊ＝１］）が画面表示される。

ここで、図１６（３）の視聴領域ｒ３から視聴領域ｒ３’（図示せず）に変更された場合を想定する。この場合、映像ストリーム（８Ｋ［ｊ＝１］）のインデックスｊ＝１が変更されても、映像ストリーム（４Ｋ［ｉ＝１］）のインデックスｉ＝１が変更されないことがあり得る。

図８（１）及び（２）を参照して、例えば映像ストリーム（４Ｋ［ｉ＝１］）の領域は、映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）の領域のそれぞれを内包するため、映像ストリーム（４Ｋ［ｉ＝１］）は映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）に対応する。このため、視聴領域ｒ３’には、第三層の映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）のいずれかと共に、映像ストリーム（４Ｋ［ｉ＝１］）が画面表示される。

この場合も図１６（２）と同様に、視聴領域ｒ３’のうちの多くの領域に映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）のいずれかを占有して配置し、当該領域に映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）のいずれかを表示することができる。

また、映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）のいずれかを内包するように、視聴領域ｒ３’の残りの領域に映像ストリーム（４Ｋ［ｉ＝１］）を配置し、当該残りの領域に映像ストリーム（４Ｋ［ｉ＝１］）を表示することができる。

この場合の視聴領域ｒ３’において、隣接する領域の解像度の差異は８Ｋと４Ｋの差である。視聴領域ｒ３’には、第三層の映像ストリーム（８Ｋ［ｊ＝１，２，８，９］）のいずれかと第一層の映像ストリーム（２Ｋ［１］）とが隣り合って画面表示されることはない。したがって、視聴領域ｒ３’において、隣接する領域の解像度の差異を小さくすることができ、領域の境目において解像度の差異を認知してしまうことによる体感品質の低下を抑制することができる。

（再生装置４の処理）
次に、図９に示した再生装置４の処理について説明する。図１７は、再生装置４の処理例を示すフローチャートであり、ズーム倍率ｘの変更時及び視聴領域ｒの変更時における映像ストリームの切り替え処理を示す図である。

前述と同様に、映像素材の解像度は、アスペクト比１６：９の８Ｋ解像度であるとし、再生装置４の画面解像度は、アスペクト比１６：９の２Ｋ解像度であるとする。映像符号化装置２により生成され配信サーバ３に格納される映像ストリームは、１つの映像ストリーム（２Ｋ［１］）、２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）であるとする。

図１７に示す処理は、映像の再生が終了するまで、視聴操作がある度に繰り返し実行される。配信サーバ３へ要求する映像ストリームが変更されない場合は、映像の再生が終了するまで当該映像ストリームの要求及び再生を継続する。

再生装置４の視聴操作受付部３０は、ユーザの操作に従い、ズーム倍率ｘの変更及び／または視聴領域ｒの変更を指示する視聴操作を受け付ける（ステップＳ１７０１）。

画面表示制御部３１は、視聴操作受付部３０により受け付けた視聴操作に従い、ズーム倍率ｘに応じて、ステップＳ１７０３，Ｓ１７０６，Ｓ１７１０のいずれかへ移行する（ステップＳ１７０２）。

画面表示制御部３１は、ステップＳ１７０２において、ズーム倍率ｘが０よりも大きく、かつ２よりも小さいと判定した場合（ステップＳ１７０２：０＜ｘ＜２）、ステップＳ１７０３へ移行する。これにより、映像ストリーム（２Ｋ［１］）の再生処理が行われる。

また、画面表示制御部３１は、ステップＳ１７０２において、ズーム倍率ｘが２以上であり、かつ４よりも小さいと判定した場合（ステップＳ１７０２：２≦ｘ＜４）、ステップＳ１７０６へ移行する。これにより、映像ストリーム（２Ｋ［１］）及び映像ストリーム（４Ｋ［ｉ］）の再生処理が行われる。

また、画面表示制御部３１は、ステップＳ１７０２において、ズーム倍率ｘが４以上であると判定した場合（ステップＳ１７０２：４≦ｘ）、ステップＳ１７１０へ移行する。これにより、映像ストリーム（２Ｋ［１］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）の再生処理が行われる。

このように、ズーム倍率ｘに応じて、映像ストリーム（４Ｋ［ｉ］）が再生されるか否か、及び映像ストリーム（８Ｋ［ｊ］）が再生されるか否かが決定される。

画面表示制御部３１は、ステップＳ１７０２（０＜ｘ＜２）から移行して、第一層の表示モードを「表示」に設定し、第二層及び第三層の表示モードを「非表示」に設定する（ステップＳ１７０３）。

これにより、画面表示部３９において、第一層に再生される映像ストリーム（２Ｋ［１］）が画面表示され、第二層の映像ストリーム（４Ｋ［ｉ］）及び第三層の映像ストリーム（８Ｋ［ｊ］）は画面表示されない。

ストリーム受信部３４は、受信している映像ストリーム（２Ｋ［１］）を、再生バッファ管理部３５に出力してバッファリングさせる。ここで、ストリーム受信部３４は、ステップＳ１７０１におけるユーザによる視聴操作に関わることなく、配信サーバ３から映像ストリーム（２Ｋ［１］）を受信している。

映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（２Ｋ［１］）を入力し、そのセグメント番号に従って、映像ストリーム（２Ｋ［１］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、映像ストリーム（２Ｋ［１］）の復号データを表示倍率ｘ倍にて、画面表示部３９の第一層に再生する（ステップＳ１７０４）。

視聴操作受付部３０は、ステップＳ１７０１の視聴操作が終了しているか否か、すなわち連続した視聴操作があるかないかを判定する（ステップＳ１７０５）。

視聴操作受付部３０は、ステップＳ１７０５において、視聴操作が終了していない、すなわち連続した視聴操作があると判定した場合（ステップＳ１７０５：Ｎ）、ステップＳ１７０１へ移行し、視聴操作を受け付ける。

一方、視聴操作受付部３０は、ステップＳ１７０５において、視聴操作が終了している、すなわち連続した視聴操作がないと判定した場合（ステップＳ１７０５：Ｙ）、処理を終了してステップＳ１７０１から処理を開始する。

これにより、画面表示部３９の視聴領域ｒには、映像ストリーム（２Ｋ［１］）が表示倍率ｘ倍にて画面表示される。ユーザは、２Ｋ解像度の映像ストリーム（２Ｋ［１］）を視聴することができる。

画面表示制御部３１は、ステップＳ１７０２（２≦ｘ＜４）から移行して、第一層及び第二層の表示モードを「表示」に設定し、第三層の表示モードを「非表示」に設定する（ステップＳ１７０６）。

これにより、画面表示部３９において、第二層に再生される映像ストリーム（４Ｋ［ｉ］）が画面表示されるか、または第二層に再生される映像ストリーム（４Ｋ［ｉ］）及び第一層に再生される映像ストリーム（２Ｋ［１］）が画面表示される。場合によっては、映像ストリーム（２Ｋ［１］）が画面表示される。また、第三層の映像ストリーム（８Ｋ［ｊ］）は画面表示されない。

ストリーム受信部３４は、受信している映像ストリーム（２Ｋ［１］）を、再生バッファ管理部３５に出力してバッファリングさせる。映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（２Ｋ［１］）を入力し、そのセグメント番号に従って、映像ストリーム（２Ｋ［１］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、映像ストリーム（２Ｋ［１］）の復号データを表示倍率ｘ倍にて、画面表示部３９の第一層に再生する（ステップＳ１７０７）。

視聴操作受付部３０は、ステップＳ１７０１の視聴操作が終了しているか否か、すなわち連続した視聴操作があるかないかを判定する（ステップＳ１７０８）。

視聴操作受付部３０は、ステップＳ１７０８において、視聴操作が終了していない、すなわち連続した視聴操作があると判定した場合（ステップＳ１７０８：Ｎ）、ステップＳ１７０１へ移行し、視聴操作を受け付ける。

一方、視聴操作受付部３０は、ステップＳ１７０８において、視聴操作が終了している、すなわち連続した視聴操作がないと判定した場合（ステップＳ１７０８：Ｙ）、再生装置４は、映像ストリーム（４Ｋ［ｉ］）の再生処理を行う（ステップＳ１７０９）。そして、再生装置４は、処理を終了してステップＳ１７０１から処理を開始する。ステップＳ１７０９の映像ストリーム（４Ｋ［ｉ］）再生処理の詳細については後述する。

これにより、画面表示部３９の視聴領域ｒには、映像ストリーム（４Ｋ［ｉ］）が表示倍率ｘ／２倍にて画面表示されるか、または映像ストリーム（４Ｋ［ｉ］）が表示倍率ｘ／２倍にて画面表示されると共に、映像ストリーム（２Ｋ［１］）が表示倍率ｘ倍にて画面表示される。ユーザは、映像ストリーム（４Ｋ［ｉ］）を視聴するか、または映像ストリーム（４Ｋ［ｉ］）及び２Ｋ解像度の映像ストリーム（２Ｋ［１］）を視聴することができる。

画面表示制御部３１は、ステップＳ１７０２（４≦ｘ）から移行して、第一層、第二層及び第三層の表示モードを「表示」に設定する。

これにより、画面表示部３９において、第三層に再生される映像ストリーム（８Ｋ［ｊ］）が画面表示されるか、または第三層に再生される映像ストリーム（８Ｋ［ｊ］）及び第二層に再生される映像ストリーム（４Ｋ［ｉ］）が画面表示される。また、場合によっては、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（２Ｋ［１］）の両方またはいずれか一方が画面表示される。

ストリーム受信部３４は、受信している映像ストリーム（２Ｋ［１］）を、再生バッファ管理部３５に出力してバッファリングさせる。映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（２Ｋ［１］）を入力し、そのセグメント番号に従って、映像ストリーム（２Ｋ［１］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、映像ストリーム（２Ｋ［１］）の復号データを表示倍率ｘ倍にて、画面表示部３９の第一層に再生する（ステップＳ１７１０）。

視聴操作受付部３０は、ステップＳ１７０１の視聴操作が終了しているか否か、すなわち連続した視聴操作があるかないかを判定する（ステップＳ１７１１）。

視聴操作受付部３０は、ステップＳ１７１１において、視聴操作が終了していない、すなわち連続した視聴操作があると判定した場合（ステップＳ１７１１：Ｎ）、ステップＳ１７０１へ移行し、視聴操作を受け付ける。

一方、視聴操作受付部３０は、ステップＳ１７１１において、視聴操作が終了している、すなわち連続した視聴操作がないと判定した場合（ステップＳ１７１１：Ｙ）、再生装置４は、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）の再生処理を行う（ステップＳ１７１２）。そして、再生装置４は、処理を終了してステップＳ１７０１から処理を開始する。ステップＳ１７１２の映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）再生処理の詳細については後述する。

これにより、画面表示部３９の視聴領域ｒには、映像ストリーム（８Ｋ［ｊ］）が表示倍率ｘ／４にて画面表示されるか、または映像ストリーム（８Ｋ［ｊ］）が表示倍率ｘ／４にて画面表示されると共に、映像ストリーム（４Ｋ［ｉ］）が表示倍率ｘ／２倍にて画面表示される。また、場合によっては、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（２Ｋ［１］）の両方または一方が画面表示される。

例えば、図１７に示した処理例において、ユーザによる視聴操作を連続して受け付けた場合、すなわちステップＳ１７０５，Ｓ１７０８，Ｓ１７１１にて、視聴操作が終了していないと判定された場合、再生装置４には、視聴領域ｒ及びズーム倍率ｘに応じて、映像ストリーム（２Ｋ［１］）が画面表示される場合がある。

（映像ストリーム（４Ｋ［ｉ］）再生処理／ステップＳ１７０９）
図１８は、図１７に示したステップＳ１７０９の映像ストリーム（４Ｋ［ｉ］）再生処理を示すフローチャートである。

前述のとおり、再生装置４は、ズーム倍率ｘが２≦ｘ＜４の場合に、ステップＳ１７０８（Ｙ）から移行して（視聴操作が終了していると判定した場合）、ステップＳ１７０９において、映像ストリーム（４Ｋ［ｉ］）の再生処理を行う。

具体的には、受信ストリーム決定部３２は、メモリ４１から、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置のデータを読み出す。そして、受信ストリーム決定部３２は、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となるインデックスｉ_newを決定し、映像ストリーム（４Ｋ［ｉ_new］）を決定する（ステップＳ１８０１）。

受信ストリーム決定部３２は、決定したインデックスｉ_newが、現在再生中の映像ストリーム（４Ｋ［ｉ］）のインデックスｉに等しいか否かを判定する（ステップＳ１８０２）。

受信ストリーム決定部３２は、ステップＳ１８０２において、インデックスｉ_newがインデックスｉに等しいと判定した場合（ステップＳ１８０２：Ｙ（ｉ_new＝ｉ））、ステップＳ１８０５へ移行する。これにより、再生装置４は、ユーザが視聴を希望する領域のインデックスに変化がないことを認識することができる。

一方、受信ストリーム決定部３２は、ステップＳ１８０２において、インデックスｉ_newがインデックスｉに等しくないと判定した場合（ステップＳ１８０２：Ｎ（ｉ_new≠ｉ））、要求する映像ストリームを変更するために、映像ストリーム（４Ｋ［ｉ_new］）を含む受信ストリーム情報を生成する。これにより、再生装置４は、ユーザが視聴を希望する領域のインデックスに変化があったことを認識し、配信サーバ３に対し、配信を要求する映像ストリーム（４Ｋ［ｉ］）を変更することができる。

受信ストリーム要求部３３は、受信ストリーム決定部３２により生成された受信ストリーム情報に従い、配信サーバ３へ要求する映像ストリームを、映像ストリーム（４Ｋ［ｉ］）から映像ストリーム（４Ｋ［ｉ_new］）に切り替える（ステップＳ１８０３）。そして、受信ストリーム要求部３３は、映像ストリーム（４Ｋ［ｉ_new］）を受信するための要求を、通信インターフェース部４０を介して配信サーバ３へ送信する。

これにより、映像ストリーム（４Ｋ［ｉ_new］）が配信サーバ３から再生装置４へ送信され、再生装置４のストリーム受信部３４は、映像ストリーム（４Ｋ［ｉ_new］）を受信することができる。

再生バッファ管理部３５は、現在再生している映像ストリーム（４Ｋ［ｉ］）のインデックスであるｉをｉ_newに更新する（ステップＳ１８０４）。

ストリーム受信部３４は、受信している映像ストリーム（４Ｋ［ｉ_new］）を、再生バッファ管理部３５に出力してバッファリングさせる。映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（４Ｋ［ｉ_new］）を入力し、そのセグメント番号に従って、映像ストリーム（４Ｋ［ｉ_new］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、映像ストリーム（４Ｋ［ｉ_new］）の復号データを表示倍率ｘ／２倍にて、画面表示部３９の第二層に再生する（ステップＳ１８０５）。

これにより、画面表示部３９の視聴領域ｒには、映像ストリーム（４Ｋ［ｉ_new］）が表示倍率ｘ／２倍にて画面表示され、ユーザは、映像ストリーム（４Ｋ［ｉ_new］）を視聴することができる。

（映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）再生処理／ステップＳ１７１２）
図１９は、図１７に示したステップＳ１７１２の映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）再生処理を示すフローチャートである。

前述のとおり、再生装置４は、ズーム倍率ｘが４≦ｘの場合に、ステップＳ１７１１（Ｙ）から移行して（視聴操作が終了していると判定した場合）、ステップＳ１７１２において、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（８Ｋ［ｊ］）の再生処理を行う。

具体的には、受信ストリーム決定部３２は、メモリ４１から、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置のデータを読み出す。そして、受信ストリーム決定部３２は、視聴領域ｒの中心位置と、２５領域のインデックスｉ＝１，・・・，２５の映像ストリーム（４Ｋ［ｉ］）における領域の中心位置との間の距離が最小となるインデックスｉ_newを決定する。

また、受信ストリーム決定部３２は、メモリ４１から、４９領域のインデックスｊ＝１，・・・，４９の映像ストリーム（８Ｋ［ｊ］）における領域の中心位置のデータを読み出す。そして、受信ストリーム決定部３２は、視聴領域ｒの中心位置と、４９領域のインデックスｊ＝１，・・・，４９の映像ストリーム（８Ｋ［ｊ］）における領域の中心位置との間の距離が最小となるインデックスｊ_newを決定する。

受信ストリーム決定部３２は、インデックスｉ_new，ｊ_newの決定に伴い、映像ストリーム（４Ｋ［ｉ_new］）及び映像ストリーム（８Ｋ［ｊ_new］）を決定する（ステップＳ１９０１）。

受信ストリーム決定部３２は、決定したインデックスｊ_newが、現在再生中の映像ストリーム（８Ｋ［ｊ］）のインデックスｊに等しいか否かを判定する（ステップＳ１９０２）。

受信ストリーム決定部３２は、ステップＳ１９０２において、インデックスｊ_newがインデックスｊに等しいと判定した場合（ステップＳ１９０２：Ｙ（ｊ_new＝ｊ））、ステップＳ１９０５へ移行する。これにより、再生装置４は、映像ストリーム（８Ｋ［ｊ］）について、ユーザが視聴を希望する領域のインデックスに変化がないことを認識することができる。

一方、受信ストリーム決定部３２は、ステップＳ１９０２において、インデックスｊ_newがインデックスｊに等しくないと判定した場合（ステップＳ１９０２：Ｎ（ｊ_new≠ｊ））、要求する映像ストリームを変更するために、映像ストリーム（８Ｋ［ｊ_new］）を含む受信ストリーム情報を生成する。これにより、再生装置４は、映像ストリーム（８Ｋ［ｊ］）について、ユーザが視聴を希望する領域のインデックスに変化があったことを認識し、配信サーバ３に対し、配信を要求する映像ストリーム（８Ｋ［ｊ］）を変更することができる。

受信ストリーム要求部３３は、受信ストリーム決定部３２により生成された受信ストリーム情報に従い、配信サーバ３へ要求する映像ストリームを、映像ストリーム（８Ｋ［ｊ］）から映像ストリーム（８Ｋ［ｊ_new］）に切り替える（ステップＳ１９０３）。そして、受信ストリーム要求部３３は、映像ストリーム（８Ｋ［ｊ_new］）を受信するための要求を、通信インターフェース部４０を介して配信サーバ３へ送信する。

これにより、映像ストリーム（８Ｋ［ｊ_new］）が配信サーバ３から再生装置４へ送信され、再生装置４のストリーム受信部３４は、映像ストリーム（８Ｋ［ｊ_new］）を受信することができる。

再生バッファ管理部３５は、現在再生している映像ストリーム（８Ｋ［ｊ］）のインデックスであるｊをｊ_newに更新する（ステップＳ１９０４）。

ストリーム受信部３４は、受信している映像ストリーム（８Ｋ［ｊ_new］）を、再生バッファ管理部３５に出力してバッファリングさせる。映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（８Ｋ［ｊ_new］）を入力し、そのセグメント番号に従って、映像ストリーム（８Ｋ［ｊ_new］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、映像ストリーム（８Ｋ［ｊ_new］）の復号データを表示倍率ｘ／４倍にて、画面表示部３９の第三層に再生する（ステップＳ１９０５）。

これにより、画面表示部３９の視聴領域ｒには、映像ストリーム（８Ｋ［ｊ_new］）が表示倍率ｘ／４倍にて画面表示され、ユーザは、映像ストリーム（８Ｋ［ｊ_new］）を視聴することができる。

ここで、再生装置４は、ステップＳ１９０５において、映像ストリーム（８Ｋ［ｊ_new］）の映像セグメントを再生開始可能な状態になったときに、ステップＳ１９０６へ移行する。

前述のステップＳ１９０１～Ｓ１９０５における映像ストリーム（８Ｋ［ｊ_new］）の切り替え処理と、後述するステップＳ１９０６～Ｓ１９０９における映像ストリーム（４Ｋ［ｉ_new］）の切り替え処理とを同時に行うことが可能である。

しかしながら、本発明の実施形態では、第三層の映像ストリーム（８Ｋ［ｊ_new］）の切り替え処理を、第二層の映像ストリーム（４Ｋ［ｉ_new］）の切り替え処理よりも優先して行うようにした。

これにより、視聴領域ｒのうちの最大面積を占有する第三層を高速に切り替えることができ、視聴領域ｒの変更に伴い、解像度の高い第三層の映像ストリーム（８Ｋ［ｊ］）を迅速に画面表示することができる。

受信ストリーム決定部３２は、ステップＳ１９０５から移行して、図１８のステップＳ１８０２と同様の処理を行う（ステップＳ１９０６）。また、受信ストリーム要求部３３は、図１８のステップＳ１８０３と同様の処理を行い（ステップＳ１９０７）、再生バッファ管理部３５は、図１８のステップＳ１８０４と同様の処理を行う（ステップＳ１９０８）。

ストリーム受信部３４は、映像ストリーム（４Ｋ［ｉ_new］）を受信し、再生バッファ管理部３５に出力してバッファリングさせる。映像復号処理部３６は、再生バッファ管理部３５から映像ストリーム（４Ｋ［ｉ_new］）を入力し、そのセグメント番号に従って、映像ストリーム（４Ｋ［ｉ_new］）の映像セグメントを復号し、復号データを生成する。

映像再生処理部３７は、図１８のステップＳ１８０５と同様に、映像ストリーム（４Ｋ［ｉ_new］）の復号データを表示倍率ｘ／２倍にて、画面表示部３９の第二層に再生する（ステップＳ１９０９）。

これにより、画面表示部３９の視聴領域ｒには、場合によっては、映像ストリーム（８Ｋ［ｊ_new］）が表示倍率ｘ／４にて画面表示されると共に、映像ストリーム（４Ｋ［ｉ_new］）が表示倍率ｘ／２倍にて画面表示される。ユーザは、映像ストリーム（８Ｋ［ｊ_new］）と共に、映像ストリーム（４Ｋ［ｉ_new］）を視聴することができる。

以上のように、本発明の実施形態の再生装置４によれば、受信ストリーム決定部３２は、ユーザの操作に従い設定されたズーム倍率ｘに基づいて、受信ストリームの種類及びインデックスｉ，ｊを決定する。受信ストリーム要求部３３は、受信ストリームの種類及びインデックスｉ，ｊが示す映像ストリームを受信するための要求を、配信サーバ３へ送信する。

ストリーム受信部３４は、配信サーバ３から、要求に対応する映像ストリームを受信し、再生バッファ管理部３５は、１または複数の映像ストリームをバッファリングする。

映像復号処理部３６は、再生バッファ管理部３５から１または複数の映像ストリームを入力し、映像ストリームのセグメント番号に従って、映像ストリームのセグメントを順次復号し、１または複数の映像ストリームに対応した復号データを生成する。

映像再生処理部３７は、ズーム倍率ｘに基づいて、１または複数の復号データのそれぞれについての表示倍率を設定し、視聴領域ｒに基づいて、１または複数の復号データのそれぞれについての再生位置を設定する。映像再生処理部３７は、１または複数の復号データのそれぞれに対応する画面表示部３９の層に、１または複数の復号データを、設定した表示倍率及び再生位置にて再生する。

画面表示部３９は、映像再生処理部３７により再生された１または複数の復号データを画面表示する。この場合、画面表示部３９は、複数の復号データを画面表示する場合、予め設定された優先順位に従い、重ね合わせて表示する。

例えば、映像再生処理部３７は、映像ストリーム（８Ｋ［ｊ］）を表示倍率１倍にて再生し、映像ストリーム（４Ｋ［ｉ］）を表示倍率２倍にて再生し、映像ストリーム（２Ｋ［１］）を表示倍率４倍にて再生する。画面表示部３９は、映像ストリーム（８Ｋ［ｊ］）、映像ストリーム（４Ｋ［ｉ］）及び映像ストリーム（２Ｋ［１］）の順に優先して、これらの映像ストリームを重ね合わせて表示する

ここで、配信サーバ３から送信される１または複数の映像ストリームは、映像符号化装置２により生成される。映像符号化装置２では、映像を分割した領域毎に、複数の品質の映像データを生成する必要がないため、符号化の処理負荷及び映像データの伝送量を削減することができる。

また、再生装置４を操作するユーザは、解像度を維持した状態で、映像の一部の領域を拡大して視聴することができ、体感品質を維持することができる。つまり、ユーザは、配信された映像を、ズーム、スワイプ等の操作により自由に注視点を切り替えながら、高品質及び高レスポンスで視聴することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

（解像度変換処理部１０及び切り出し処理部１１の入れ替え）
例えば前記実施形態において、映像符号化装置２は、解像度変換処理部１０による解像度変換処理の後に、切り出し処理部１１による切り出し処理を行うようにした。これに対し、映像符号化装置２は、切り出し処理部１１による切り出し処理の後に、解像度変換処理部１０による解像度変換処理を行うようにしてもよい。

具体的には、前記実施形態では、解像度変換処理部１０は、８Ｋ解像度の映像素材をダウンスケーリングし、２Ｋ解像度の映像データ（２Ｋ［１］）及び４Ｋ解像度の映像データを生成する。そして、切り出し処理部１１は、４Ｋ解像度の映像データに対して切り出し処理を行い、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を生成し、８Ｋ解像度の映像素材である８Ｋ解像度の映像データに対して切り出し処理を行い、４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を生成する。

これにより、映像データ（２Ｋ［１］）、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）及び４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が生成される。

これに対し、切り出し処理部１１は、８Ｋ解像度の映像素材である８Ｋ解像度の映像データから、横のオフセット幅を４８０ｐｘの倍数及び縦のオフセット幅を２７０ｐｘの倍数として、４Ｋ画素数の重複領域を有する異なる２５領域の映像データを切り出す（８Ｋ解像度の映像データから切り出した２５領域の映像データを生成する）。そして、解像度変換処理部１０は、２５領域の映像データを（４Ｋ画素数から２Ｋ画素数に）ダウンスケーリングし、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）を生成する。

また、切り出し処理部１１は、前記実施形態と同様に、８Ｋ解像度の映像素材である８Ｋ解像度の映像データに対して切り出し処理を行い、４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を生成する。解像度変換処理部１０は、前記実施形態と同様に、８Ｋ解像度の映像素材である８Ｋ解像度の映像データを（８Ｋ画素数から２Ｋ画素数に）ダウンスケーリングし、映像データ（２Ｋ［１］）を生成する。

これにより、前記実施形態と同様に、映像データ（２Ｋ［１］）、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）及び４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）が生成される。

（異なる画素数の映像データの生成）
また、前記実施形態では、解像度変換処理部１０及び切り出し処理部１１は、１領域の２Ｋ画素数の映像データ（２Ｋ［１］）、２５領域の２Ｋ画素数の映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）及び４９領域の２Ｋ画素数の映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を生成するようにした。つまり、解像度変換処理部１０及び切り出し処理部１１は、これらの映像データについて、同じ２Ｋ画素数の映像データを生成するようにした。

これに対し、解像度変換処理部１０及び切り出し処理部１１は、これらの映像データについて、異なる画素数の映像データを生成するようにしてもよい。例えば、映像データ（２Ｋ［１］）の画素数を映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）よりも大きくし、映像データ（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）の画素数を映像データ（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）よりも大きくする。

これにより、再生装置４の視聴領域ｒ内に、異なる映像ストリームが隣接して表示される場合、隣接する領域の解像度の差異を一層小さくすることができ、ユーザが領域の境目において解像度の差異を認知することによる体感品質の低下を一層抑制することができる。

（２つまたは４つ以上の解像度の異なる映像ストリーム）
また、前記実施形態では、低解像度の映像ストリーム（２Ｋ［１］）、中解像度の２５領域の映像ストリーム（４Ｋ［ｉ］：ｉ∈｛１，・・・，２５｝）、及び高解像度の４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）を例に挙げて説明した。本発明は、これらの解像度の映像ストリームに適用があるだけでなく、２つの異なる解像度の映像ストリーム、及び４つ以上の異なる解像度の映像ストリームにも適用がある。

例えば、本発明は、低解像度の映像ストリーム（２Ｋ［１］）及び高解像度の４９領域の映像ストリーム（８Ｋ［ｊ］：ｊ∈｛１，・・・，４９｝）のみが配信サーバ３に格納される場合にも適用がある。

この場合、図４を参照して、映像符号化装置２の解像度変換処理部１０は、８Ｋ／２Ｋ変換部２０を備え、図５を参照して、切り出し処理部１１は、８Ｋ切り出し部２３を備える。また、図６を参照して、ストリーム生成部１２は、２Ｋストリーム生成部２４及び８Ｋストリーム生成部２６を備える。

また、再生装置４は、映像ストリーム（２Ｋ［１］）が再生される第一層、及び、４９領域のうち１領域の映像ストリーム（８Ｋ［ｊ］）が再生される第二層の再生領域を備える。

再生装置４の受信ストリーム決定部３２は、視聴操作受付部３０におけるユーザの操作に従い、ズーム倍率ｘ及び視聴領域ｒに応じた受信ストリームとして、所定領域の映像ストリーム（８Ｋ［ｊ］）を決定する。受信ストリーム要求部３３は、所定領域の映像ストリーム（８Ｋ［ｊ］）を受信するための要求を配信サーバ３へ送信する。

ストリーム受信部３４は、配信サーバ３から映像ストリーム（２Ｋ［１］）及び映像ストリーム（８Ｋ［ｊ］）を受信する。再生バッファ管理部３５及び映像復号処理部３６は、映像ストリーム（２Ｋ［１］）及び映像ストリーム（８Ｋ［ｊ］）について前述の処理を行う。

映像再生処理部３７は、第一層において映像ストリーム（２Ｋ［１］）を再生し、第二層において映像ストリーム（８Ｋ［ｊ］）を再生する。そして、画面表示部３９は、視聴領域ｒにおいて、第二層の映像ストリーム（８Ｋ［ｊ］）を第一層よりも優先して画面表示する。

尚、本発明の実施形態による映像符号化装置２及び再生装置４のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置２及び再生装置４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像符号化装置２に備えた解像度変換処理部１０（８Ｋ／２Ｋ変換部２０及び８Ｋ／４Ｋ変換部２１）、切り出し処理部１１（４Ｋ切り出し部２２及び８Ｋ切り出し部２３）及びストリーム生成部１２（２Ｋストリーム生成部２４、４Ｋストリーム生成部２５及び８Ｋストリーム生成部２６）の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、再生装置４に備えた視聴操作受付部３０、画面表示制御部３１、受信ストリーム決定部３２、受信ストリーム要求部３３、ストリーム受信部３４、再生バッファ管理部３５、映像復号処理部３６、映像再生処理部３７、同期再生管理部３８、画面表示部３９、通信インターフェース部４０及びメモリ４１の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 映像配信システム
２ 映像符号化装置
３ 配信サーバ
４ 再生装置
５ インターネット
１０ 解像度変換処理部
１１ 切り出し処理部
１２ ストリーム生成部
２０ ８Ｋ／２Ｋ変換部
２１ ８Ｋ／４Ｋ変換部
２２ ４Ｋ切り出し部
２３ ８Ｋ切り出し部
２４ ２Ｋストリーム生成部
２５ ４Ｋストリーム生成部
２６ ８Ｋストリーム生成部
３０ 視聴操作受付部
３１ 画面表示制御部
３２ 受信ストリーム決定部
３３ 受信ストリーム要求部
３４ ストリーム受信部
３５ 再生バッファ管理部
３６ 映像復号処理部
３７ 映像再生処理部
３８ 同期再生管理部
３９ 画面表示部
４０ 通信インターフェース部
４１ メモリ
ｘ ズーム倍率
ｒ，ｒ１，ｒ２，ｒ３，ｒ３’ 視聴領域
ｉ，ｊ インデックス

Claims (9)

1. 映像素材の解像度を変換して符号化し、解像度の異なる複数の映像ストリームを生成する映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記映像符号化装置であって、
   高解像度の映像データを高解像度映像データとし、当該高解像度映像データよりも解像度の低い映像データを中解像度映像データとし、当該中解像度映像データよりも解像度の低い映像データを低解像度映像データとして、
   前記映像素材の解像度を変換し、解像度の異なる複数の映像データを生成する解像度変換処理部と、
   前記映像素材の映像データ及び前記解像度変換処理部により変換された前記複数の映像データのうち、解像度の最も高い映像データを前記高解像度映像データとし、解像度の最も低い映像データを前記低解像度映像データとし、
   前記映像素材の映像データ及び前記解像度変換処理部により変換された前記複数の映像データのうち、前記高解像度映像データ及び前記低解像度映像データを除く映像データを前記中解像度映像データとして、
   前記高解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の高解像度切り出し映像データを出力し、
   前記中解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の中解像度切り出し映像データを出力する切り出し処理部と、
   前記切り出し処理部により出力された前記領域毎の高解像度切り出し映像データ及び前記領域毎の中解像度切り出し映像データを符号化し、時系列にセグメント化した領域毎の高解像度映像ストリーム及び領域毎の中解像度映像ストリームを生成し、前記領域毎の高解像度映像ストリーム及び前記領域毎の中解像度映像ストリームを前記配信サーバに格納し、
   前記低解像度映像データを符号化し、時系列にセグメント化した低解像度映像ストリームを生成し、当該低解像度映像ストリームを前記配信サーバに格納するストリーム生成部と、を備え、
   前記切り出し処理部は、
   前記再生装置が前記高解像度映像ストリーム、前記中解像度映像ストリーム及び前記低解像度映像ストリームを重ね合わせて表示する際に、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記高解像度映像データから切り出しを行うと共に、前記中解像度映像データから切り出しを行い、
   前記低解像度映像ストリーム、前記再生装置からの要求に応じた所定領域の前記中解像度映像ストリーム、及び前記要求に応じた所定領域の前記高解像度映像ストリームが、前記配信サーバから前記再生装置へ送信される、ことを特徴とする映像符号化装置。
2. 映像素材の解像度を変換して符号化し、解像度の異なる複数の映像ストリームを生成する映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記映像符号化装置であって、
   前記映像素材の映像データを高解像度映像データとし、当該高解像度映像データよりも解像度の低い映像データを中解像度映像データとし、当該中解像度映像データよりも解像度の低い映像データを低解像度映像データとして、
   前記映像素材の解像度を低解像度に変換し、前記中解像度映像データ及び前記低解像度映像データを生成する解像度変換処理部と、
   前記高解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の高解像度切り出し映像データを出力し、
   前記解像度変換処理部により生成された前記中解像度映像データから、所定画素数の複数の領域を切り出し、領域毎の中解像度切り出し映像データを出力する切り出し処理部と、
   前記切り出し処理部により出力された前記領域毎の高解像度切り出し映像データ及び前記領域毎の中解像度切り出し映像データを符号化し、時系列にセグメント化した領域毎の高解像度映像ストリーム及び領域毎の中解像度映像ストリームを生成し、前記領域毎の高解像度映像ストリーム及び前記領域毎の中解像度映像ストリームを前記配信サーバに格納し、
   前記解像度変換処理部により変換された前記低解像度映像データを符号化し、時系列にセグメント化した低解像度映像ストリームを生成し、当該低解像度映像ストリームを前記配信サーバに格納するストリーム生成部と、を備え、
   前記切り出し処理部は、
   前記再生装置が前記高解像度映像ストリーム、前記中解像度映像ストリーム及び前記低解像度映像ストリームを重ね合わせて表示する際に、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記高解像度映像データから切り出しを行うと共に、前記中解像度映像データから切り出しを行い、
   前記低解像度映像ストリーム、前記再生装置からの要求に応じた所定領域の前記中解像度映像ストリーム、及び前記要求に応じた所定領域の前記高解像度映像ストリームが、前記配信サーバから前記再生装置へ送信される、ことを特徴とする映像符号化装置。
3. 請求項１または２に記載の映像符号化装置において、
   前記切り出し処理部により切り出される前記複数の領域のそれぞれは、他の領域との間で重複する部分を有する、ことを特徴とする映像符号化装置。
4. 請求項１から３までのいずれか一項に記載の映像符号化装置と、当該映像符号化装置により生成された前記複数の映像ストリームのうち所定の映像ストリームを配信する配信サーバと、ユーザの操作に従い、前記配信サーバから前記映像ストリームを受信して再生する再生装置と、を備えた映像配信システムにおける前記再生装置であって、
   所定の高解像度の前記映像ストリームを高解像度映像ストリームとし、当該高解像度映像ストリームよりも解像度の低い前記映像ストリームを中解像度映像ストリームとし、当該中解像度映像ストリームよりも解像度の低い前記映像ストリームを低解像度映像ストリームとして、
   前記配信サーバに、映像における領域毎の前記高解像度映像ストリーム、前記映像における領域毎の前記中解像度映像ストリーム、及び前記低解像度映像ストリームが格納されている場合に、
   前記ユーザの操作に従い設定されたズーム倍率に基づいて、受信する映像ストリームの種類を決定すると共に、前記ユーザの操作に従い設定された視聴領域に基づいて、前記領域の位置を示すインデックスを決定する受信ストリーム決定部と、
   前記受信ストリーム決定部により決定された前記映像ストリームの種類及び前記インデックスが示す前記映像ストリームを受信するための要求を、前記配信サーバへ送信する受信ストリーム要求部と、
   前記配信サーバから、前記低解像度映像ストリームを受信すると共に、前記要求に応じた所定領域の前記中解像度映像ストリーム及び前記要求に応じた所定領域の前記高解像度映像ストリームを受信するストリーム受信部と、
   前記ストリーム受信部により受信された前記低解像度映像ストリームを復号すると共に、前記所定領域の前記中解像度映像ストリーム、及び前記所定領域の前記高解像度映像ストリームを復号する映像復号処理部と、
   前記視聴領域及び前記ズーム倍率に基づいて、前記映像復号処理部により復号された前記低解像度映像ストリームを、第一層に所定表示倍率にて再生し、前記映像復号処理部により復号された前記中解像度映像ストリームを、第二層の所定位置に所定表示倍率にて再生し、前記映像復号処理部により復号された前記高解像度映像ストリームを、第三層の所定位置に所定表示倍率にて再生する映像再生処理部と、
   前記第三層、前記第二層及び前記第一層について、解像度の高い順を優先順位として、当該優先順位の高い層の前記映像ストリームが表示されるように、さらに、前記中解像度映像ストリームが前記高解像度映像ストリームを内包して表示され、かつ、前記高解像度映像ストリーム及び前記低解像度映像ストリームが隣接して表示されないように、前記映像再生処理部により再生された前記第一層の前記低解像度映像ストリーム、前記第二層の前記中解像度映像ストリーム及び前記第三層の前記高解像度映像ストリームを重ねて画面表示する画面表示部と、
   を備えたことを特徴とする再生装置。
5. 請求項４に記載の再生装置において、
   前記受信ストリーム決定部は、
   前記視聴領域の中心位置と前記領域毎の中心位置との間の距離が最小となる領域を特定し、当該領域の位置を示す前記インデックスを決定する、ことを特徴とする再生装置。
6. 請求項４または５に記載の再生装置において、
   前記映像再生処理部により所定解像度の第一映像ストリームが第一表示倍率にて再生され、前記画面表示部により前記第一映像ストリームが画面表示されている場合に、前記ユーザによるズーム操作があると、
   前記映像再生処理部は、前記第一映像ストリームを、前記ズーム操作に従い前記第一表示倍率よりも高い表示倍率にて再生し、
   前記画面表示部は、前記映像再生処理部により再生された前記第一映像ストリームを画面表示し、
   前記ズーム操作に従った前記要求に応じて、前記第一映像ストリームよりも解像度の高い所定領域の第二映像ストリームが受信されると、
   前記映像再生処理部は、前記第二映像ストリームを、所定表示倍率にて再生し、
   前記画面表示部は、画面表示している前記第一映像ストリームを、前記映像再生処理部により再生された前記第二映像ストリームに切り替え、当該第二映像ストリームを画面表示する、ことを特徴とする再生装置。
7. 請求項４または５に記載の再生装置において、
   前記映像再生処理部により所定解像度の第一映像ストリームが第一表示倍率にて再生され、前記第一映像ストリームよりも高い解像度の所定領域の第二映像ストリームが前記第一表示倍率よりも低い第二表示倍率にて再生され、前記画面表示部により前記所定領域の前記第二映像ストリームが画面表示されている場合に、前記ユーザによるスワイプ操作があると、
   前記画面表示部は、前記所定領域の前記第二映像ストリームに代えて、前記第一映像ストリームを画面表示し、
   前記スワイプ操作に従った前記要求に応じて、前記所定領域とは異なる領域の前記第二映像ストリームが受信されると、
   前記映像再生処理部は、前記所定領域とは異なる前記領域の前記第二映像ストリームを、前記第二表示倍率にて再生し、
   前記画面表示部は、画面表示している前記所定領域の前記第二映像ストリームを、前記映像再生処理部により再生された前記所定領域とは異なる前記領域の前記第二映像ストリームに切り替え、当該第二映像ストリームを画面表示する、ことを特徴とする再生装置。
8. コンピュータを、請求項１から３までのいずれか一項に記載の映像符号化装置として機能させるためのプログラム。
9. コンピュータを、請求項４から７までのいずれか一項に記載の再生装置として機能させるためのプログラム。

Images