JP5838925B2 - 通信システム、端末装置、動画の表示方法、及びプログラム - Google Patents

Description

本発明は、解像度の異なる複数の画像データを配信するシステムに関する。

従来、例えばストリーミング配信において、ネットワーク環境に応じて送信する画像の解像度を変更する技術が知られている（特許文献１参照）。例えば特許文献１において、ネットワーク環境が良い場合、送信装置は、標準解像度よりも高解像度の画像データを受信端末へ送信する。一方、ネットワーク環境が悪い場合、送信装置は、標準解像度の画像データを受信端末へ送信する。また、標準解像度の画像データを受信した受信端末の負荷が低い場合、受信端末は、標準解像度の画像データを高解像度の画像データにアップスケールする。

特開２００９−２９０６９１号公報

しかしながら、特許文献１の技術では、例えばネットワーク帯域が狭い場合、高解像度の画像を表示することは困難であった。この場合、受信端末が、標準解像度の画像データを高解像度の画像データをアップスケールしなければならなかった。そのため、特許文献１の技術では、ネットワーク帯域の余裕度に応じて、低解像度と高解像度の画像を柔軟に表示することは困難であった。

また、特許文献１の技術では、例えばネットワーク帯域が広く、受信端末のＣＰＵ負荷が低い場合、受信端末は、送信装置から高解像度の画像データを受信することができる。しかしながら、受信端末の描画能力等の性能が低いため、高解像度の画像データを迅速に表示できない場合がある。この場合、特許文献１の技術では、受信端末の性能に応じて、低解像度と高解像度の画像を柔軟に表示することは困難である。

本発明は、以上の点に鑑みてなされたものであり、ネットワーク帯域の余裕度または端末の性能に応じて、低解像度と高解像度の画像を柔軟に表示することが可能な通信システム、端末装置、動画の表示方法、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、端末装置とサーバ装置とがネットワークを介して通信可能な通信システムであって、前記サーバ装置は、表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶する記憶手段を備え、少なくとも前記第２の動画データは、前記第２の動画データを構成する画像フレームを分割した複数の分割画像データにより構成され、前記端末装置は、前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させる第１制御手段と、前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定する第１決定手段と、前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記第１決定手段により決定された分割画像データを表示させる第２制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の通信システムにおいて、前記第２制御手段は、前記第１の動画データを構成する画像フレームの表示範囲の一部を、前記第１決定手段により決定された分割画像データに置き換えて表示させることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の通信システムにおいて、前記端末装置は、画像フレームを書き込むフレームバッファをさらに備え、前記第２制御手段は、前記第１決定手段により決定された前記分割画像データを取得する取得処理と、取得された前記分割画像データにより構成される画像フレームを前記フレームバッファに書き込む第１の書き込み処理と、前記第１の書き込みにより書き込まれなかった前記フレームバッファの書き込み領域に、前記第１制御手段により取得された前記第１の動画データを構成する画像フレームを書き込む第２の書き込み処理と、前記第１及び第２の書き込み処理により前記フレームバッファに書き込まれた画像フレームを表示させる表示処理と、を実行することを特徴とする。

請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の通信システムにおいて、前記第１制御手段は、前記第１の動画データを構成する画像フレームを１又は複数含むブロックごとに所定の時間単位で区切られた前記動画データを前記サーバ装置から順次取得し、前記ブロックごとに取得された前記動画データに基づいて動画を表示させ、前記第１決定手段は、前記ブロックごとの前記動画データが取得されるごとに前記取得対象となる前記分割画像データを決定することを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の通信システムにおいて、前記記憶手段に記憶された複数の動画データの中で、前記解像度が高く、且つ、ディスプレイへの表示範囲の中に前記画像フレームに占める割合が高い前記動画データを優先して、前記第１の動画データとして決定する第２決定手段を備え、前記第１制御手段は、前記第２決定手段により決定された前記第１の動画データを構成する画像フレームを、前記第２の動画データを構成する複数の分割画像データよりも優先して前記サーバ装置から取得することを特徴とする。

請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の通信システムにおいて、前記第１決定手段は、前記余裕度を示す値が大きいほど、または、前記性能を示す値が大きいほど、前記複数の分割画像データの中から取得対象となる前記分割画像データをより多く決定することを特徴とする。

請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の通信システムにおいて、前記第１の動画データを構成する複数の画像フレームにおいて表示される範囲として指定された表示範囲を決定する第３決定手段を備え、前記第１決定手段は、前記第３決定手段により決定された表示範囲の中に画像フレームが占める割合が高い前記分割画像データを優先して決定することを特徴とする。

請求項８に記載の発明は、請求項１乃至６の何れか一項に記載の通信システムにおいて、前記第１の動画データを構成する複数の画像フレームにおいて表示される範囲として指定された表示範囲を決定する第３決定手段を備え、前記第１決定手段は、前記第３決定手段により決定された表示範囲の中心から所定範囲の領域で、且つ前記表示範囲より狭い領域を含む画像フレームを構成する前記分割画像データを優先して決定する。

請求項９に記載の発明は、表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置のコンピュータに、前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させるステップと、前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定するステップと、前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記決定された分割画像データを表示させるステップと、を実行させることを特徴とする。

請求項１０に記載の発明は、表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置であって、前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させる第１制御手段と、前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定する第１決定手段と、前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記第１決定手段により決定された分割画像データを表示させる第２制御手段と、を備えることを特徴とする。

請求項１１に記載の発明は、表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置により行われる動画の表示方法であって、前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させるステップと、前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定するステップと、前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記決定された分割画像データを表示させるステップと、を含むことを特徴とする。

請求項１、９〜１１に記載の発明によれば、ネットワーク帯域の余裕度または端末の性能に応じて、低解像度と高解像度の画像を柔軟に表示することができる。

請求項２に記載の発明によれば、例えば高解像度の画像が取得できなかった領域についても、欠けのない画像を表示させることができる。

請求項３に記載の発明によれば、第１の動画データを構成する画像フレームの表示範囲の一部を、より効率良く分割画像データに置き換えて表示させることができる。

請求項４に記載の発明によれば、動画データの再生進行状況及び取得進行状況に応じて、各時点で最適な分割画像データを取得対象として決定することができる。

請求項５に記載の発明によれば、より広い表示範囲に、より高画質の画像を表示させることができる。

請求項６に記載の発明によれば、ネットワークの帯域の余裕度が大きいほど、または端末装置の性能が高いほど、より高画質の画像を表示させることができる。

請求項７に記載の発明によれば、より広い表示範囲に、高画質の画像を表示させることができる。

請求項８に記載の発明によれば、表示範囲の中心部分の領域を優先して、高画質の画像を表示させることができる。

本実施形態の通信システムＳの概要構成例を示す図である。 各レイヤの動画データを構成する１画像フレームを示す図である。 クライアント２の制御部２１におけるメイン処理を示すフローチャートである。 （Ａ）は、クライアント２の制御部２１におけるダウンロード処理を示すフローチャートである。（Ｂ）は、ブロック優先順決定処理により生成された取得対象リストの内容の一例を示す図である。 クライアント２の制御部２１におけるブロック優先順決定処理を示すフローチャートである。 クライアント２の制御部２１における再生処理を示すフローチャートである。 クライアント２の制御部２１における画面描画処理を示すフローチャートである。 （Ａ）は、レイヤ１の画像フレームにおける描画領域を示す図である。（Ｂ）は、レイヤ２の分割画像フレームにおける描画領域を示す図である。（Ｃ）,（Ｄ）は、レイヤ１及びレイヤ２にける動画ストリームにおいて、取得対象候補となる動画データブロックが決定される様子を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．通信システムＳの構成及び動作概要］
始めに、図１等を参照して、本実施形態の通信システムの構成及び動作概要について説明する。図１は、本実施形態の通信システムＳの概要構成例を示す図である。図１に示すように、通信システムＳは、配信サーバ１、及びクライアント２を含んで構成される。配信サーバ１は、本発明のサーバ装置の一例である。クライアント２は、本発明の端末装置の一例である。なお、図１に示す例では、１つのクライアントを示しているが、実際にはこれより多くのクライアントが存在する。また、配信サーバ１とクライアント２とはネットワークＮＷを介して通信可能になっている。ネットワークＮＷは、例えば、インターネット、携帯通信網、及びゲートウェイ等により構成される。

配信サーバ１は、例えばクライアント２からのコンテンツのアップロードを受け付ける。アップロードされたコンテンツには、他のコンテンツから識別するためのコンテンツＩＤが付与される。コンテンツには、例えば動画データ及び音声データが含まれる。動画データは、例えば高解像度のカメラで、且つ広範囲を撮影可能なレンズを搭載するカメラにより被写体が撮影されたデータである。なお、広範囲を撮影可能なレンズには、ワイドレンズ、魚眼レンズ、３６０レンズ等がある。また、動画データは、複数のカメラにより同じ被写体が別の視点から撮影されたデータであってもよい。この場合、複数の動画データがコンテンツに含まれることになる。また、音声データは、複数のマイクによって集音されたデータであってもよい。この場合、複数の音声データがコンテンツに含まれることになる。

また、配信サーバ１は、例えばアップロードされたコンテンツに含まれる動画データに基づき、解像度の異なる複数の動画データを生成する。例えば、１つの動画データが複製され、低解像度から高解像度までの複数のレイヤごとに動画データが生成される。本実施形態では、レイヤ１〜レイヤ３の３つのレイヤを例にとるが、これに限定されるものではない。例えば、レイヤ１の動画データは、低解像度の動画データである。レイヤ２の動画データは、中解像度の動画データである。レイヤ３の動画データは、高解像度の動画データである。なお、低解像度又は中解像度の動画データは、表示対象を第１の解像度で表示する第１の動画データの一例である。また、中解像度又は高解像度の動画データは、表示対象を第１の解像度より高い第２の解像度で表示する第２の動画データの一例である。なお、表示対象は、カメラにより撮影される被写体である。

また、配信サーバ１は、レイヤ２の動画データを構成する画像フレームを分割して複数の分割画像データを生成する。つまり、画像フレーム全体の表示領域が分割される。これにより、レイヤ２の動画データは、レイヤ２の動画データを構成する画像フレームを分割した複数の分割画像データにより構成されることになる。さらに、配信サーバ１は、レイヤ３の動画データを構成する画像フレームを分割して複数の分割画像データを生成する。図２は、各レイヤの動画データを構成する１画像フレームを示す図である。図２の例では、レイヤ１の１画像フレームあたりのピクセル数は、１Ｍ（メガ）ピクセルである。また、レイヤ２の１画像フレームあたりのピクセル数は、４Ｍピクセルである。また、レイヤ３の１画像フレームあたりのピクセル数は、１６Ｍピクセルである。そして、図２の例では、レイヤ２の画像フレームは４等分に分割されている。つまり、レイヤ２の１画像フレームから、パート１から４までの４つの画像フレームが得られる。このように分割された画像フレームを、「分割画像フレーム」という。一方、レイヤ３の１画像フレームは１６等分に分割されている。このように分割された１分割画像フレームあたりのピクセル数は、１Ｍピクセルである。つまり、図２の例では、レイヤ２及びレイヤ３それぞれの分割画像フレームのピクセル数は、レイヤ１の画像フレームのピクセル数と同一となる。

画像フレームの分割は、動画データを構成する複数の画像フレームであり、且つ再生時刻が互いに異なる複数の画像フレームごとに行われる。再生時刻とは、例えば動画データの再生開始からの経過時間である。そして、上述したパートごとに、複数の分割画像データが纏められて動画データが生成される。図２の例では、レイヤ２の動画データは４つ生成される。一方、レイヤ３の動画データは１６つ生成される。このように生成された動画データは、それぞれ、ＭＰＥＧ等の所定の圧縮形式で圧縮されて動画ファイルに格納される。動画ファイルには、他の動画ファイルと区別可能なファイル名が付与される。一方、図２に示すレイヤ１では、分割されていない動画データが、所定の圧縮方式で圧縮されて動画ファイルに格納される。なお、レイヤ１の動画データの画像フレームについても、分割されるように構成してもよい。また、図２の例では、画像フレームが格子状に分割されるように構成したが、その他の形状に分割されてもよい。また、図２の例では、同じレイヤにおける各分割フレーム全体の表示領域の面積が均等になるように分割されているが、不均等になるように分割されてもよい。

また、配信サーバ１は、記憶装置１１を備える。記憶装置１１は、本発明における記憶手段の一例である。記憶装置１１は、例えばハードディスクドライブ（ＨＤＤ）により構成される。記憶装置１１は、クライアント２からの要求に応じて、クライアント２へ送信されるＷｅｂページのデータが記憶される。さらに、記憶装置１１には、動画ファイル記憶領域１１ａ、音声ファイル記憶領域１１ｂ、メタファイル記憶領域１１ｃ、及びワークファイル記憶領域１１ｄが設けられている。動画ファイル記憶領域１１ａには、上述した複数の動画ファイルが記憶される。動画ファイル記憶領域１１ａに記憶された動画ファイルは、配信サーバ１にアクセス可能な複数のクライアント間で共有することができる。音声ファイル記憶領域１１ｂには、複数の音声ファイルが記憶される。音声ファイルには、コンテンツに含まれる音声データが所定の圧縮形式で圧縮されて格納される。音声ファイルには、他の音声ファイルと区別可能なファイル名が付与される。音声ファイル記憶領域１１ｂに記憶された音声ファイルは、配信サーバ１にアクセス可能な複数のクライアント間で共有することができる。

メタファイル記憶領域１１ｃには、コンテンツのメタファイルが記憶される。メタファイルには、他のメタファイルと区別可能なファイル名が付与される。メタファイルのファイル名には、メタファイルであることを示す識別子が含まれる。そして、メタファイルには、上述した動画データ及び音声データを例えばクライアント２が再生するために必要なメタ情報が格納される。メタ情報には、例えば、メタファイルのＵＲＬ、コンテンツＩＤ、コンテンツ名、レイヤ数、レイヤごとの画像フレームの分割数、各動画ファイルの属性情報及び記憶場所、並びに音声ファイルの属性情報及び記憶場所等が含まれる。記憶場所は、例えばＵＲＬで示される。メタ情報に含まれるコンテンツＩＤやコンテンツ名により、メタファイルは動画データに対応付けられる。動画ファイルの属性情報には、動画ファイルのファイル名、動画ファイルのファイルサイズ、動画ファイルに格納される動画データのレイヤ、解像度、及び１画像フレームあたりのピクセル数等の情報が含まれる。ここで、動画ファイルに、複数の分割画像データを含む動画データが格納される場合がある。この場合、動画ファイルの属性情報には、動画ファイルのファイル名、動画データのレイヤ、解像度、及び分割元の画像フレームに対する座標位置等の情報が含まれる。音声ファイルの属性情報には、音声ファイルのファイル名、及び音声ファイルのファイルサイズ（データ量）等が含まれる。なお、アップロードされたコンテンツに複数の音声データが含まれる場合ある。例えば、この場合のメタ情報には、各音声ファイルの属性情報及び記憶場所が含まれる。この場合の音声ファイルの属性情報には、音声データを集音したマイクの設置位置の情報等が含まれる。また、メタ情報には、動画データを補正するための補正パラメータが含まれる場合もある。動画データが魚眼レンズにより撮影された場合、補正パラメータには、対角線画角、及びアスペクト比等が含まれる。一方、動画データが３６０レンズにより撮影された場合、補正パラメータには、最大仰俯角、及び最小仰俯角等が含まれる。さらに、メタ情報には、動画データの再生に関して例えばユーザによる操作を制限する操作制限情報が含まれる場合もある。操作制限情報は、例えばコンテンツをアップロードする公開者等の指示に基づき設定される。メタファイル記憶領域１１ｃに記憶されたメタファイルは、配信サーバ１にアクセス可能な複数のクライアント間で共有することができる。

ワークファイル記憶領域１１ｄには、コンテンツのワークファイルが記憶される。ワークファイルには、他のワークファイルと区別可能なファイル名が付与される。ワークファイルのファイル名には、ワークファイルであることを示す識別子が含まれる。そして、ワークファイルには、例えば、メタファイルのＵＲＬ、コンテンツＩＤ、コンテンツ名、及び動画データを構成する画像フレームにおける表示対象に対する疑似的なカメラワークに関するワーク情報等が格納される。ワーク情報は、本発明の編集データの一例である。カメラワークとは、撮影者がカメラを動かすことで、カメラの被写体に対する位置、カメラの被写体に対する角度、及び被写体のサイズを決める動作をいう。本実施形態では、動画データを構成する複数の画像フレームにおける表示対象に対するカメラワークをユーザがあたかも実際のカメラを動かすように操作部を操作して疑似的に行う。このような操作を、「疑似カメラワーク操作」という。疑似カメラワーク操作により、ユーザは、動画データを構成する複数の画像フレームにおいて所望の表示範囲を指定することができる。表示範囲は、画像フレームにおいてディスプレイの画面に描画される描画領域に関する範囲である。描画領域は、画像フレームにおいて表示される範囲として指定される。言い換えれば、描画領域は、画像フレームで画定される撮影範囲から切り出される範囲である。ユーザは、疑似カメラワーク操作により、描画領域の画像フレームに対する座標位置を、画像フレームごとに異なるように指定することができる。また、ユーザは、疑似カメラワーク操作により、描画領域の画像フレームに対するサイズを拡大または縮小することができる。これにより、描画領域内の画像を拡大または縮小することできる。なお、上記ワーク情報には、例えば、画像フレームにおいて指定された描画領域の画像フレームに対する座標位置と、この画像フレームの再生位置とのセットを、描画領域が指定された画像フレームごとに含まれる。再生位置とは、動画データの再生開始からの時間的な位置をいう。なお、描画領域の座標位置は、画像フレームに対する座標位置である。ワークファイル記憶領域１１ｄに記憶されたワークファイルは、配信サーバ１にアクセス可能な複数のクライアント間で共有することができる。

そして、配信サーバ１は、例えばクライアント２からのコンテンツの要求に応じて、コンテンツに対応する動画ファイル及び音声ファイルをクライアント２へ送信する。動画ファイル及び音声ファイルの送信は、例えばネットワークＮＷを介してストリーミング配信により行われる。この場合、配信サーバ１は、動画ファイルに格納された動画データに基づき動画ストリームを動画ファイルごとに生成する。動画ストリームは、複数の動画データブロックから構成される。動画データブロックは、動画データの先頭位置から終了位置までが所定の時間単位で区切られたデータである。各動画データブロックには、１又は複数の画像フレームが含まれる。また、配信サーバ１は、音声ファイルに格納された音声データに基づき音声ストリームを音声ファイルごとに生成する。音声ストリームは、複数の音声データブロックから構成される。音声データブロックは、音声データの先頭位置から終了位置までが所定の時間単位で区切られたデータである。そして、配信サーバ１は、生成した動画ストリームに含まれる動画データブロックを順次、クライアント２へ送信する。また、配信サーバ１は、生成した音声ストリームに含まれる音声データブロックを順次、クライアント２へ送信する。

次に、クライアント２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、インターフェース部２７、及びバス２８等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等がある。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。ユーザは、操作部２５ａを用いて、上述した疑似カメラワーク操作を行うことができる。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。

制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部２１は、タイマー機能を備える。制御部２１は、本発明の第１制御手段、第２制御手段、第１決定手段、第２決定手段、及び第３決定手段の一例である。記憶部２２は、例えば、例えばハードディスクドライブ（ＨＤＤ）により構成される。記憶部２２には、ＯＳ（Operating System）、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツを再生するためのプログラムである。プレイヤーソフトウェアには、本発明のプログラムが含まれる。なお、プレイヤーソフトウェアは、例えば、ネットワークＮＷに接続された所定のサーバからダウンロードされるようにしてもよい。或いは、プレイヤーソフトウェアは、例えば、記録媒体に記録されて記録媒体のドライブを介して読み込まれるようにしてもよい。

制御部２１は、プレイヤーソフトウェアを実行することでコンテンツを再生するプレイヤーとして機能する。制御部２１はプレイヤーの機能により、配信サーバ１からストリーミング配信された動画データブロック及び音声データブロックを順次取得し、動画データブロック及び音声データブロックに基づいてコンテンツを再生させる。より具体的には、 制御部２１におけるＲＡＭにはバッファメモリが設けられている。バッファメモリには、配信サーバ１からストリーミング配信された動画データブロック及び音声データブロックが一時的に保持される。制御部２１は、バッファメモリから動画データを再生してビデオＲＡＭ２３へ出力する。ビデオＲＡＭ２３にはフレームバッファが設けられている。フレームバッファには再生された動画データの画像フレームが書き込まれる。映像制御部２４は、制御部２１からの制御信号に従って、フレームバッファに書き込まれた画像フレームを、表示部２４ａにおけるディスプレイの画面に描画することで表示させる。つまり、制御部２１は、配信サーバ１から取得された動画データを構成する画像フレームに基づいて、動画を表示させる。また、制御部２１は、バッファメモリから音声データを再生して音声制御部２６へ出力する。音声制御部２６は、音声データからアナログ音声信号を生成し、生成したアナログ音声信号をスピーカ２６ａへ出力する。

［２．通信システムＳの動作］
次に、図３〜図７等を参照して、通信システムＳの動作について説明する。図３は、クライアント２の制御部２１におけるメイン処理を示すフローチャートである。図４（Ａ）は、クライアント２の制御部２１におけるダウンロード処理を示すフローチャートである。図５は、クライアント２の制御部２１におけるブロック優先順決定処理を示すフローチャートである。図６は、クライアント２の制御部２１における再生処理を示すフローチャートである。図７は、クライアント２の制御部２１における画面描画処理を示すフローチャートである。

（２−１．メイン処理）
先ず、図３等を参照して、クライアント２の制御部２１におけるメイン処理を説明する。例えばクライアント２においてプレイヤーソフトウェアが起動すると、クライアント２はページリクエストを配信サーバ１へ送信する。そして、クライアント２は、ページリクエストに応じて配信サーバ１から送信されたＷｅｂページを受信して表示部２４ａにおけるディスプレイに表示する。このＷｅｂページには、例えば、コンテンツの情報が選択可能に表示される。Ｗｅｂページに表示されるコンテンツの情報は、配信サーバ１にアップロードされた複数のコンテンツの中の一部のコンテンツの情報である。例えば、例えばユーザに推奨されるコンテンツの情報、またはユーザにより入力されたキーワードに基づき検索されたコンテンツの情報が該当する。コンテンツの情報には、例えば、コンテンツＩＤやコンテンツ名が含まれる。そして、ユーザが操作部２５ａを操作して再生対象のコンテンツの情報を選択すると、選択されたコンテンツの情報がクライアント２から配信サーバ１へ送信される。配信サーバ１は、受信されたコンテンツの情報に含まれるコンテンツＩＤやコンテンツ名に基づいて、ワークファイル記憶領域１１ｄからワークファイルを検索する。そして、ワークファイルがワークファイル記憶領域１１ｄに記憶されている場合、このワークファイルがクライアント２へ送信される。一方、ワークファイルがワークファイル記憶領域１１ｄに記憶されていない場合がある。この場合、配信サーバ１は、受信されたコンテンツの情報に含まれるコンテンツＩＤやコンテンツ名に基づいて、メタファイル記憶領域１１ｃからメタファイルを検索する。そして、メタファイルがメタファイル記憶領域１１ｃに記憶されている場合、このメタファイルがクライアント２へ送信される。一方、メタファイルがメタファイル記憶領域１１ｃに記憶されていない場合がある。この場合、ワークファイル及びメタファイル以外のファイルがクライアント２へ送信される。

こうして、クライアント２は、配信サーバ１からファイルを取得すると、図３に示すメイン処理を開始する。図３に示すステップＳ１では、クライアント２の制御部２１は、例えば、取得したファイルを、例えばファイル名に含まれる識別子に基づき識別する。そして、制御部２１は、取得したファイルがメタファイルであるか否かを判定する（ステップＳ２）。取得されたファイルがメタファイルであると判定された場合（ステップＳ２：ＹＥＳ）、ステップＳ８へ進む。一方、取得されたファイルがメタファイルでないと判定された場合（ステップＳ２：ＮＯ）、ステップＳ３へ進む。ステップＳ３では、制御部２１は、取得したファイルがワークファイルであるか否かを判定する。取得されたファイルがワークファイルであると判定された場合（ステップＳ３：ＹＥＳ）、ステップＳ５へ進む。一方、取得されたファイルがワークファイルでないと判定された場合（ステップＳ３：ＮＯ）、ステップＳ４へ進む。ステップＳ４では、ファイル非対応メッセージがユーザへ通知される。ファイル非対応メッセージは、取得されたファイルが非対応であることを示すメッセージである。例えば、ファイル非対応メッセージが、表示部２４ａに表示、または、スピーカ２６ａから音声出力されることでユーザに通知される。

ステップＳ５では、制御部２１は、取得したワークファイルに含まれるメタファイルのＵＲＬに基づき、メタファイルの要求を配信サーバ１へ送信し、ステップＳ６へ進む。このメタファイルの要求には、例えばメタファイルのファイル名が含まれる。配信サーバ１は、受信されたメタファイルの要求に含まれるファイル名に基づいて、メタファイル記憶領域１１ｃからメタファイルを検索する。そして、メタファイルがメタファイル記憶領域１１ｃに記憶されている場合、このメタファイルがクライアント２へ送信される。

ステップＳ６では、制御部２１は、メタファイルの取得が成功したか否かを判定する。メタファイルの要求に応じて、配信サーバ１からメタファイルが受信された場合、メタファイルの取得が成功したと判定され（ステップＳ６：ＹＥＳ）、ステップＳ８へ進む。一方、配信サーバ１からメタファイルが受信されない場合、メタファイルの取得が失敗したと判定され（ステップＳ６：ＮＯ）、ステップＳ７へ進む。ステップＳ７では、ファイル取得失敗メッセージがユーザへ通知される。ファイル取得失敗メッセージは、メタファイルの取得失敗を示すメッセージである。

ステップＳ８では、制御部２１は、取得したメタファイルに格納されたメタ情報でプレイヤーを初期化する。なお、ワークファイルが配信サーバ１から取得されている場合、このワークファイルがプレイヤーに設定される。次いで、制御部２１は、操作制限情報がメタ情報に含まれているか否かを判定する（ステップＳ９）。操作制限情報がメタ情報に含まれていると判定された場合（ステップＳ９：ＹＥＳ）、ステップＳ１０へ進む。つまり、この場合、ワークファイルの生成が制限される。これにより、例えばコンテンツをアップロードする公開者等は、動画データが他のユーザにより編集されることを禁止することができる。一方、操作制限情報がメタ情報に含まれていないと判定された場合（ステップＳ９：ＮＯ）、ステップＳ１５へ進む。

ステップＳ１０では、制御部２１は、図４（Ａ）に示すダウンロード処理と、図６に示す再生処理とを開始する。なお、ダウンロード処理と再生処理は、例えばＯＳのマルチタスク機能により並行して実行される。ダウンロード処理と再生処理の詳細については後述する。次いで、制御部２１は、コンテンツの再生を終了するか否かを判定する（ステップＳ１１）。例えば、ユーザが操作部２５ａを操作してコンテンツの再生終了指示を行うと、コンテンツの再生を終了すると判定される。また、コンテンツの再生が最後まで行われると、コンテンツの再生を終了すると判定される。コンテンツの再生を終了すると判定された場合（ステップＳ１１：ＹＥＳ）、図３に示す処理を終了する。一方、コンテンツの再生を終了しないと判定された場合（ステップＳ１１：ＮＯ）、ステップＳ１２へ進む。このとき、動画データを構成する各画像フレームにおける描画領域は、メタ情報に基づき初期設定された描画領域となる。ステップＳ１２では、制御部２１は、上記ステップＳ８の処理によりワークファイルが設定されているか否かを判定する。ワークファイルが設定されていないと判定された場合（ステップＳ１２：ＮＯ）、ステップＳ１１に戻る。一方、例えばコンテンツをアップロードする公開者等は、操作制限情報によりワークファイルの生成を禁止する場合であっても、公開者自身が行った疑似的なカメラワークに基づく再生を禁止させたくない場合がある。この場合、上記公開者等により公開されたワークファイルが上記ステップＳ８で設定されることがある。ワークファイルが設定されていると判定された場合（ステップＳ１２：ＹＥＳ）、ステップＳ１３へ進む。ステップＳ１３では、制御部２１は、設定されているワークファイルを参照して疑似的なカメラワークの更新の必要があるか否かを判定する。例えば、設定されているワークファイル中に、ステップＳ１３の判定の直後に表示するべき画像フレームの再生位置と描画領域の座標位置とのセットを含むワーク情報がある場合、疑似的なカメラワークの更新の必要があると判定される。疑似的なカメラワークの更新の必要があると判定された場合（ステップＳ１３：ＹＥＳ）、ステップＳ１４へ進む。一方、疑似的なカメラワークの更新の必要がないと判定された場合（ステップＳ１３：ＮＯ）、ステップＳ１１に戻る。ステップＳ１４では、制御部２１は、ステップＳ１３の判定で用いたワーク情報に基づき現在の再生位置の描画領域を決定する。

一方、ステップＳ１５では、制御部２１は、ワークファイルを新規に生成する。次いで、制御部２１は、新規に生成したワークファイルに、再生対象のコンテンツのメタファイルのＵＲＬ等を記述する（ステップＳ１６）。次いで、制御部２１は、図４（Ａ）に示すダウンロード処理と、図６に示す再生処理とを開始する（ステップＳ１７）。ステップＳ１７の処理は、ステップＳ１０の処理と同様である。次いで、制御部２１は、コンテンツの再生を終了するか否かを判定する（ステップＳ１８）。ステップＳ１８の処理は、ステップＳ１１の処理と同様である。コンテンツの再生を終了すると判定された場合（ステップＳ１８：ＹＥＳ）、ステップＳ２６へ進む。一方、コンテンツの再生を終了しないと判定された場合（ステップＳ１８：ＮＯ）、ステップＳ１９へ進む。

ステップＳ１９では、制御部２１は、ユーザから操作部２５ａを介して疑似カメラワーク操作があったか否かを判定する。疑似カメラワーク操作があったと判定された場合（ステップＳ１９：ＹＥＳ）、ステップＳ２０へ進む。ステップＳ２０では、制御部２１は、疑似カメラワーク操作により指定された描画領域を決定する。次いで、制御部２１は、ステップＳ２０で決定された描画領域の座標位置と現在の再生位置とのセットを含むワーク情報を、上記ステップＳ１５で生成されたワークファイルに追記し（ステップＳ２１）、ステップＳ１８に戻る。言い換えれば、プレイヤーの疑似的なカメラワークの状態がワーク情報として追記される。

一方、ステップＳ１９において、疑似カメラワーク操作がないと判定された場合（ステップＳ１９：ＮＯ）、ステップＳ２２へ進む。ステップＳ２２では、制御部２１は、前回の疑似カメラワーク操作から予め設定された時間が経過したか否かを判定する。この時間は、例えば５秒〜１０秒程度に設定される。前回の疑似カメラワーク操作から予め設定された時間が経過していないと判定された場合（ステップＳ２２：ＮＯ）、ステップＳ１８に戻る。一方、前回の疑似カメラワーク操作から予め設定された時間が経過したと判定された場合（ステップＳ２２：ＹＥＳ）、ステップＳ２３へ進む。なお、図３に示す処理開始後、未だ疑似カメラワーク操作がない場合、上記ステップＳ１９からステップＳ２３へ進む。

ステップＳ２３では、制御部２１は、上記ステップＳ８の処理によりワークファイルが設定されているか否かを判定する。ワークファイルが設定されていないと判定された場合（ステップＳ２３：ＮＯ）、ステップＳ１８に戻る。一方、ワークファイルが設定されていると判定された場合（ステップＳ２３：ＹＥＳ）、ステップＳ２４へ進む。ステップＳ２４では、制御部２１は、設定されているワークファイルを参照して疑似的なカメラワークの更新の必要があるか否かを判定する。例えば、設定されているワークファイル中に、ステップＳ２４の判定の直後に表示するべき画像フレームの再生位置と描画領域の座標位置とのセットを含むワーク情報がある場合、疑似的なカメラワークの更新の必要があると判定される。疑似的なカメラワークの更新の必要があると判定された場合（ステップＳ２４：ＹＥＳ）、ステップＳ２５へ進む。一方、疑似的なカメラワークの更新の必要がないと判定された場合（ステップＳ２４：ＮＯ）、ステップＳ１８に戻る。なお、疑似カメラワーク操作がなく、且つ、疑似的なカメラワークの更新の必要がない場合、動画データを構成する各画像フレームにおける描画領域は、メタ情報に基づき初期設定された描画領域となる。

ステップＳ２５では、制御部２１は、ステップＳ２４の判定で用いたワーク情報に基づき現在の再生位置の描画領域を決定する。次いで、制御部２１は、ステップＳ２５で決定された描画領域の座標位置と現在の再生位置とのセットを含むワーク情報を、上記ワークファイルに追記し（ステップＳ２１）、ステップＳ１８に戻る。

ステップＳ２６では、制御部１１は、ステップＳ２１の処理によりワーク情報が格納されたワークファイルの公開処理を実行し、図３に示す処理を終了する。ワークファイルの公開処理では、制御部２１は、ワーク情報が格納されたワークファイルを、再生されたコンテンツの動画データに対応付けて配信サーバ１に登録させる。例えば、制御部１１は、ワークファイルの登録要求を配信サーバ１へ送信する。このワークファイルの要求には、例えば、ワーク情報が格納されたワークファイル、及び再生されたコンテンツのコンテンツＩＤ等が含まれる。配信サーバ１は、受信されたワークファイルの登録要求に含まれるワークファイルをワークファイル記憶領域１１ｄに登録する。つまり、ワークワークワイルは、複数のユーザ間で共有可能にアップロードされる。このとき、ワークファイルには、再生されたコンテンツのコンテンツＩＤ等が追記される。これにより、ワークファイルは、再生されたコンテンツの動画データに対応付けられる。なお、ワークファイルは、配信サーバ１以外のサーバ装置に登録されるように構成してもよい。つまり、クライアント２とは異なる他のクライアントがアクセス可能なサーバ装置にワークファイルが登録されてもよい。

（２−２．ダウンロード処理）
次に、図４及び図５等を参照して、クライアント２の制御部２１におけるダウンロード処理を説明する。図４（Ａ）に示すダウンロード処理が開始されると、メタ情報に示される動画ファイルに対応する動画ストリームリストが動画ファイルごとに生成される。例えば、レイヤ１の動画ストリームリスト、レイヤ２のパート１〜パート４それぞれの動画ストリームリスト、及びレイヤ３のパート１〜パート１６それぞれの動画ストリームリストが生成される。動画ストリームリストは、動画ストリームを構成する各動画データブロックのブロック番号を登録するリストである。動画ストリームは、メタ情報に示される動画ファイル中の動画データから配信サーバ１により生成されるものである。ブロック番号は、動画データブロックの再生順に付与されたシリアル番号である。各動画ストリームリストに登録されるブロック番号の数は同一である。更に、メタ情報に示される音声ファイルに対応する音声ストリームリストが生成される。音声ストリームリストは、音声ストリームを構成する各音声データブロックのブロック番号を登録するリストである。音声ストリームは、メタ情報に示される音声ファイル中の音声データから配信サーバ１により生成されるものである。なお、メタ情報に複数の音声ファイルが示される場合ある。この場合、それぞれの音声ファイルに対応する音声ストリームリストが生成されることになる。なお、動画ストリームリスト及び音声ストリームリストは、制御部２１により生成される。この場合、動画データまたは音声データの先頭位置から終了位置までを区切る時間単位は、予めプレイヤーソフトウェアに設定されている。或いは、動画ストリームリスト及び音声ストリームリストは、配信サーバ１により生成され、クライアント２へ送信されるように構成してもよい。

図４（Ａ）に示すステップＳ３１では、制御部２１は、コンテンツの再生を終了するか否かを判定する。ステップＳ３１の処理は、ステップＳ１１の処理と同様である。コンテンツの再生を終了すると判定された場合（ステップＳ３１：ＹＥＳ）、図４（Ａ）に示す処理を終了する。一方、コンテンツの再生を終了しないと判定された場合（ステップＳ３１：ＮＯ）、ステップＳ３２に進む。

ステップＳ３２では、制御部２１は、ブロック優先順決定処理を実行する。ブロック優先順決定処理では、図５に示すように、制御部２１は、現在の再生位置と、推定ネットワーク帯域とを取得する（ステップＳ３２１）。推定ネットワーク帯域は、配信サーバ１とクライアント２との間のネットワークＮＷの帯域（ｂｐｓ）の推定値である。推定ネットワーク帯域は、例えば、クライアント２と配信サーバ１との間のデータ伝送時間が制御部２１により計測されることで算出される。

次いで、制御部２１は、音声ストリームリストから、現在の再生位置を含む音声データブロックと、現在の再生位置を含む音声データブロックの次の音声データブロックとを最優先で取得するデータブロックとして決定する（ステップＳ３２２）。ここで、現在の再生位置は、ステップＳ３２１で取得された再生位置である。次いで、制御部２１は、ステップＳ３２２で決定された音声データブロックのブロック番号を登録する取得対象リストを生成する（ステップＳ３２３）。取得対象リストに登録されるブロック番号には、音声データブロックのブロック番号であることを示す情報が付加される。

次いで、制御部２１は、クライアント２の描画性能を示す値を取得する（ステップＳ３２４）。描画性能とは、１フレーム（１画面）あたり何ピクセル描画できるかを示すレンダリング能力である。言い換えれば、描画性能は、フレームバッファが１フレームあたり何ピクセル分のデータをバッファリングできるかを示す。なお、ステップＳ３２４における描画性能を示す値の取得は、初回のブロック優先順決定処理でのみ行われればよい。或いは、描画性能を示す値の取得は、図４（Ａ）に示すダウンロード処理の開始後、ステップＳ３１の処理前に行われるように構成してもよい。

次いで、制御部２１は、ステップＳ３２４で取得された描画性能を示す値に応じて、描画対象とするレイヤの範囲を決定する（ステップＳ３２５）。例えば、クライアント２の描画性能を示す値が、４Ｍ（pixels/frame）であるとする。この場合、図２の例では、レイヤ１及びレイヤ２の画像フレームは、画像フレーム全体を描画できる。一方、レイヤ３の画像フレームは、画像フレームの１／４しか描画できない。そのため、上記ステップＳ３２５では、描画対象とするレイヤの範囲として、レイヤ１及びレイヤ２が決定される。一方、例えば、クライアント２の描画性能を示す値が、２Ｍ（pixels/frame）であるとする。この場合、図２の例では、レイヤ１の画像フレームだけが画像フレーム全体を描画できる。そのため、上記ステップＳ３２５では、描画対象とするレイヤの範囲として、レイヤ１が決定される。

ところで、クライアント２の描画性能を示す値は、画像が拡大された場合、拡大されたときのズーム倍率によって補正される。例えば、ズーム倍率が２倍である場合、クライアント２の描画性能を示す値が２倍される。取得された描画性能を示す値が２Ｍ（pixels/frame）であるとすると、４Ｍ（pixels/frame）に補正される。この場合、図２の例では、レイヤ１及びレイヤ２の画像フレームは、画像フレーム全体を描画できる。一方、レイヤ３の画像フレームは、画像フレームの１／４しか描画できない。そのため、この場合、上記ステップＳ３２５では、描画対象とするレイヤの範囲として、レイヤ１及びレイヤ２が決定される。一方、例えば、ズーム倍率が８倍である場合、クライアント２の描画性能を示す値が８倍される。取得された描画性能を示す値が２Ｍ（pixels/frame）であるとすると、１６Ｍ（pixels/frame）に補正される。この場合、図２の例では、レイヤ１〜レイヤ３の画像フレームは、画像フレーム全体を描画できる。そのため、この場合、上記ステップＳ３２５では、描画対象とするレイヤの範囲として、レイヤ１〜レイヤ３が決定される。つまり、ズーム倍率が２倍未満のとき、レイヤ１のみが決定される。ズーム倍率が２倍以上８倍未満のとき、レイヤ１及びレイヤ２が決定される。ズーム倍率が８倍以上のとき、レイヤ１〜レイヤ３が決定される。

次いで、制御部２１は、上記ステップＳ３２５で決定されたレイヤの動画ストリームリストから、現在の再生位置を含む動画データブロックと、現在の再生位置を含む動画データブロックの次の動画データブロックとを決定する（ステップＳ３２６）。この決定は、ステップＳ３２５で決定された全てのレイヤの全ての動画ストリームリストについて行われる。例えば、ステップＳ３２５で決定されたレイヤが、レイヤ１とレイヤ２であるとする。この場合、レイヤ１の動画ストリームリスト、レイヤ２のパート１の動画ストリームリスト、レイヤ２のパート２の動画ストリームリスト、レイヤ２のパート３の動画ストリームリスト、及びレイヤ２のパート４の動画ストリームリストそれぞれについて、動画データブロックが決定される。

次いで、制御部２１は、上記ステップＳ１４、ステップＳ２０またはステップＳ２５等で決定された描画領域に基づいて、上記ステップＳ３２６で決定された動画データブロックに含まれる画像フレームまたは分割画像フレームの描画率を、上記決定された動画データブロックごとに算出する（ステップＳ３２７）。ここで、画像フレームの描画率とは、描画領域の中に画像フレームまたは分割画像フレームが占める割合をいう。

図８（Ａ）は、レイヤ１の画像フレームにおける描画領域を示す図である。図８（Ａ）に示すように、レイヤ１では、先頭の画像フレームの描画率が１００％である。図８（Ｂ）は、レイヤ２の分割画像フレームにおける描画領域を示す図である。分割画像フレームの場合、１つのパートで描画領域のすべてをカバーできるとは限らない。図８（Ｂ）に示すように、レイヤ２では、パート１における先頭の分割画像フレームの描画率が１７％である。また、パート２における先頭の分割画像フレームの描画率が５０％である。また、パート３における先頭の分割画像フレームの描画率が８％である。また、パート４における先頭の分割画像フレームの描画率が２５％である。このように、レイヤ２のパート２における先頭の分割画像フレームが最も大きい描画率である。また、図８（Ｂ）に示す例では、破線で示すように、各動画データブロック内で描画領域の位置が分割画像フレームごとに変化している。この場合、現在の再生位置の画像フレームまたは分割画像フレームの時間的に後に続く画像フレームまたは分割画像フレームの描画領域は、例えば上述したワーク情報に基づいて特定される。一方、ワーク情報がない場合、現在の再生位置の画像フレームまたは分割画像フレームの時間的に後に続く画像フレームまたは分割画像フレームの描画領域は、上記ステップＳ１４、ステップＳ２０またはステップＳ２５等で決定された描画領域に基づいて推定される。つまり、描画領域の動きの変化に基づき予測計算される。例えば、複数の分割画像フレーム間において描画領域が右に動いていたら、その次の分割画像フレームにおける描画領域はさらに右に位置することが予測計算される。なお、ステップＳ３２７で算出される分割画像フレームの描画率は、動画データブロックに含まれる複数の分割画像フレームの描画率の平均または合計となる。

次いで、制御部２１は、上記ステップＳ３２６で決定された動画データブロックのビットレートと、上記ステップＳ３２１で取得された推定ネットワーク帯域とに基づいて、上記ステップＳ３２６で決定された動画データブロックの中から、取得対象候補となる動画データブロックをレイヤごとに決定する（ステップＳ３２８）。例えば各レイヤの動画データブロックのビットレートが、推定ネットワーク帯域以下になるように、取得対象候補となる動画データブロックが選定される。ここで、レイヤ２の場合、パート１〜パート４の動画データブロックのビットレートの総和が推定ネットワーク帯域以下になるように、取得対象候補となる動画データブロックが決定される。なお、動画データブロックのビットレートは、例えばメタ情報に含まれる情報に基づいて算出される。図８（Ｃ）,（Ｄ）は、レイヤ１及びレイヤ２にける動画ストリームにおいて、取得対象候補となる動画データブロックが決定される様子を示す図である。図８（Ｃ）,（Ｄ）に示すように、レイヤ１では、上記ステップＳ３２６で決定された全ての動画データブロックが決定されている。レイヤ２では、上記ステップＳ３２６で決定されたブロック番号が”１”の動画データブロックの中（図８（Ｃ））で、描画率が５０％の分割画像フレームを含む動画データブロックと、描画率が２５％の分割画像フレームを含む動画データブロックと、が決定（（図８（Ｄ））されている。これは、例えば描画率が１７％の分割画像フレームを含む動画データブロックが取得対象候補としてさらに決定されると、「動画データブロックのビットレート≦推定ネットワーク帯域」の条件を満たさなくなるためである。一方、上記ステップＳ３２６で決定されたブロック番号が”２”の動画データブロックの中（図８（Ｃ））で、描画率が７０％の分割画像フレームを含む動画データブロックと、描画率が２０％の分割画像フレームを含む動画データブロックと、が決定（（図８（Ｄ））されている。このように、描画率が高い分割画像フレームを含む動画データブロックが優先して決定されることになる。これにより、より広い表示範囲に、高画質の画像を表示させることができる。

次いで、制御部２１は、上記ステップＳ３２８で決定された取得対象候補となる動画データブロックの中で描画率が基準描画率αである画像フレームまたは分割画像フレームを含む動画データブロックがあるか否かを判定する（ステップＳ３２９）。基準描画率αは、例えば１００％に設定されることが望ましい。ただし、９０％〜１００％の間に設定されてもよい。そして、描画率が基準描画率αである画像フレームまたは分割画像フレームを含む動画データブロックがあると判定された場合（ステップＳ３２９：ＹＥＳ）、ステップＳ３３０へ進む。一方、描画率が基準描画率αである画像フレームまたは分割画像フレームを含む動画データブロックがないと判定された場合（ステップＳ３２９：ＮＯ）、ステップＳ３３１へ進む。

ステップＳ３３０では、制御部２１は、描画率が基準描画率αである画像フレームまたは分割画像フレームを含む動画データブロックに対応するレイヤの中で、最も解像度の高いレイヤをベースレイヤとして決定し、ステップＳ３３２へ進む。つまり、複数の動画データブロックの中で、解像度が高く、且つ、描画率が高い画像フレームを含む動画データブロックが優先されて、ベースレイヤの動画データブロックとして決定される。これにより、より広い表示範囲に、より高画質の画像を表示させることができる。図８（Ｃ），（Ｄ）の例では、描画率が基準描画率αである画像フレームを含む動画データブロックに対応するレイヤは、レイヤ１のみである。そのため、レイヤ１がベースレイヤとして決定される。なお、描画率が基準描画率αである画像フレームまたは分割画像フレームを含む動画データブロックに対応するレイヤが、レイヤ１〜レイヤ３であるとする。この場合、最も解像度の高いレイヤであるレイヤ３がベースレイヤとして決定される。また、この場合、レイヤ３よりも解像度の高いレイヤはないので、図５に示す処理は終了し、図４（Ａ）に示す処理に戻る。一方、ステップＳ３３１では、制御部２１は、最も描画率が高い画像フレームまたは分割画像フレームを含む動画データブロックに対応するレイヤの中で、最も解像度の高いレイヤをベースレイヤとして決定し、ステップＳ３３２へ進む。

ステップＳ３３２では、制御部２１は、上記ステップＳ３３０又はステップＳ３３１で決定されたベースレイヤの動画データブロックを、音声データブロックの次に優先して取得するデータブロックとして決定する。次いで、制御部２１は、ステップＳ３３２で決定された動画データブロックのブロック番号を上記取得対象リストに登録する（ステップＳ３３３）。なお、取得対象リストに登録されるブロック番号には、動画データブロックのブロック番号であることを示す情報、及びレイヤを示す情報が付加される。

次いで、制御部２１は、推定ネットワーク帯域から、ベースレイヤの動画データブロックのビットレートを減算した差分ネットワーク帯域を算出する（ステップＳ３３４）。差分ネットワーク帯域は、ネットワークＮＷの帯域の余裕度を示す値の一例である。ネットワークＮＷの帯域の余裕度は、ネットワークＮＷの空き帯域ともいう。また、ネットワークＮＷの余裕度は、クライアント２と配信サーバ１との間のネットワークＮＷの空き帯域ともいう。また、ネットワークＮＷの帯域の余裕度は、ネットワークＮＷを介して、クライアント２と配信サーバ１との間で利用可能な利用帯域ともいう。言い換えれば、差分ネットワーク帯域は、ネットワークＮＷの帯域と、ベースレイヤの動画データブロックを配信サーバ１から取得するために消費する帯域との差である。次いで、制御部２１は、上記ステップＳ３２６で決定された動画データブロックのビットレートと、上記ステップＳ３３４で算出された差分ネットワーク帯域とに基づいて、上記ステップＳ３２６で決定された動画データブロックの中から、再度、取得対象候補となる動画データブロックをレイヤごとに決定する（ステップＳ３３５）。なお、ベースレイヤの動画データブロックは、上記ステップＳ３３２で取得するデータブロックとして決定されているので、取得対象候補から除外される。例えばベースレイヤ以外のレイヤの動画データブロックのビットレートが、差分ネットワーク帯域以下になるように、取得対象候補となる動画データブロックが選定される。差分ネットワーク帯域に余裕がある場合、分割画像フレームを含む少なくとも一つの動画データブロックが決定される。上記ステップＳ３３５の処理により、差分ネットワーク帯域に応じたデータ量の分割画像データを取得することが可能となる。つまり、ネットワークＮＷの帯域の余裕度を示す値が大きいほど、動画データを構成する画像フレームを分割した複数の分割画像フレームの中から取得対象となる分割画像フレームがより多く決定されることになる。これにより、ネットワークＮＷの帯域に余裕があればあるほど、より高画質の画像を表示させることができる。また、上記ステップＳ３２５の処理により、クライアント２の描画性能を示す値が大きいほど、描画対象とするレイヤが多く決定される。そのため、クライアント２の描画性能を示す値が大きいほど、動画データを構成する画像フレームを分割した複数の分割画像フレームの中から取得対象となる分割画像フレームがより多く決定されることになる。なお、上記ステップＳ３２５の処理において、クライアント２の描画性能以外の性能に基づき、描画対象とするレイヤの範囲が決定されるように構成してもよい。描画性能以外の性能としては、例えば、所定時間に何ピクセルのデータを処理できるかを示すＣＰＵ処理能力（例えば、２００Ｍpixel/sec）等が挙げられる。

次いで、制御部２１は、上記ステップＳ３３５で決定された取得対象候補となる動画データブロックの中で描画率が基準描画率β以上の分割画像フレームを含む動画データブロックがあるか否かを判定する（ステップＳ３３６）。基準描画率βは、例えば７０％に設定される。ただし、６０％〜９０％の間に設定されてもよい。そして、描画率が基準描画率β以上の分割画像フレームを含む動画データブロックがあると判定された場合（ステップＳ３３６：ＹＥＳ）、ステップＳ３３７へ進む。一方、描画率が基準描画率β以上の分割画像フレームを含む動画データブロックがないと判定された場合（ステップＳ３３６：ＮＯ）、図５に示す処理を終了し、図４（Ａ）に示す処理に戻る。

ステップＳ３３７では、制御部２１は、描画率が基準描画率β以上の分割画像フレームを含む動画データブロックに対応するレイヤの中で、最も解像度の高いレイヤをサブレイヤとして決定する。次いで、制御部２１は、上記ステップＳ３３７で決定されたサブレイヤの動画データブロックを、ベースレイヤの動画データブロックの次に優先して取得するデータブロックとして決定する（ステップＳ３３８）。次いで、制御部２１は、ステップＳ３３８で決定された動画データブロックのブロック番号を上記取得対象リストに登録し（ステップＳ３３９）、図４（Ａ）に示す処理に戻る。なお、取得対象リストに登録されるブロック番号には、動画データブロックのブロック番号であることを示す情報、レイヤを示す情報、及びパートを示す情報が付加される。

図４（Ｂ）は、ブロック優先順決定処理により生成された取得対象リストの内容の一例を示す図である。図４（Ｂ）に示すように、取得対象リストに登録された各データブロックのブロック番号には、優先度が対応付けられている。対応付けられた優先度の値が小さいデータブロックほど、取得する優先度が高いデータブロックである。なお、取得対象リストの内容は、コンテンツの再生が進行する従って変化する。

図４（Ａ）に示す処理に戻り、ステップＳ３３では、制御部２１は、取得対象リストを参照して、配信サーバ１から取得するデータブロックがあるか否かを判定する。取得対象リストにデータブロックのブロック番号が登録されている場合、取得するデータブロックがあると判定される。そして、取得するデータブロックがあると判定された場合（ステップＳ３３：ＹＥＳ）、ステップＳ３４へ進む。一方、取得するデータブロックがないと判定された場合（ステップＳ３３：ＮＯ）、ステップＳ３１に戻る。

ステップＳ３４では、制御部２１は、変数ｎに”１”をセットする。次いで、制御部２１は、取得対象リストの中で優先度がｎ番のデータブロックがバッファメモリに保持されているか否かを判定する（ステップＳ３５）。つまり、図４（Ａ）に示す処理で優先度がｎ番のデータブロックが既に取得されているか否かが判定される。そして、優先度がｎ番のデータブロックが保持されていないと判定された場合（ステップＳ３５：ＮＯ）、ステップＳ３６に進む。ステップＳ３６では、制御部２１は、優先度がｎ番のデータブロックの要求を配信サーバ１へ送信する。そして、制御部２１は、データブロックの取得が成功したか否かを判定する（ステップＳ３７）。データブロックの要求に応じて配信サーバ１からデータブロックが受信されない場合、データブロックの取得が失敗したと判定され（ステップＳ３７：ＮＯ）、ステップＳ３８へ進む。ステップＳ３８では、データブロック取得失敗メッセージがユーザへ通知され、図４（Ａ）に示す処理が終了する。データブロック取得失敗メッセージは、データブロックの取得失敗を示すメッセージである。

一方、データブロックの要求に応じて配信サーバ１からストリーミング配信されたデータブロックの受信が完了した場合、データブロックの取得が成功したと判定される（ステップＳ３７：ＹＥＳ）。この場合、制御部２１は、ステップＳ３１へ戻り、コンテンツの再生を終了しない場合（ステップＳ３１：ＮＯ）、再び、ブロック優先順決定処理を実行する（ステップＳ３２）。つまり、ブロックデータが取得されるごとにブロック優先順決定処理で、取得対象となるブロックデータが決定されることになる。前回のブロック優先順決定処理からさほど時間が経過していなければ、現在の再生位置を含むデータブロックに変化はない。そのため、再び実行されたブロック優先順決定処理で生成された取得対象リストの内容は、前回のブロック優先順決定処理で生成された取得対象リストの内容と同一となる。この場合、ステップＳ３５で、優先度がｎ番のデータブロックが保持されていると判定されると（ステップＳ３５：ＹＥＳ）、ステップＳ３９へ進む。ステップＳ３９では、制御部２１は、変数ｎに”１”を加算する。次いで、制御部２１は、変数ｎがブロック数より大きいか否かを判定する（ステップＳ４０）。ブロック数とは、取得対象リストにブロック番号が登録されているデータブロックの数である。そして、変数ｎがブロック数より大きくないと判定された場合（ステップＳ４０：ＮＯ）、ステップＳ３５に戻る。このとき、優先度がｎ＋１番のデータブロックが保持されていなければ、ｎ＋１番のデータブロックの要求が配信サーバ１へ送信される（ステップＳ３６）。一方、変数ｎがブロック数より大きいと判定された場合（ステップＳ４０：ＹＥＳ）、ステップＳ３１に戻る。この場合、そのときの取得対象リストに登録されている全てのデータブロックが取得された場合である。以上のように、ブロック優先順決定処理は、ブロックデータが配信サーバ１から取得されるたびに行われる。そのため、動画データの再生進行状況及び取得進行状況に応じて、各時点で最適なデータブロックを取得対象として決定することができる。

（２−３．再生処理）
次に、図６及び図７等を参照して、クライアント２の制御部２１における再生処理を説明する。図６に示す再生処理が開始されると、制御部２１は、クライアント２の描画性能を示す値を取得する（ステップＳ５１）。次いで、制御部２１は、コンテンツの再生を終了するか否かを判定する（ステップＳ５２）。ステップＳ５２の処理は、ステップＳ１１の処理と同様である。コンテンツの再生を終了すると判定された場合（ステップＳ５２：ＹＥＳ）、図６に示す処理を終了する。一方、コンテンツの再生を終了しないと判定された場合（ステップＳ５２：ＮＯ）、ステップＳ５３へ進む。

ステップＳ５３では、制御部２１は、ユーザから操作部２５ａを介してシーク操作があったか否かを判定する。シーク操作とは、例えば現在の表示されている画像フレームから１以上の画像フレームをスキップさせる操作をいう。シーク操作がないと判定された場合（ステップＳ５３：ＮＯ）、ステップＳ５６へ進む。一方、シーク操作があったと判定された場合（ステップＳ５３：ＹＥＳ）、ステップＳ５４へ進む。ステップＳ５４では、制御部２１は、メタ情報によりシーク操作が禁止されているか否かを判定する。上述した操作制限情報がメタ情報に含まれている場合、シーク操作が禁止されていると判定される。シーク操作が禁止されていると判定された場合（ステップＳ５４：ＹＥＳ）、ステップＳ５６へ進む。一方、シーク操作が禁止されていないと判定された場合（ステップＳ５４：ＮＯ）、ステップＳ５５へ進む。ステップＳ５５では、制御部２１は、現在の再生位置を、シーク操作により指定された再生位置に移動させ、ステップＳ５２に戻る。

ステップＳ５６では、制御部２１は、再生に十分なデータブロックがバッファメモリに保持されているか否かを判定する。例えば、予め設定された数分の画像フレームに対応する画像データがバッファメモリに保持されている場合、再生に十分なデータブロックがバッファメモリに保持されていると判定される。そして、再生に十分なデータブロックがバッファメモリに保持されていると判定された場合（ステップＳ５６：ＹＥＳ）、ステップＳ５７へ進む。一方、再生に十分なデータブロックがバッファメモリに保持されていないと判定された場合（ステップＳ５６：ＮＯ）、ステップＳ５２に戻る。

ステップＳ５７では、制御部２１は、動画データが再生中であるか否かを判定する。例えば、画像フレームが遷移中である場合、動画データが再生中であると判定され（ステップＳ５７：ＹＥＳ）、ステップＳ５８へ進む。一方、画像フレームの遷移が停止中である場合、動画データが再生中でないと判定され（ステップＳ５７：ＮＯ）、ステップＳ６１へ進む。ステップＳ５８では、制御部２１は、音声データの再生が一時停止している場合、音声データの再生を再開する。次いで、制御部２１は、画面描画処理を実行する（ステップＳ５９）。この画面描画処理の詳細は後述する。次いで、制御部２１は、現在の再生位置を次の画像フレームに移動させ（ステップＳ６０）、ステップＳ５２に戻る。一方、ステップＳ６１では、制御部２１は、音声データの再生が一時停止していない場合、音声データの再生を一時停止する。次いで、制御部２１は、現在の描画領域が前回描画時の描画領域と異なるか否かを判定する（ステップＳ６２）。現在の描画領域が前回描画時の描画領域と異ならないと判定された場合（ステップＳ６２：ＮＯ）、ステップＳ５２に戻る。一方、現在の描画領域が前回描画時の描画領域と異なると判定された場合（ステップＳ６２：ＹＥＳ）、ステップＳ６３へ進む。ステップＳ６３では、制御部２１は、画面描画処理を実行する。これは、一時停止中でも、上記ステップＳ１４、ステップＳ２０またはステップＳ２５等の処理で描画領域が更新された場合、再度、画面描画処理を行う必要があるためである。

次に、画面描画処理では、図７に示すように、制御部２１は、現在の再生位置を取得する（ステップＳ５９１）。次いで、制御部２１は、上記ステップＳ５１で取得された描画性能を示す値に基づいて、描画対象のレイヤの範囲を決定する（ステップＳ５９２）。ステップＳ５９２の処理は、ステップＳ３２５の処理と同様である。次いで、制御部２１は、取得済の動画データブロックの中で、所定条件を満たす動画データブロックを決定する（ステップＳ５９３）。例えば、所定条件として以下の（１）〜（３）の全ての条件を満たす動画データブロックが決定される。
（１）現在の再生位置を含むこと
（２）現在の描画領域に画像フレームまたは分割画像フレームの少なくとも一部が含まれること
（３）描画対象のレイヤに属すること
ここで、現在の再生位置は、上記ステップＳ５９１で決定された再生位置である。また、現在の描画領域は、上記ステップＳ１４、ステップＳ２０またはステップＳ２５等で決定された描画領域である。また、描画対象のレイヤは、上記ステップＳ５９２で決定されたレイヤである。

次いで、制御部２１は、上記ステップＳ５９３で決定された動画データブロックの情報を登録する描画対象リストを生成する（ステップＳ５９４）。動画データブロックの情報とは、例えば、動画データブロックのブロック番号である。次いで、制御部２１は、描画対象リストに登録された動画データブロックの情報を高画質順にソートする（ステップＳ５９５）。つまり、動画データブロックに含まれる動画データの解像度が高い順に動画データブロックの情報が並び替えられる。次いで、制御部２１は、ビデオＲＡＭ２３におけるフレームバッファをクリアする（ステップＳ５９６）。

次いで、制御部２１は、変数ｎに”１”をセットする（ステップＳ５９７）。次いで、制御部２１は、描画対象リストの中で解像度が高いｎ番目の動画データブロックに含まれる例えば１画像フレームまたは１分割画像フレーム分の動画データをバッファメモリから再生する（ステップＳ５９８）。そして、制御部２１は、再生された動画データを構成する画像フレームまたは分割画像フレームをフレームバッファに書き込む（ステップＳ５９９）。なお、画像フレームまたは分割画像フレームは、フレームバッファに合わせて拡大又は縮小されて書き込まれる。ただし、この書き込みは、既に書き込み済みのピクセルが上書きされないように制御される。次いで、制御部２１は、フレームバッファに、画像フレームの必要なピクセルが全て書き込まれたか否かを判定する（ステップＳ６００）。フレームバッファに必要なピクセルが全て書き込まれていないと判定された場合（ステップＳ６００：ＮＯ）、ステップＳ６０１に進む。一方、フレームバッファに必要なピクセルが全て書き込まれたと判定された場合（ステップＳ６００：ＹＥＳ）、ステップＳ６０３に進む。

ステップＳ６０１では、制御部２１は、変数ｎに”１”を加算する。次いで、制御部２１は、変数ｎがブロック数より大きいか否かを判定する（ステップＳ６０２）。ブロック数とは、描画対象リストに情報が登録されている動画データブロックの数である。そして、変数ｎがブロック数より大きくないと判定された場合（ステップＳ６０２：ＮＯ）、ステップＳ５９８に戻る。ステップＳ５９８の処理は、複数回繰り返し行われるが、解像度が高い動画データが優先して再生される。そのため、最初の処理では、解像度が高い分割画像データに対応する分割画像フレームが書き込まれる（第１の書き込み処理）。以後の処理では、分割画像フレームが書き込まれなかったフレームバッファの書き込み領域に、例えば低解像度の動画データを構成する画像フレームが書き込まれる（第２の書き込み処理）。一方、変数ｎがブロック数より大きいと判定された場合（ステップＳ６０２：ＹＥＳ）、ステップＳ６０３へ進む。

ステップＳ６０３では、制御部２１は、音声データの再生位置に同期させて、フレームバッファの内容をディスプレイに表示させる。つまり、制御部２１は、フレームバッファに書き込まれた画像フレームの現在の描画領域をディスプレイの画面に描画することで表示させる（表示処理）。これにより、例えば低解像度の動画データを構成する画像フレームの少なくとも一部分に、より効率良く、中解像度または高解像度の分割画像データを表示させることができる。例えば低解像度の動画データを構成する画像フレームの描画領域の一部が分割画像データに置き換えられて表示される。これにより、例えば高解像度の画像が取得できなかった領域についても、欠けのない画像を表示させることができる。そのため、ユーザに欠けのない画像を見せることができる。なお、例えば低解像度の動画データを構成する画像フレームの描画領域の一部に、分割画像データを重畳させて表示されるように構成してもよい。

上記ステップＳ３３７の処理の別の例として、制御部２１は、描画領域の中心から所定範囲の領域で、且つ描画領域より狭い領域を含む分割画像フレームを含む動画データブロックに対応するレイヤの中で、最も解像度の高いレイヤをサブレイヤとして決定するように構成してもよい。ここで、所定範囲の領域には、例えば、円形領域や矩形領域などがある。このように構成すれば、描画率が低くても描画領域の中央部分が含まれる分割画像データを優先的に取得することが可能となる。そのため、描画領域の中心部分の領域を優先して、高画質の画像を表示させることができる。

また、他のユーザによりアップロードされたワークファイルが配信サーバ１から取得されていた場合がある。この場合、制御部２１は、取得されたワークファイル中のワーク情報に基づいて、動画データを構成する画像フレームにおいてワーク情報が示す描画領域をディスプレイに表示させることになる。つまり、動画データを構成する画像フレームの描画領域を、取得されたワーク情報が示す描画領域に従って表示させる。

以上説明したように、上記実施形態によれば、クライアント２は、配信サーバ１との間のネットワークＮＷの帯域の余裕度と、クライアント２の性能との少なくとも何れか一方に応じて、例えば中解像度または高解像度の動画データを構成する複数の分割画像データの中から取得対象となる分割画像データを少なくとも１つ決定する。そして、クライアント２は、例えば低解像度の動画データを構成する画像フレームの少なくとも一部分に、上記決定した分割画像データを表示させる。そのため、本実施形態によれば、ネットワークＮＷの帯域の余裕度に応じて低解像度の画像フレームにおける一部分だけ高解像度の画像を表示させることができるので、低解像度と高解像度の画像を柔軟に表示させることができる。また、本実施形態によれば、クライアント２の性能に応じて低解像度の画像フレームにおける一部分だけ高解像度の画像を表示させることができるので、低解像度と高解像度の画像を柔軟に表示することができる。

一般に、動画データの高解像度化は、カメラ等のデバイスへの対応が最も早く、ネットワーク等の配信インフラ及びエンドユーザの表示端末への対応は中々進まないといった状況がある。このような状況であっても、本実施形態によれば、ユーザは、例えば高解像度の動画を低解像度対応のディスプレイで見る場合であっても、例えばズームインしたときだけ高解像度の動画を表示させることが可能となる。つまり、ユーザが見る範囲を狭めたときに、高解像度の動画をユーザへ提供することができる。

１ 配信サーバ
２ クライアント
１１ 記憶装置
２１ 制御部
２２ 記憶部
Ｓ 通信システム

Claims (11)

1. 端末装置とサーバ装置とがネットワークを介して通信可能な通信システムであって、
   前記サーバ装置は、
   表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶する記憶手段を備え、
   少なくとも前記第２の動画データは、前記第２の動画データを構成する画像フレームを分割した複数の分割画像データにより構成され、
   前記端末装置は、
   前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させる第１制御手段と、
   前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定する第１決定手段と、
   前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記第１決定手段により決定された分割画像データを表示させる第２制御手段と、
   を備えることを特徴とする通信システム。
2. 前記第２制御手段は、前記第１の動画データを構成する画像フレームの表示範囲の一部を、前記第１決定手段により決定された分割画像データに置き換えて表示させることを特徴とする請求項１に記載の通信システム。
3. 前記端末装置は、
   画像フレームを書き込むフレームバッファをさらに備え、
   前記第２制御手段は、
   前記第１決定手段により決定された前記分割画像データを取得する取得処理と、
   取得された前記分割画像データにより構成される画像フレームを前記フレームバッファに書き込む第１の書き込み処理と、
   前記第１の書き込みにより書き込まれなかった前記フレームバッファの書き込み領域に、前記第１制御手段により取得された前記第１の動画データを構成する画像フレームを書き込む第２の書き込み処理と、
   前記第１及び第２の書き込み処理により前記フレームバッファに書き込まれた画像フレームを表示させる表示処理と、
   を実行することを特徴とする請求項１または２に記載の通信システム。
4. 前記第１制御手段は、前記第１の動画データを構成する画像フレームを１又は複数含むブロックごとに所定の時間単位で区切られた前記動画データを前記サーバ装置から順次取得し、前記ブロックごとに取得された前記動画データに基づいて動画を表示させ、
   前記第１決定手段は、前記ブロックごとの前記動画データが取得されるごとに前記取得対象となる前記分割画像データを決定することを特徴とする請求項１乃至３の何れか一項に記載の通信システム。
5. 前記記憶手段に記憶された複数の動画データの中で、前記解像度が高く、且つ、ディスプレイへの表示範囲の中に前記画像フレームが占める割合が高い前記動画データを優先して、前記第１の動画データとして決定する第２決定手段を備え、
   前記第１制御手段は、前記第２決定手段により決定された前記第１の動画データを構成する画像フレームを、前記第２の動画データを構成する複数の分割画像データよりも優先して前記サーバ装置から取得することを特徴とする請求項１乃至４の何れか一項に記載の通信システム。
6. 前記第１決定手段は、前記余裕度を示す値が大きいほど、または、前記性能を示す値が大きいほど、前記複数の分割画像データの中から取得対象となる前記分割画像データをより多く決定することを特徴とする請求項１乃至５の何れか一項に記載の通信システム。
7. 前記第１の動画データを構成する複数の画像フレームにおいて表示される範囲として指定された表示範囲を決定する第３決定手段を備え、
   前記第１決定手段は、前記第３決定手段により決定された表示範囲の中に画像フレームが占める割合が高い前記分割画像データを優先して決定することを特徴とする請求項１乃至６の何れか一項に記載の通信システム。
8. 前記第１の動画データを構成する複数の画像フレームにおいて表示される範囲として指定された表示範囲を決定する第３決定手段を備え、
   前記第１決定手段は、前記第３決定手段により決定された表示範囲の中心から所定範囲の領域で、且つ前記表示範囲より狭い領域を含む画像フレームを構成する前記分割画像データを優先して決定することを特徴とする請求項１乃至６の何れか一項に記載の通信システム。
9. 表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置のコンピュータに、
   前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させるステップと、
   前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定するステップと、
   前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記決定された分割画像データを表示させるステップと、
   を実行させることを特徴とするプログラム。
10. 表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置であって、
    前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させる第１制御手段と、
    前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定する第１決定手段と、
    前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記第１決定手段により決定された分割画像データを表示させる第２制御手段と、
    を備えることを特徴とする端末装置。
11. 表示対象を第１の解像度で表示する第１の動画データと、前記表示対象を前記第１の解像度より高い第２の解像度で表示する第２の動画データと、を含む複数の動画データを記憶するサーバ装置であって、少なくとも前記第２の動画データを構成する画像フレームを分割した複数の分割画像データを記憶するサーバ装置とネットワークを介して通信可能な端末装置により行われる動画の表示方法であって、
    前記第１の動画データを構成する画像フレームを前記サーバ装置から順次取得し、取得された画像フレームに基づいて、動画を表示させるステップと、
    前記端末装置と前記サーバ装置との間のネットワークの帯域の余裕度と、前記端末装置の性能との少なくとも何れか一方に応じて、前記第２の動画データを構成する複数の分割画像データの中から取得対象となる前記分割画像データを少なくとも１つ決定するステップと、
    前記第１の動画データを構成する画像フレームの少なくとも一部分に、前記決定された分割画像データを表示させるステップと、
    を含むことを特徴とする動画の表示方法。