JP2008270939A - 動画像配信システム並びにサーバー装置及びクライアント装置 - Google Patents

Abstract

【課題】従来は特殊再生時に、表示される動画像のフレームレートが足りない、または特殊再生命令を出してから特殊再生が始まるまでに時間がかかってしまうため、ユーザーに多大なストレスを与えてしまう課題がある。
【解決手段】サーバー装置１０は特殊再生命令を示すクライアント要求データを受信すると、クライアント要求データに含まれる特殊再生速度に応じてクライアント装置２０に出力する符号化データの解像度を解像度決定部１０２で決定し、決定した解像度に応じて符号化データ保持部１０１に保持されている符号化データの中から最も数多くの枚数の動画像データをクライアント装置２０に特殊再生用符号化データとして配信する。クライアント装置２０はサーバー装置１０から配信された符号化データから、数多くの枚数の動画像データを復号した特殊再生画像を表示でき、コンテンツの連続性を認識できる。
【選択図】図１

Description

本発明は動画像配信システム並びにサーバー装置及びクライアント装置に係り、特にネットワークを介して動画像データを配信する動画像配信システム、並びにサーバー装置及びストリーミング再生を行うクライアント装置に関する。

まず、本発明で用いる動画像符号化技術について説明する。本発明では、ハイブリッド符号化と呼ばれる符号化技術を使用する。ハイブリッド符号化技術では、基本的には動き補償・周波数変換・量子化・可変長符号化の４つの技術を使用する。ハイブリッド符号化技術の例として、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４、及びＨ.２６４などが挙げられる。

上記ハイブリッド符号化技術により生成する符号化信号は、符号化を画面１枚の動画像信号で完結して行って得られるＩピクチャと、画面間相関を用いて動画像信号の符号化を行って得られるＰピクチャ及びＢピクチャとで構成される。これらのうちＰピクチャ及びＢピクチャは、参照ピクチャを使用して復号処理を行う必要があるピクチャであるので、一般的にＩピクチャと比較して復号化処理が遅い。しかし、画面間相関を用いて符号化するのでＩピクチャと比較して符号化した際に発生する符号量が小さい。一般的にピクチャの符号量は、Ｉピクチャ＞Ｐピクチャ＞Ｂピクチャである。上記のハイブリッド符号化技術では、上記３種類のピクチャを組み合わせることで動画像の圧縮を行っている。

また、ピクチャを数枚まとめてＧＯＰ（Group of Picture）と呼ばれる単位を形成している。このＧＯＰには、Ｉピクチャが最低１枚入っており、ＧＯＰ単位で独立再生を行うことができるようになっている。図８にＧＯＰの一例の構造を示す。図８に示すＧＯＰは、Ｉピクチャ１枚と、Ｐピクチャ４枚と、Ｂピクチャ１０枚とから構成されており、先頭にはＩピクチャが配置される。図８に示すように、ＧＯＰ内に含まれるＩピクチャは１枚が一般的であり、残りのピクチャをＰピクチャ、Ｂピクチャとすることで符号量の削減を実現している。

ところで、サーバー装置において、このようなハイブリッド符号化技術を用いて動画像信号を符号化して得られた符号化信号列である動画ファイルを、ネットワークを介してクライアント装置に配信し、クライアント装置において、受信した動画ファイルを復号化して再生する動画像配信システムにおいては、クライアント装置は任意の速度での再生が可能である。この場合、クライアント装置が受信した動画ファイルを特殊再生（早送り・巻戻し）する場合は、図９に示すように、受信した動画ファイルの時系列的に合成されている各ＧＯＰから復号化処理の軽いＩピクチャを選択し、この選択したＩピクチャの符号化データを再生することで特殊再生を実現する方法が従来知られている（例えば、特許文献１参照）。

また、クライアント装置が特殊再生を行う際に、まず、符号化データを復号し、それにより得られた復号画像を特殊再生速度に応じて間引く方法も従来知られている（例えば、特許文献２参照）。この特許文献２記載の特殊再生方法では、図１０に示すように、まず、符号化データを復号して、「０」、「１」、「２」、「３」、「４」、・・・の各ピクチャの復号画像を生成し、その後、特殊再生速度が２倍の場合には、復号した画像のうち、ステップ１にて「０」、「２」、「４」、・・・で示す例えば偶数番目のピクチャの画像を選択する間引き動作を行い、次に、ステップ２において、間引いた復号画像を符号化し、特殊再生用の符号化デー夕を生成する。図１０では、間引き後の復号画像「０」、「２」、「４」、・・・で示す例えば偶数番目のピクチャの画像を連続した画像として符号化し、ステップ２に示す符号化データを生成している。この特許文献２記載の従来の配信システムでは受信する符号化データを再エンコードすることにより特殊再生画像を生成している。

特開２００６−７４５１１号公報 特開２００５−１２２７７号公報

しかしながら、特許文献１及び２各記載の従来の動画像配信システムでは以下の課題がある。まず、各ＧＯＰが図８に示すように構成されているとし、２倍の早送り速度で早送りを実行したと仮定する。特許文献１記載の従来の動画像配信システムにおいては、以下に示すように送信する符号化データを決定する。まず、１秒間の画像データ数（ピクチャ数）を算出する。早送り速度が２倍の場合には、１秒間の画像データ数（ピクチャ数）は、６０枚（＝３０ｆｐｓ×２ｓ）となる。

続いて、その１秒間の画像データ数（ピクチャ数）のＧＯＰ数を算出する。いま１ＧＯＰが１５枚のピクチャからなるものとすると、１秒間のＧＯＰ数は４（＝６０÷１５）ＧＯＰとなる。従って、６０枚の画像データ数（ピクチャ数）の中にＩピクチャは４枚存在することになる。そして、最後にこの４枚のＩピクチャを送信する符号化データとする。従って、特許文献１記載の従来の配信システムでは、２倍の早送り再生を行う際に、送信される符号化データのフレームレートは４ｆｐｓとなる。

次に、特許文献２においては、以下に示すように送信する符号化データを生成する。まず、早送り速度が２倍であることから、送信する符号化データは１枚おきの画像データとする。よって、符号化データを復号し、１枚おきの復号画像データを得る。続いて、前述した１枚おきに取得した復号画像データを３０枚集め、フレームレート３０ｆｐｓのピクチャ群を生成する。そして、生成したピクチャ群を符号化し、符号化されたデータを送信データと決定する。

以上のことから、特許文献１記載の従来の動画像配信システムによる特殊再生用符号化データ生成方法では、送信される符号化データのフレームレートが、通常再生が３０ｆｐｓに対して、４ｆｐｓとかなり小さくなっているため、表示される動画像の連続性が失われ、不自然な動画像となるという課題がある。

また、特許文献２記載の従来の動画像配信システムによる特殊再生用符号化データ生成方法では、送信される符号化データのフレームレートは３０ｆｐｓであり、動画像の連続性は保障されるが、ＨＤサイズのように大きな画像サイズである場合、符号化されているデータを復号化し、さらに再符号化する処理を必ず伴う特許文献２の方法では復号・符号処理に時間を多大に要し、リアルタイム性に欠けるという課題がある。

このように、従来は特殊再生時に、表示される動画像のフレームレートが足りない、または特殊再生命令を出してから特殊再生が始まるまでに時間がかかってしまうため、ユーザーに多大なストレスを与えてしまう課題がある。

本発明は以上の点に鑑みなされたもので、特殊再生時に失われる動画像の連続性やリアルタイム性を失うことなく、かつ、操作するユーザーにストレスを与えることなく特殊再生を行うことができる動画像配信システム並びにサーバー装置及びクライアント装置を提供することを目的とする。

上記の目的を達成するため、本発明の動画配信システムは、動画像符号化データをサーバー装置からネットワークを介してクライアント装置に配信する動画像配信システムにおいて、クライアント装置は、
外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを生成しサーバー装置に送信するデータ生成手段と、サーバー装置から受信する動画像符号化データを復号化して動画像データを生成する復号化手段と、復号化手段から出力される動画像データの表示レートを表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを表示装置へ出力する制御手段とを備え、
サーバー装置は、
解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、クライアント装置からネットワークを介して送信されたクライアント要求データを受信し、その受信クライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、符号化データ保持手段に保持されている動画像符号化データの中から特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、解像度決定手段により決定された解像度の動画像符号化データを符号化データ保持手段から読み出してクライアント装置に送信する送信手段とを備えることを特徴とする。

この発明では、クライアント装置はサーバー装置から配信された動画像符号化データから、連続して再生可能な数多くの枚数の動画像データを復号した特殊再生画像を表示でき、これによりコンテンツの連続性を認識できる。

また、上記の目的を達成するため、本発明の動画像配信システムは、動画像符号化データをサーバー装置からネットワークを介してクライアント装置に配信する動画像配信システムにおいて、クライアント装置は、
外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、自装置において任意の解像度の符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを生成しサーバー装置に送信するデータ生成手段と、サーバー装置から受信する動画像符号化データを復号化して動画像データを生成する復号化手段と、復号化手段から出力される動画像データの表示レートを表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを表示装置へ出力する制御手段とを備え、
サーバー装置は、
解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、クライアント装置からネットワークを介して送信されたクライアント要求データを受信し、その受信クライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、符号化データ保持手段に保持されている動画像符号化データの中から特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、符号化データ保持手段から読み出した解像度決定手段により決定された解像度の動画像符号化データを、受信クライアント要求データが示すデコード能力情報に基づいて、クライアント装置で復号化できる解像度に補正する補正手段と、補正手段で解像度が補正された符号化データをクライアント装置に送信する送信手段とを備えることを特徴とする。

この発明では、クライアント装置のデコード能力情報に基づいて解像度を補正し、その補正後の数多くの枚数の動画像符号化データを、サーバー装置がネットワークを介してクライアント装置に特殊再生用符号化データとして配信することができる。

また、上記の目的を達成するため、本発明はネットワークを介してクライアント装置に動画像符号化データを配信するサーバー装置において、解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、クライアント装置において生成された、クライアント装置の外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを、ネットワークを介して受信し、その受信クライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、符号化データ保持手段に保持されている動画像符号化データの中から特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、解像度決定手段により決定された解像度の動画像符号化データを符号化データ保持手段から読み出してクライアント装置に送信する送信手段とを有することを特徴とする。

この発明のサーバー装置は、特殊再生速度で画像の連続性を認識できる解像度を決定する解像度の符号化データを符号化データ保持手段から読み出してクライアント装置に送信することができる。

また、上記の目的を達成するため、本発明はネットワークを介してクライアント装置に動画像符号化データを配信するサーバー装置において、解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、クライアント装置において生成された、クライアント装置の外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、そのクライアント装置において任意の解像度の符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを、ネットワークを介して受信し、その受信クライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、符号化データ保持手段に保持されている動画像符号化データの中から特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、符号化データ保持手段から読み出した解像度決定手段により決定された解像度の動画像符号化データを、受信クライアント要求データが示すデコード能力情報に基づいて、クライアント装置で復号化できる解像度に補正する補正手段と、補正手段で解像度が補正された符号化データをクライアント装置に送信する送信手段とを有することを特徴とする。

この発明のサーバー装置は、受信クライアント要求データが示すデコード能力情報に基づいて、クライアント装置で復号化できる解像度に補正し、解像度が補正された符号化データをクライアント装置に送信することができる。

また、上記の目的を達成するため、本発明は、サーバー装置が生成した動画像符号化データをネットワークを介して配信され、配信された動画像符号化データを復号化して動画像データを生成するクライアント装置において、外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを生成しサーバー装置に送信するデータ生成手段と、サーバー装置が受信したクライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、そのサーバー装置内に保持されている動画像符号化データの中から決定された特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データをそのサーバー装置から受信し、受信した動画像符号化データを復号化して動画像データを生成する復号化手段と、復号化手段から出力される動画像データの表示レートを表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを表示装置へ出力する制御手段とを有することを特徴とする。

また、本発明のクライアント装置は、上記の目的を達成するため、外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、自装置において任意の解像度の符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを生成しサーバー装置に送信するデータ生成手段と、サーバー装置が受信したクライアント要求データが示す特殊再生速度と表示装置の解像度とに応じて、そのサーバー装置内に保持されている動画像符号化データの中から決定された特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを、受信したクライアント要求データが示すデコード能力情報に基づいて補正して得た解像度の動画像符号化データを、そのサーバー装置から受信し、受信した動画像符号化データを復号化して動画像データを生成する復号化手段と、復号化手段から出力される動画像データの表示レートを表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを表示装置へ出力する制御手段とを有する構成としてもよい。

本発明によれば、特殊再生速度に応じて、符号化データを送信するサーバー装置が符号化データの解像度を制御し、制御された解像度の符号化データをリアルタイムでクライアント装置へ送信し、クライアント装置では符号化データを復号し、特殊再生速度に応じて表示する画像を制御するようにしたため、クライアント装置ではコンテンツの連続性を認識でき、その結果従来の課題であったコンテンツの連続性を認識できない問題を解決することができ、クライアント装置を操作するユーザーにストレスを与えることなく特殊再生を行わせることができる。

また、本発明によれば、クライアント装置のデコード能力情報に基づいて解像度を補正し、その補正後の数多くの枚数の符号化データを、サーバー装置がネットワークを介してクライアント装置に特殊再生用符号化データとして配信するようにしたため、クライアント装置はサーバー装置から配信された符号化データを復号してリアルタイムに特殊再生画像を表示することができ、クライアント装置を操作するユーザーにストレスを与えることなく特殊再生を行わせることができる。

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は本発明になる動画像配信システム並びにサーバー装置及びクライアント装置の第１の実施の形態の構成図を示す。本実施の形態の動画像配信システムは、サーバー装置１０とクライアント装置２０とがネットワーク３０を介して接続されており、サーバー装置１０とクライアント装置２０とがネットワーク３０を介して双方向に通信可能な構成とされている。

図１に示すように、本実施の形態のサーバー装置１０は、符号化データ保持部１０１、解像度決定部１０２及び通信部１０３を有する構成である。符号化データ保持部１０１は、様々な解像度からなる符号化データを保持しており、解像度決定部１０２に保持している符号化データ、及び解像度リストを出力する。なお、本実施の形態ではスケーラブル符号化データを用いて、保持するデータ量の削減を行うが、データ保持に多大の容量を使用してもよい場合は、あるコンテンツに対して解像度毎に符号化データを複数保持してもよい。

解像度決定部１０２は、通信部１０３より入力されるクライアント装置２０の要求するデータ構造１に沿ったデータ、及び符号化データ保持部１０１の解像度リストを使用して、クライアント装置２０に出力する符号化データの解像度を決定する。また、決定した解像度の符号化データを符号化データ保持部１０１より取得し、通信部１０３に出力する。これについては後で詳しく説明する。

通信部１０３は、解像度決定部１０２より入力されるクライアント装置２０に出力する符号化データをクライアント装置２０と共通のプロトコルに変換し出力する。また、クライアント装置２０よりネットワーク３０を介して入力されるデータをデータ構造１に沿ったデータに変換し、解像度決定部１０２に出力する。

また、図１に示すように、本実施の形態のクライアント装置２０は、通信部２０１、復号化部２０２、フレーム数制御部２０３、表示装置２０４、外部命令解析部２０５及びクライアント要求生成部２０６から構成されている。通信部２０１は、サーバー装置１０よりネットワーク３０を介して配信されるデータを受信して符号化データに変換し、復号化部２０２に出力する。また、通信部２０１は、クライアント要求生成部２０６より入力されるデータ構造１に沿ったデータをサーバー装置１０と共通のプロトコルに変換し、サーバー装置１０に出力する。復号化部２０２は、通信部２０１より入力される符号化データの復号化処理を行い、その復号化処理で復号した動画像データをフレーム数制御部２０３に出力する。

フレーム数制御部２０３は、復号化部２０２より復号化された任意のフレームレートの動画像データが入力され、その入力された動画像データを、表示装置２０４に出力する。例えば、表示デバイスの最大フレームレートが６０ｆｐｓであり、復号された動画像データのフレームレートが６０ｆｐｓであると仮定すると、復号した動画像データをそのまま出力する。表示デバイスの最大フレームレートが６０ｆｐｓであり、復号された動画像データのフレームレートが１２０ｆｐｓである場合は、１枚おきの画像を出力することで６０ｆｐｓを実現する。表示装置２０４は、フレーム数制御部２０３より入力される任意のフレームレートの動画像データを表示する。

外部命令解析部２０５は、クライアント装置２０の外部からの外部命令Ａの内容を解析し、その解析した結果をクライアント要求生成部２０６に出力する。ここで、上記の外部命令Ａは、本実施の形態では、ユーザーによって発せられる動画再生命令（再生・一時停止・停止・早送り・早戻し）を示す。なお、本実施の形態では、命令を発する対象を人としたが、これに限らない。また、ユーザーの発する外部命令Ａを再生・一時停止・停止・早送り・早戻しとしたが、他にスロー再生などを追加してもよい。

クライアント要求生成部２０６は、外部命令解析部２０５より入力された外部命令Ａの解析結果に従って、サーバー装置１０に要求するデータ構造１に沿ったデータを生成し、その生成したデータを通信部２０１に出力する。ここで、データ構造１に沿ったデータを、以下に示す。
［再生コマンド（再生・一時停止・停止・早送り・早戻し）、特殊再生速度、表示デバイス解像度］・・・データ構造１
次に、図１のサーバー装置１０の動作について、図２のフローチャートを参照して説明する。まず、サーバー装置１０は、通信部１０３においてクライアント装置２０よりネットワーク３０を介して外部命令Ａに基づくクライアント要求データを受信したかどうか判定し（ステップＳ１１）、受信した場合は、そのクライアント要求データをデータ構造１に沿ったデータに変換し、解像度決定部１０２に出力する（ステップＳ１２）。

続いて、サーバー装置１０は、解像度決定部１０２において、通信部１０３から入力されたデータ構造１に沿ったデータと、符号化データ保持部１０１の解像度リストを使用して、クライアント装置２０に出力する符号化データの解像度を決定し、符号化データ保持部１０１に保持されている符号化データの中から決定した解像度で最も数多くの枚数の符号化データを取得して通信部１０３に出力する（ステップＳ１３）。この解像度決定部１０２の動作については後で詳しく説明する。

続いて、サーバー装置１０は、通信部１０３において、解像度決定部１０２より入力された符号化データを、クライアント装置２０と共通のプロトコルに変換した後ネットワーク３０を介してクライアント装置２０へ配信する（ステップＳ１４）。なお、ステップＳ１１でクライアント要求データを受信していないと判定したときは、特殊再生を行わないと判断し、通常再生時の所定の解像度の符号化データを符号化データ保持部１０１より取得して生成したデータを通信部１０３を介してクライアント装置２０へ配信する（ステップＳ１５）。

次に、図２のステップＳ１３の解像度決定部１０２の動作について図３のフローチャートを用いて詳細に説明する。解像度決定部１０２では、通信部１０３より入力されるクライアント装置２０からのデータ構造１に沿ったデータ、及び符号化データ保持部１０１の解像度リストを使用して、出力する符号化データの解像度を決定し、その決定した解像度の符号化データを符号化データ保持部１０１より取得し、通信部１０３に出力する。

解像度決定部１０２は、通信部１０３からの入力データの再生コマンドの内容に基づいて条件分岐し（ステップＳ２１）、再生・一時停止・停止の通常再生コマンドである場合はステップＳ２２の処理を行い、早送り・早戻しの特殊再生コマンドである場合はステップＳ２３の処理を行う。

ステップＳ２２では、再生・一時停止・停止の通常再生コマンドが入力された場合であり、以下に示すデータ構造２に沿ったデータを生成する第１の処理＃１を行い、生成したデータを出力してステップＳ２５の処理を行う。

［出力データ有無フラグ、出力解像度］・・・データ構造２
ここで、ステップＳ２２の第１の処理＃１では、再生コマンドが「再生」である場合は、［出力データ有り、前記入力されたデータ構造１に沿ったデータの表示デバイス解像度］であるデータ構造２のデータを生成し、再生コマンドが「一時停止」・「停止」である場合は、［出力データ無し、（０、０）］であるデータ構造２のデータを生成する。

ステップＳ２３は、ステップＳ２１にて、早送り・早戻しの再生コマンドが入力されたと判定された場合に行う第２の処理＃２であり、入力されたデータ構造１に沿ったデータ（クライアント要求データ）の特殊再生速度、及び表示デバイス解像度（表示装置２０４の解像度）と、特殊再生速度に応じて出力する解像度を算出することができる表１を使用して、出力する符号化データの解像度を算出する。

上記の表１はクライアント装置２０からのクライアント要求データが示す特殊再生速度及び表示デバイス解像度とに応じて、従来よりも単位時間当たりの高速再生画像の枚数が多く、コンテンツの連続性を認識できる動画像符号化データの解像度を判断するために予め設定されている。

例えば、特殊再生速度（以下、Ｔｐ）を５倍とし、表示デバイス解像度を横幅Ｗが「１９２０画素」、高さＨが「１０８０画素」と仮定すると、本実施の形態では、表１より、「３＜Ｔｐ≦１０」であるから、出力される解像度は、横幅Ｗ′が９６０（＝Ｗ／２＝１９２０／２）画素、高さＨ′が５４０（＝Ｈ／２＝１０８０／２）画素と算出され、出力解像度は、（９６０、５４０）となる。なお、単位時間当たり表示される高速再生動画像の枚数は、表示装置の表示能力（表示解像度）に依存する。なお、本実施の形態では、表１を用いて解像度を算出したが、ネットワーク３０の状況に応じて、表１を適時変更するなどして解像度を決定する方法を用いてもよい。

ステップＳ２３に続くステップＳ２４は、ステップＳ２３で算出された解像度と、符号化データ保持部１０１の解像度リストとを使用し、クライアント装置２０に配信する符号化データの解像度の補正を行う第３の処理＃３である。例えば、ステップＳ２３にて算出された解像度が（９６０、５４０）であり、符号化データ保持部１０１の解像度リストが表２に示すものであると仮定すると、（９６０、５４０）と同等以下の解像度を表２の解像度リストから選択し、その中で単位時間当たりの動画像の枚数が多く出力できる最大の解像度（７２０、４８０）を出力する解像度と決定し、［出力データ有り、（７２０、４８０）］のようなデータ構造２に沿った符号化データを生成する。

すなわち、本実施の形態では、特殊再生速度と表示装置の解像度に応じて決定された上記の解像度は、符号化データ保持部１０１に保持されている符号化データのうち、単位時間当たり表示される高速再生動画像の枚数が最も多く出力できる最も高い解像度である。なお、本実施の形態では、符号化データ保持部１０１に保持されている解像度を出力解像度と決定したが、リアルタイム処理が可能であれば、再符号化するなどして、ステップＳ２３で算出した解像度を出力解像度と決定してもよい。

解像度決定部１０２は、上記のステップＳ２２による第１の処理＃１、又は上記のステップＳ２４による第３の処理＃３を終了すると、続いて、処理＃１又は＃３で生成されたデータ構造２に沿ったデータに沿った符号化データを生成する第４の処理＃４を行い（ステップＳ２５）、通信部１０３に出力して処理を終了する。ステップＳ２５では、例えば、［出力データ有り、（７２０、４８０）］が入力されたとすると、符号化データ保持部１０１より、解像度が（７２０、４８０）である符号化データを通信部１０３に出力する。

次に、図１のクライアント装置２０の動作について、図４のフローチャートと共に説明する。まず、クライアント装置２０は、外部命令Ａが入力されたかどうかを判断し（ステップＳ３１）、外部命令Ａが入力された場合はステップＳ３２へ、外部命令Ａが入力されない場合はステップＳ３５へ進んで所定の処理を行う。外部命令Ａが入力された場合は外部命令解析部２０５において、外部命令Ａの内容を解析し、その解析した結果をクライアント要求生成部２０６に出力する（ステップＳ３２）。

続いて、クライアント装置２０はクライアント要求生成部２０６において、外部命令解析部２０５より入力された外部命令Ａの解析結果に従って、サーバー装置１０に要求するデータ構造１に沿ったクライアント要求データを生成し、その生成したクライアント要求データを通信部２０１に出力する（ステップＳ３３）。通信部２０１は、クライアント要求生成部２０６より入力されるデータ構造１に沿ったクライアント要求データをサーバー装置１０と共通のプロトコルに変換し、ネットワーク３０を介してサーバー装置１０に出力する（ステップＳ３４）。

一方、外部命令Ａが入力されない場合はステップＳ３５へ進んで、通信部２０１において、サーバー装置１０よりネットワーク３０を介して配信されるデータを受信して符号化データに変換し、復号化部２０２に出力する。続いて、復号化部２０２が、通信部２０１より入力される符号化データの復号化処理を行い、その復号化処理で復号した動画像データをフレーム数制御部２０３に出力する（ステップＳ３６）。

クライアント装置２０内のフレーム数制御部２０３は、復号化部２０２より復号化された任意のフレームレートの動画像データが入力されると、その入力された動画像データを表示装置２０４に出力して表示させる（ステップＳ３７）。このとき、フレーム数制御部２０３は、復号化された動画像データのフレームレートが表示装置２０４の最大フレームレート以下になるようにフレーム数の制御を行う。クライアント装置２０は上記のステップＳ３２〜Ｓ３４の動作又はＳ３５〜Ｓ３７の動作をステップＳ３１の判断結果に基づいて、所定の終了条件を満たすまで、繰り返す（ステップＳ３８）。

このように、本実施の形態では、クライアント装置２０が外部命令Ａの指令に基づいて特殊再生を行う際に、クライアント装置２０がサーバー装置１０に特殊再生命令を伝達するためのクライアント要求データをネットワーク３０を介してサーバー装置１０へ伝送し、サーバー装置１０がこの特殊再生命令を示すクライアント要求データを受信すると、そのクライアント要求データに含まれる特殊再生速度と表示装置の解像度とに応じて、符号化データ保持部１０１に保持されている符号化データの中から特殊再生速度で単位時間当たりの再生画像数が最も多い最も大きな解像度の動画像データを読み出し、サーバー装置１０がネットワーク３０を介してクライアント装置２０に特殊再生用符号化データとして配信するようにしたため、クライアント装置２０はサーバー装置１０から配信された符号化データから、従来よりも数多くの枚数の動画像データを復号した特殊再生画像を表示でき、これによりコンテンツの連続性を認識できるため、従来の課題であったコンテンツの連続性を認識できない問題を解決し、また、数多くの動画像データを表示する場合にリアルタイム性に欠けた問題も解決することができ、ユーザーにストレスのない特殊再生を行わせることができる。

次に、本発明の第２の実施の形態について図面と共に説明する。図５は本発明になる動画像配信システム並びにサーバー装置及びクライアント装置の第２の実施の形態の構成図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図５に示す第２の実施の形態の動画像配信システムは、サーバー装置１５とクライアント装置２０とがネットワーク３０を介して接続されており、サーバー装置１５とクライアント装置２０とがネットワーク３０を介して双方向に通信可能な構成とされている。

図５に示すように、本実施の形態のサーバー装置１５は、符号化データ保持部１０１、解像度決定部１０２、クライアント能力制御部１０４及び通信部１０３を有する構成であり、図１に示した実施の形態のサーバー装置１０と比較すると、解像度決定部１０２と通信部１０３との間にクライアント能力制御部１０４が設けられている点に特徴がある。

クライアント能力制御部１０４は、解像度決定部１０２で決定された解像度、特殊再生速度、及び通信部１０３より入力される後述のデータ構造１′に沿ったデータの表３に示すような、クライアント装置２０の復号化部２０２のデコードフレーム数と動画像データの解像度とを対応付けたクライアントデコード能力のリストを使用して、クライアント装置２０に配信する動画像データの解像度を補正する。

例えば、特殊再生速度が３０倍速であり、解像度決定部１０２で決定された解像度が（７２０、４８０）であると仮定すると、表３に示すクライアント装置２０のデコード能力リストより、上記の解像度では、デコードフレーム数が「２４」であり、リアルタイムのデコードが間に合わないので、クライアント能力制御部１０４は、デコードフレーム数が「３０」に最も近くて大きな「４８」であるときの解像度（３６０、４８０）に補正し、符号化データ保持部１０１より補正した解像度の符号化データを取得し、通信部１０３に出力する。

なお、補正した解像度が符号化データ保持部１０１に存在しない場合は、符号化データ保持部１０１の解像度リストの同等以下の符号化データを出力する。なお、本実施の形態においては、クライアント装置２０のデコード能力を使用して解像度を補正したが、例えば、通信路の帯域などを使用して、出力する符号化データの解像度を補正してもよい。

また、図５に示すように、本実施の形態のクライアント装置２０は、通信部２０１、復号化部２０２、フレーム数制御部２０３、表示装置２０４、外部命令解析部２０５及びクライアント要求生成部２０６から構成されており、この構成は図１のクライアント装置２０と基本的には同様であるが、クライアント要求生成部２０６が生成するクライアント要求データの構成が第１の実施の形態と若干異なる。

次に、本実施の形態のサーバー装置１５の動作について、図６のフローチャートと共に更に説明する。同図中、図２と同一処理ステップには同一符号を付してある。図６に示すように、サーバー装置１５は、通信部１０３においてクライアント装置２０よりネットワーク３０を介してクライアント要求データを受信すると（ステップＳ１１のＹＥＳ）、後述のデータ構造１’に沿ったデータに変換し、クライアント能力制御部１０４と解像度決定部１０２に出力する（ステップＳ１２）。

続いて、サーバー装置１０は、解像度決定部１０２において、通信部１０３から入力されたデータ構造１’に沿ったデータと、符号化データ保持部１０１の解像度リストを使用して、図３に示したフローチャートに従ってクライアント装置２０に出力する符号化データの解像度を決定し、決定した解像度の符号化データを符号化データ保持部１０１より取得して、生成したデータをクライアント能力制御部１０４に出力する（ステップＳ１３）。

続いて、サーバー装置１０は、クライアント能力制御部１０４において、解像度決定部１０２で決定された解像度、特殊再生速度、及び通信部１０３より入力されるデータ構造１′に沿ったデータの表３に示したクライアントデコード能力のリストを使用して、クライアント装置２０に配信する動画像データの解像度を前述したように補正する（ステップＳ１６）。

そして、サーバー装置１５はクライアント能力制御部１０４において補正された符号化データを通信部１０３において、クライアント装置２０と共通のプロトコルに変換した後出力するネットワーク３０を介してクライアント装置２０へ配信する（ステップＳ１４）。

次に、本実施の形態のクライアント装置２０の動作について、図７のフローチャートと共に説明する。同図中、図４と同一処理ステップには同一符号を付し、その説明を省略する。図５のクライアント装置２０は第１の実施の形態と略同様の動作を行うが、異なる動作としては、クライアント要求生成部２０６において、外部命令解析部２０５より入力された外部命令ＡのステップＳ３２の解析結果に従って、サーバー装置１５に要求するデータ構造１’に沿ったクライアント要求データを生成し、その生成したクライアント要求データを通信部２０１に出力する（図７のステップＳ４１）。

ここで、上記のデータ構造１’に沿ったデータを以下に示す。

［再生コマンド（再生・一時停止・停止・早送り・早戻し）、特殊再生速度、表示デバイス解像度、クライアントデコード能力］・・・データ構造１’
このデータ構造１’はデータ構造１と比較するとクライアントデコード能力を示すデータが追加されている点に特徴がある。ここで、クライアントデコード能力とは、任意の解像度の符号化データを１秒間に何枚デコードできるかを示す能力であり、表３に示した解像度とデコードフレーム数とを対応付けたリストで表現できる。

なお、本実施の形態では、クライアントデコード能力を示すものとしてリストを用いたが、例えば、サーバー装置１５がクライアント装置２０にデコード能力を問い合わせ、クライアント装置２０の実装する復号化部２０２がサーバー装置１５にデコード能力を通知するような方法でも構わない。その後、図５の通信部２０１は、クライアント要求生成部２０６より入力されるデータ構造１’に沿ったクライアント要求データをサーバー装置１０と共通のプロトコルに変換し、ネットワーク３０を介してサーバー装置１５に出力する（図７のステップＳ３４）。

このように、本実施の形態では、クライアント装置２０が外部命令Ａの指令に基づいて特殊再生を行う際に、クライアント装置２０がサーバー装置１５に特殊再生命令を伝達するためのクライアント要求データにクライアント装置２０の有する復号化部２０２のデコード能力情報を含めて送信し、サーバー装置１５がこの特殊再生命令を示すクライアント要求データを受信すると、そのクライアント要求データに含まれる特殊再生速度に応じて出力する符号化データの解像度を決定し、決定した解像度をデータ構造１′に沿ったデータの表３に示したクライアントデコード能力のリストを使用して補正し、その補正後の数多くの枚数の動画像の符号化データを、サーバー装置１５がネットワーク３０を介してクライアント装置２０に特殊再生用符号化データとして配信するようにしたため、クライアント装置２０はサーバー装置１５から配信された符号化データを復号してリアルタイムに特殊再生画像を表示することができる。

なお、本発明は以上の実施の形態に限定されるものではなく、サーバー装置１０、１５及びクライアント装置２０はコンピュータにより実現することも可能であり、本発明はそのコンピュータを動作させるコンピュータプログラムも包含するものである。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータに取り込まれてもよく、更にはコンピュータにファームウェアとして取り込まれていてもよい。また、サーバー装置とクライアント装置とが直接ケーブル接続されている場合にも当然本発明は適用可能である。

本発明の動画像配信システム並びにサーバー装置及びクライアント装置の第１の実施の形態の構成図である。 図１中のサーバー装置の動作説明用フローチャートである。 図１中の解像度決定部の動作説明用フローチャートである。 図１中のクライアント装置の動作説明用フローチャートである。 本発明の動画像配信システム並びにサーバー装置及びクライアント装置の第２の実施の形態の構成図である。 図５中のサーバー装置の動作説明用フローチャートである。 図５中のクライアント装置の動作説明用フローチャートである。 ＧＯＰの構成の一例を示す図である。 特許文献１記載の特殊再生方法の説明図である。 特許文献２記載の特殊再生方法の説明図である。

符号の説明

１０、１５ サーバー装置
２０ クライアント装置
３０ ネットワーク
１０１ 符号化データ保持部
１０２ 解像度決定部
１０３、２０１ 通信部
１０４ クライアント能力制御部
２０２ 復号化部
２０３ フレーム数制御部
２０４ 表示装置
２０５ 外部命令解析部
２０６ クライアント要求生成部
Ａ 外部命令

Claims (6)

1. 動画像符号化データをサーバー装置からネットワークを介してクライアント装置に配信する動画像配信システムにおいて、
   前記クライアント装置は、
   外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを生成し前記サーバー装置に送信するデータ生成手段と、
   前記サーバー装置から受信する前記動画像符号化データを復号化して動画像データを生成する復号化手段と、
   前記復号化手段から出力される前記動画像データの表示レートを前記表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを前記表示装置へ出力する制御手段と
   を備え、
   前記サーバー装置は、
   解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、
   前記クライアント装置から前記ネットワークを介して送信された前記クライアント要求データを受信し、その受信クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、前記符号化データ保持手段に保持されている前記動画像符号化データの中から前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、
   前記解像度決定手段により決定された解像度の動画像符号化データを前記符号化データ保持手段から読み出して前記クライアント装置に送信する送信手段と
   を備えることを特徴とする動画像配信システム。
2. 動画像符号化データをサーバー装置からネットワークを介してクライアント装置に配信する動画像配信システムにおいて、
   前記クライアント装置は、
   外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、自装置において任意の解像度の符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを生成し前記サーバー装置に送信するデータ生成手段と、
   前記サーバー装置から受信する前記動画像符号化データを復号化して動画像データを生成する復号化手段と、
   前記復号化手段から出力される前記動画像データの表示レートを前記表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを前記表示装置へ出力する制御手段と
   を備え、
   前記サーバー装置は、
   解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、
   前記クライアント装置から前記ネットワークを介して送信された前記クライアント要求データを受信し、その受信クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、前記符号化データ保持手段に保持されている前記動画像符号化データの中から前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、
   前記符号化データ保持手段から読み出した前記解像度決定手段により決定された解像度の動画像符号化データを、前記受信クライアント要求データが示す前記デコード能力情報に基づいて、前記クライアント装置で復号化できる解像度に補正する補正手段と、
   前記補正手段で解像度が補正された前記動画像符号化データを前記クライアント装置に送信する送信手段と
   を備えることを特徴とする動画像配信システム。
3. ネットワークを介してクライアント装置に動画像符号化データを配信するサーバー装置において、
   解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、
   前記クライアント装置において生成された、該クライアント装置の外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを、前記ネットワークを介して受信し、その受信クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、前記符号化データ保持手段に保持されている前記動画像符号化データの中から前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、
   前記解像度決定手段により決定された解像度の動画像符号化データを前記符号化データ保持手段から読み出して前記クライアント装置に送信する送信手段と
   を有することを特徴とするサーバー装置。
4. ネットワークを介してクライアント装置に動画像符号化データを配信するサーバー装置において、
   解像度の異なる動画像符号化データを複数保持している符号化データ保持手段と、
   前記クライアント装置において生成された、該クライアント装置の外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、そのクライアント装置において任意の解像度の動画像符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを、前記ネットワークを介して受信し、その受信クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、前記符号化データ保持手段に保持されている前記動画像符号化データの中から前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを決定する解像度決定手段と、
   前記符号化データ保持手段から読み出した前記解像度決定手段により決定された解像度の動画像符号化データを、前記受信クライアント要求データが示す前記デコード能力情報に基づいて、前記クライアント装置で復号化できる解像度に補正する補正手段と、
   前記補正手段で解像度が補正された前記動画像符号化データを前記クライアント装置に送信する送信手段と
   を有することを特徴とするサーバー装置。
5. サーバー装置からネットワークを介して配信された動画像符号化データを復号化して動画像データを生成するクライアント装置において、
   外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報とを伝達するためのクライアント要求データを生成し前記サーバー装置に送信するデータ生成手段と、
   前記サーバー装置が受信した前記クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、そのサーバー装置内に保持されている動画像符号化データの中から決定された前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データをそのサーバー装置から受信し、受信した前記動画像符号化データを復号化して動画像データを生成する復号化手段と、
   前記復号化手段から出力される前記動画像データの表示レートを前記表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを前記表示装置へ出力する制御手段と
   を有することを特徴とするクライアント装置。
6. サーバー装置が生成した動画像符号化データをネットワークを介して配信され、配信された前記動画像符号化データを復号化して動画像データを生成するクライアント装置において、
   外部から入力された特殊再生速度を指定した特殊再生命令と、動画像を表示させる表示装置の解像度を示す解像度情報と、自装置において任意の解像度の符号化データを単位時間当たり何枚復号化できるかを示すデコード能力情報とを伝達するためのクライアント要求データを生成し前記サーバー装置に送信するデータ生成手段と、
   前記サーバー装置が受信した前記クライアント要求データが示す前記特殊再生速度と前記表示装置の解像度とに応じて、そのサーバー装置内に保持されている動画像符号化データの中から決定された前記特殊再生速度で単位時間当たりの再生画像数が最も多い解像度の動画像符号化データを、受信した前記クライアント要求データが示す前記デコード能力情報に基づいて補正して得た解像度の動画像符号化データを、そのサーバー装置から受信し、受信した前記動画像符号化データを復号化して動画像データを生成する復号化手段と、
   前記復号化手段から出力される前記動画像データの表示レートを前記表示装置で表示可能な最大表示レート以下に制御して、制御後の動画像データを前記表示装置へ出力する制御手段と
   を有することを特徴とするクライアント装置。

Images