JP2011176571A - マルチ解像度映像符号化方法、マルチ解像度映像復号方法、マルチ解像度映像符号化装置、マルチ解像度映像復号装置、及びプログラム - Google Patents

Abstract

【課題】常に復号する画素数を一定に保ちながら、スムーズに表示領域や、解像度が変更可能なビットストリームを生成する。
【解決手段】分割サイズ設定部１０３は、映像を分割するサイズを決定する。分割方法設定部１０４は、各解像度の映像の分割方法を決定し、各矩形領域に対して識別番号を決定する。矩形領域情報符号化部１０５は、各矩形領域の識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域に対する位置とを示す情報を符号化する。映像分割部１０７は、マルチ解像度映像を、設定された分割方法で分割する。映像符号化部１０９は、分割された矩形映像を符号化する。多重化部１１１は、矩形映像の符号データ群と分割方法の情報の符号データとを多重化する。
【選択図】図１

Description

本発明は、復号対象となる解像度や領域が復号側で変化する場合に、スムーズに表示領域や解像度を変更できるように符号化・復号化を行うマルチ解像度映像符号化方法、マルチ解像度映像復号方法、マルチ解像度映像符号化装置、マルチ解像度映像復号装置、及びプログラムに関する。

ネットワーク技術の発展により、一般家庭において、大容量、かつ双方向の通信が利用可能になったため、インタラクティブ映像サービスが注目を集めている。特に、パノラマ映像のインタラクティブ視聴サービスは、ユーザ毎に異なる欲求を満たすことが可能なサービスとして高い注目を集めている。ここで言うパノラマ映像のインタラクティブ視聴サービスとは、スポーツや、コンサート、舞台などの複数の注目対象が存在するようなコンテンツにおいて、各ユーザが自身の興味に合わせて、全体を見渡せる映像を鑑賞したり、ある対象に注目して一部を拡大して鑑賞したりすることが可能な映像サービスである。

このようなサービスを実現する方法には、様々な方法がある。最も単純な方法は、パノラマ映像全体を符号化したビットストリームを生成・伝送し、ユーザ側で復号して得られたパノラマ映像に対して、切り出しや、解像度変換（拡大・縮小）の処理を行う方法である。この場合、ユーザ側で得られる符号化歪みを含んだ映像に対して解像度変換の処理を加えるため、各解像度の映像の品質を制御することが難しいという問題がある。

そこで、各解像度における映像品質を担保するために、コンテンツ提供側で予め複数の解像度のパノラマ映像を生成し、それらを別々に符号化することで複数のビットストリームを生成する方法がある。この場合、ユーザ側からの解像度の要求に応じて、復号するビットストリームを切り替える。なお、複数のビットストリームを伝送する方法としては、複数個のファイルとして伝送する方法と、多重化して１つのファイルとして伝送する方法とがある。

複数の解像度のパノラマ映像を用いる場合、それらを別々に符号化するのではなく、スケーラブル符号化を用いて、１つのビットストリームへと符号化する方法もある（例えば、非特許文献１参照）。この場合、全体の一部のビットストリームのみを抜き出して復号することで、特定の解像度のパノラマ映像を復号することができる。

ISO/IEC 14496-10:2009 Coding of audio-visual objects ? Part 10: Advanced Video Coding (edition 2009-05-15) Annex G. Scalable Video Coding

上述した従来技術では、複数の解像度のパノラマ映像を生成して符号化することで、各解像度における映像の品質を、コンテンツ製作者側で担保することが可能となる。ところで、受信側でパノラマ映像の全体表示や、任意の一部分を選択しての拡大表示を、任意のタイミングで切り替えることが行われる場合、復号するパノラマ映像の解像度が時間的に変化することになり、復号処理に必要な演算負荷が変動することになる。これは、解像度の異なる複数の映像のビットストリームを多重化する方式でも、スケーラブル符号化を用いてビットストリームを構成する方式でも発生することである。

このような状況において、常に安定した復号処理を行うためには、復号装置が最大解像度の映像を復号可能な能力を持つことが必要となる。しかしながら、最大解像度の映像を復号しない場合、そのような演算能力は不必要であり、システム規模、及び消費電力量などにおいて無駄が生じてしまう。なお、スケーラブル符号は、高解像度の映像を復号するためには、必ず低解像度の映像を復号する必要が生じるため、複数のビットストリームを多重化する方法に比べて、より大きな演算能力が必要となり、復号装置における無駄の削減には有効ではない。

本発明は、このような事情を考慮してなされたものであり、その目的は、表示側で映像の全体表示や任意の一部分を選択しての拡大表示が行われる状況において、復号が必要となる画素数を一定に保つことで、演算負荷の変動を抑えることができるマルチ解像度映像符号化方法、マルチ解像度映像復号方法、マルチ解像度映像符号化装置、マルチ解像度映像復号装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化方法であって、前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定ステップと、前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割ステップと、前記矩形領域の各々に対して識別番号を付ける識別子付与ステップと、前記矩形領域毎に、独立して符号化する矩形領域符号化ステップと、前記矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化ステップと、前記矩形領域符号化ステップで得られた前記矩形領域の符号データと、前記矩形領域情報符号化ステップで得られた前記付加情報の符号データとを多重化する符号データ多重化ステップとを含むことを特徴とするマルチ解像度映像符号化方法である。

本発明は、上記の発明において、１フレーム当りに復号側で使用可能とする演算量を設定する想定復号演算量設定ステップを含み、前記分割サイズ設定ステップは、前記想定復号演算量内で任意の領域が復号可能となるように分割サイズを設定することを特徴とする。

本発明は、上記の発明において、前記矩形領域情報符号化ステップは、前記識別子付与ステップで各矩形領域に対して与えられた識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域の元解像度のフレームに対する位置との対応関係を示す付加情報を符号化することを特徴とする。

本発明は、上記の発明において、前記マルチ解像度映像には含まれない倍率の解像度を生成対象解像度として設定する生成対象解像度設定ステップと、前記生成対象解像度設定ステップで設定した生成対象解像度の映像を、前記マルチ解像度の映像から生成するためのフィルタ係数を設定するフィルタ生成ステップと、前記生成対象解像度と前記フィルタ係数とフィルタ前解像度とからなる生成対象解像度情報を符号化する生成対象解像度情報符号化ステップとを更に含み、前記符号データ多重化ステップは、前記矩形領域符号化ステップで得られた前記矩形領域の符号データと、前記矩形領域情報符号化ステップで得られた前記付加情報の符号データと、前記生成対象解像度情報符号化ステップで得られた前記生成対象解像度情報の符号データとを多重化することを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号方法であって、前記符号データを、複数の矩形領域符号データと、矩形領域毎の識別番号と矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化ステップと、前記付加情報符号データを復号する付加情報復号ステップと、前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定ステップと、前記出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定ステップと、前記復号対象として設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出ステップと、前記抽出された矩形領域符号データを復号する矩形領域映像復号ステップとを含むことを特徴とするマルチ解像度映像復号方法である。

本発明は、上記の発明において、１フレーム当りに復号する矩形領域の最大数を設定する最大復号矩形領域数設定ステップを更に含み、前記復号対象設定ステップは、前記最大復号矩形領域数以下の矩形領域の識別番号を設定することを特徴とする。

本発明は、上記の発明において、前記逆多重化ステップは、前記符号データを、前記複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データと、フィルタ処理によって生成する生成対象解像度と該生成対象解像度の映像を生成するためのフィルタ係数と該フィルタ係数を用いて解像度変換を行う前の解像度であるフィルタ前解像度とを示す生成対象解像度情報符号データとに逆多重化し、前記生成対象解像度情報符号データから、前記生成対象解像度と、前記フィルタ係数と、前記フィルタ前解像度とからなる生成対象解像度情報を復号する生成対象解像度情報符号データ復号ステップと、前記出力対象解像度と前記生成対象解像度とから、復号対象となる復号対象解像度を設定する復号対象解像度設定ステップと、前記生成対象解像度に従って、前記復号対象解像度の復号映像から、前記出力対象解像度の映像を生成する映像生成ステップとを更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化装置であって、前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定手段と、前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割手段と、前記フレーム分割手段で分割された矩形領域の各々に対して識別番号を付ける識別子付与手段と、前記フレーム分割手段で分割された矩形領域毎に、独立して符号化する矩形領域符号化手段と、前記識別子付与手段により矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化手段と、前記矩形領域符号化手段で得られた矩形領域の符号データと、前記矩形領域情報符号化手段で得られた付加情報の符号データとを多重化する符号データ多重化手段とを備えることを特徴とするマルチ解像度映像符号化装置である。

本発明は、上記の発明において、前記矩形領域情報符号化手段は、前記識別子付与手段で各矩形領域に対して与えられた識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域の元解像度のフレームに対する位置との対応関係を示す付加情報を符号化することを特徴とする。

本発明は、上記の発明において、前記マルチ解像度映像には含まれない倍率の解像度を生成対象解像度として設定する生成対象解像度設定手段と、前記生成対象解像度設定手段で設定した生成対象解像度の映像を前記マルチ解像度の映像から生成するためのフィルタ係数を設定するフィルタ生成手段と、前記生成対象解像度設定手段により設定された生成対象解像度と前記フィルタ生成手段により設定されたフィルタ係数とフィルタ前解像度とからなる生成対象解像度情報を符号化する生成対象解像度情報符号化手段とを更に備え、符号データ多重化手段は、前記矩形領域符号化手段で得られた前記矩形領域の符号データと、前記矩形領域情報符号化手段で得られた前記付加情報の符号データと、前記生成対象解像度情報符号化手段で得られた前記生成対象解像度情報の符号データとを多重化することを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号装置であって、前記符号データを、複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化手段と、前記逆多重化手段により逆多重化された付加情報符号データを復号する付加情報復号手段と、前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定手段と、前記出力対象解像度設定手段により設定された出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定手段と、前記復号対象設定手段により設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出手段と、前記復号対象矩形領域符号データ抽出手段により抽出された矩形領域符号データを復号する矩形領域映像復号手段とを備えることを特徴とするマルチ解像度映像復号装置である。

本発明は、上記の発明において、前記逆多重化手段は、前記符号データを、前記複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データと、フィルタ処理によって生成する生成対象解像度と該生成対象解像度の映像を生成するためのフィルタ係数と該フィルタ係数を用いて解像度変換を行う前の解像度であるフィルタ前解像度とを示す生成対象解像度情報符号データとに逆多重化し、前記逆多重化手段により逆多重化された生成対象解像度情報符号データから、前記生成対象解像度と、前記フィルタ係数と、前記フィルタ前解像度とからなる生成対象解像度情報を復号する生成対象解像度情報符号データ復号手段と、前記出力対象解像度設定手段により設定された出力対象解像度と前記生成対象解像度情報符号データ復号手段により復号された生成対象解像度とから、復号対象となる復号対象解像度を設定する復号対象解像度設定手段と、前記生成対象解像度情報符号データ復号手段により復号された生成対象解像度に従って、前記復号対象解像度設定手段により設定された復号対象解像度の復号映像から、前記出力対象解像度設定手段により設定された出力対象解像度の映像を生成する映像生成手段とを更に備えることを特徴とする。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化装置のコンピュータに、前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定機能、前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割機能、前記矩形領域の各々に対して識別番号を付ける識別子付与機能、前記矩形領域毎に、独立して符号化する矩形領域符号化機能、前記矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化機能、前記矩形領域符号化機能で得られた前記矩形領域の符号データと、前記矩形領域情報符号化機能で得られた前記付加情報の符号データとを多重化する符号データ多重化機能を実行させることを特徴とするプログラムである。

また、上述した課題を解決するために、本発明は、同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号装置のコンピュータに、前記符号データを、複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化機能、前記付加情報符号データを復号する付加情報復号機能、前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定機能、前記出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定機能、前記復号対象として設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出機能、前記抽出された矩形領域符号データを復号する矩形領域映像復号機能を実行させることを特徴とするプログラムである。

この発明によれば、同一シーンが複数の解像度で表現されたマルチ解像度映像を、一定画素数以下となるような矩形領域に分割して符号化しながら、一つのビットストリームとすることで、ユーザからのインタラクティブな表示領域の指定がある場合においても、常に復号する画素数を一定に保ちながら、スムーズに表示領域や、解像度が変更可能なビットストリームを生成することができる。

本発明の第１実施形態によるマルチ解像度映像符号化装置１００の構成を示すブロック図である。 本第１実施形態のマルチ解像度映像符号化装置１００の動作を説明するフローチャートである。 本第１実施形態におけるマルチ解像度映像を矩形領域で分割する際の映像分割例及び識別番号を示す概念図である。 矩形領域が重複する場合の映像分割例を示す概念図である。 矩形領域情報符号化部１０５で用いられる、矩形領域に関する情報を符号化する際の２値化ルールの一例を示す概念図である。 多重化部１１１で行われる多重化処理の結果の具体例として、フレーム単位でインターリーブした場合のビットストリームの構造を示す概念図である。 本発明の第２実施形態によるマルチ解像度映像符号化装置２００の構成を示すブロック図である。 本第２実施形態のマルチ解像度映像符号化装置２００の動作を説明するフローチャートである。 解像度別処理方法設定部２０３で行われる符号化対象解像度と合成対象解像度の設定を自動で判定する一動作例を示すフローチャートである。 本発明の第３実施形態によるマルチ解像度映像復号装置３００の構成を示すブロック図である。 本第３実施形態のマルチ解像度映像復号装置３００の動作を説明するフローチャートである。

前述したように、同一の内容で解像度の異なる映像の集合（マルチ解像度映像）を符号化する際に、スケーラブル符号化などの従来の手法では、低い解像度の映像を用いながら高い解像度の映像を符号化するような階層符号化が行われている。そのため、復号する解像度の変化に応じて復号画素数が大きく変化し、復号に必要な演算量を一定に保つことができないという問題がある。

これに対して、本発明では、マルチ解像度映像を解像度によらず一定の画素数からなるブロックで空間的に分割し（後述する図２のステップＳａ５）、それぞれを独立に符号化する（図２のステップＳａ７）。そして、各ブロックの符号化結果が属する解像度や位置を識別するための情報を符号化する（図２のステップＳａ１２）。この結果、復号する解像度が変化しても、復号するブロック数を一定に保つ、つまり復号する画素数を一定に保つことが可能となる。演算量は、復号する画素数に比例するため、これによって復号に必要な演算量を一定に保つことが可能となる。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．第１実施形態
図１は、本発明の第１実施形態によるマルチ解像度映像符号化装置１００の構成を示すブロック図である。図において、マルチ解像度映像符号化装置１００は、マルチ解像度映像入力部１０１、マルチ解像度映像メモリ１０２、分割サイズ設定部１０３、分割方法設定部１０４、矩形領域情報符号化部１０５、付加情報符号データメモリ１０６、映像分割部１０７、矩形映像メモリ１０８、映像符号化部１０９、矩形映像符号データメモリ１１０、及び多重化部１１１を備えている。

マルチ解像度映像入力部１０１は、符号化対象となるマルチ解像度映像を入力する。マルチ解像度映像メモリ１０２は、入力されたマルチ解像度映像を蓄積する。分割サイズ設定部１０３は、映像を分割するサイズを決定する。分割方法設定部１０４は、マルチ解像度映像を、設定されたサイズで分割する方法を決定する。矩形領域情報符号化部１０５は、分割方法の情報を符号化する。付加情報符号データメモリ１０６は、分割方法の情報の符号データを蓄積する。

映像分割部１０７は、マルチ解像度映像を、設定された分割方法で分割する。矩形映像メモリ１０８は、分割されたマルチ解像度映像を蓄積する。映像符号化部１０９は、分割された矩形映像を符号化する。矩形映像符号データメモリ１１０は、矩形映像の符号データを蓄積する。多重化部１１１は、矩形映像の符号データ群と分割方法の情報の符号データとを多重化する。

図２は、本第１実施形態のマルチ解像度映像符号化装置１００の動作を説明するフローチャートである。図２には、本第１実施形態のマルチ解像度映像符号化装置１００によって、同じシーンをフレーム同期した複数の解像度の映像で表現した映像コンテンツ（マルチ解像度映像）を、符号化する際の処理を示している。以下では、このフローチャートに従って、マルチ解像度映像符号化装置１００の実行する処理について詳細に説明する。

ここで、以下では、縦×横の画素数が、７６８０×４３２０、３８４０×２１６０、１９２０×１０８０の３段階の解像度を持つマルチ解像度映像を符号化する場合について説明する。なお、説明のために具体的な数値を使うだけであり、マルチ解像度の数や、各解像度の比率は、この例に限らず適用することが可能である。

まず、マルチ解像度映像入力部１０１により、マルチ解像度映像が入力され、マルチ解像度映像メモリ１０２に蓄積される（ステップＳａ１）。次に、分割サイズ設定部１０３により、矩形領域のサイズが決定される（ステップＳａ２）。この矩形領域のサイズは、縦×横の解像度として決定しても構わないし、矩形領域に含まれる画素数として設定しても構わない。

また、このサイズは、固定値を用いても構わないし、外部から直接指定する方法を取っても構わないし、外部から与えられた制約条件と入力されたマルチ解像度映像とから計算する方法を取っても構わない。外部から与えられる制約条件の例としては、ユーザ側の表示装置の解像度、ユーザ側の復号能力などがある。

例えば、ユーザ側の表示装置の解像度がフルＨＤ（１９２０×１０８０）で、リアルタイム復号可能な画素数がフルＨＤの１．５倍（３，１１０，４００画素）である場合、フルＨＤを縦横５等分すること（３８４×２１６）で、任意のフルＨＤ領域を選択する場合においても、復号の必要な矩形領域数の最大数が３６個となり、その合計画素数は、２，９８５，９８４画素であるため、与えられたリアルタイム復号可能な条件を満たす。本第１実施形態では、この例における縦サイズを、１６の倍数になるように変更した３８４×２２４を矩形領域のサイズとして説明を行う。

矩形領域のサイズが決定した後、分割方法設定部１０４により、各解像度の映像の分割方法を決定し、各矩形領域に対して識別番号を決定する（ステップＳａ３）。ここで言う分割方法の決定とは、指定されたサイズの矩形領域を上限として、フレーム全体を覆うように矩形領域の大きさや位置を決定することである。本第１実施形態では、図３に示す分割方法と識別番号とを設定したものとする。この際、図４に示すように、矩形領域が互いに重複して配置しても構わない。

分割方法が決定した後、矩形領域情報符号化部１０５で、各矩形領域の識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域に対する位置とを示す情報を符号化し、得られた符号列を付加情報符号データメモリ１０６に蓄積する（ステップＳａ４）。これらの情報はどのような方式で表現しても構わない。例えば、図５に示すルールに従って生成したビット列として符号化しても構わないし、生成されたビット列を更に算術符号化することも可能である。

次に、マルチ解像度映像メモリ１０２に蓄積されているマルチ解像度映像を、決定した分割方法に従って映像分割部１０７で分割し、矩形映像メモリ１０８に識別番号毎に蓄積する（ステップＳａ５）。

そして、マルチ解像度映像を分割して生成された矩形映像を映像符号化部１０９で符号化し、得られた符号列を矩形映像符号データメモリ１１０に蓄積する（ステップＳａ６〜Ｓａ９）。符号化処理は、矩形映像毎に行う。つまり、矩形領域を示すインデックスをｉｄ、矩形領域の総数をｎｕｍＩＤ（本第１実施形態では、５２５となる）と表すと、ｉｄを０に初期化し（ステップＳａ６）、その後、ｉｄに１を加算しながら（ステップＳａ８）、ｉｄがｎｕｍＩＤになるまで（ステップＳａ９）、ｉｄに対応する矩形映像の符号化・蓄積処理を繰り返す（ステップＳａ７）。

各矩形領域の映像信号の符号化には、任意の手法を用いても構わない。例えば、各時刻のフレームを静止画と見なして、ＪＰＥＧや、ＪＰＥＧ２０００で符号化しても構わないし、連続するフレームを動画像と見なして、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどで符号化しても構わない。

次に、付加情報符号データメモリ１０６に蓄積された付加情報符号列と、矩形映像符号データメモリ１１０に蓄えられた矩形映像符号列とを多重化部１１１で多重化する（ステップＳａ１０〜Ｓａ１２）。多重化では、まず、各矩形領域に対応する矩形映像符号列を定められた単位毎に分割する（ステップＳａ１０）。単位としては、１マクロブロック、１フレーム、１ピクチャ、１ＧＯＰなどの符号化単位を使うことができる。また、２マクロブロックや１５フレームなどのように、複数個を集めて１単位として使用しても構わない。

そして、分割された矩形映像符号列を、各矩形に対するデータが順に現れるように連結する（ステップＳａ１１）。次に、付加情報符号列を適当なタイミングで１回以上挿入し、全体として１つのビットストリームを構成する（ステップＳａ１２）。この生成されたビットストリームがマルチ解像度映像符号化装置１００の出力となる。

図６は、多重化部１１１で行われる多重化処理の結果の具体例として、フレーム単位でインターリーブした場合のビットストリームの構造を示す概念図である。矩形映像符号列をフレーム単位に分割した矩形フレームユニットを、表示時刻が同じもの毎に集めてフレームユニットを構成し、フレームユニットを連結することで、ビットストリームを構成している。また、付加情報符号列をＧＯＰ毎に挿入してある。

なお、フレームユニットの先頭に、表示時刻や、復号時刻の情報を示すヘッダ情報を埋め込むことで、時刻シーク時にフレームユニット毎に読み飛ばすことを可能にすることが可能である。また、矩形フレームユニットの先頭に、矩形領域の識別番号を示すヘッダ情報を埋め込むことで、解像度や、表示領域変更時に矩形フレームユニット毎に読み飛ばすことも可能になる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図７は、本発明の第２実施形態によるマルチ解像度映像符号化装置２００の構成を示すブロック図である。図において、マルチ解像度映像符号化装置２００は、マルチ解像度映像入力部２０１、マルチ解像度映像メモリ２０２、処理方法別解像度設定部２０３、分割サイズ設定部２０４、分割方法設定部２０５、矩形領域情報符号化部２０６、付加情報符号データメモリ２０７、映像分割部２０８、矩形映像メモリ２０９、映像符号化部２１０、矩形映像符号データメモリ２１１、映像復号部２１２、復号矩形映像メモリ２１３、フィルタ情報設定部２１４、フィルタ情報符号化部２１５、フィルタ情報符号データメモリ２１６、及び多重化部２１７を備えている。

マルチ解像度映像入力部２０１は、マルチ解像度映像を入力する。マルチ解像度映像メモリ２０２は、入力されたマルチ解像度映像を蓄積する。処理方法別解像度設定部２０３は、符号化する映像の解像度と復号側で生成する映像の解像度とを設定する。分割サイズ設定部２０４は、映像を分割するサイズを決定する。分割方法設定部２０５は、マルチ解像度映像を、設定されたサイズで分割する方法を決定する。矩形領域情報符号化部２０６は、分割方法の情報を符号化する。付加情報符号データメモリ２０７は、分割方法の情報の符号データを蓄積する。

映像分割部２０８は、符号化対象のマルチ解像度映像を、設定された分割方法で分割する。矩形映像メモリ２０９は、符号化対象の分割されたマルチ解像度映像を蓄積する。映像符号化部２１０は、矩形映像を符号化する。矩形映像符号データメモリ２１１は、矩形映像の符号データを蓄積する。映像復号部２１２は、矩形映像の符号データを復号する。復号矩形映像メモリ２１３は、復号された矩形映像を蓄積する。

フィルタ情報設定部２１４は、生成対象の矩形映像を復号された矩形映像から生成するのに必要なフィルタ係数等を決定する。フィルタ情報符号化部２１５は、フィルタ情報を符号化する。フィルタ情報符号データメモリ２１６は、フィルタ情報の符号データを蓄積する。多重化部２１７は、矩形映像の符号データ群と分割方法の情報の符号データとフィルタ情報の符号データとを多重化する。

図８は、本第２実施形態のマルチ解像度映像符号化装置２００の動作を説明するフローチャートである。図８には、本第２実施形態のマルチ解像度映像符号化装置２００によって、同じシーンをフレーム同期した複数の解像度の映像で表現した映像コンテンツ（マルチ解像度映像）を、符号化する際の処理を示している。以下では、このフローチャートに従って、マルチ解像度映像符号化装置２００の実行する処理について詳細に説明する。

ここで、以下では、縦×横の画素数が、７６８０×４３２０、３８４０×２１６０、１９２０×１０８０の３段階の解像度を持つマルチ解像度映像が入力され、解像度が７６８０×４３２０と１９２０×１０８０の映像を符号化し、解像度が３８４０×２１６０の映像を復号側で生成するように設定する場合について説明を行う。なお、説明のために具体的な数値を使うだけであり、マルチ解像度の数や、各解像度の比率などは、この例に限らず適用することが可能である。

まず、マルチ解像度映像入力部２０１により、マルチ解像度映像が入力され、マルチ解像度映像メモリ２０２に蓄積される（ステップＳｂ１）。次に、処理方法別解像度設定部２０３で、映像信号を符号化する解像度と、復号側で映像信号を生成する解像度とを設定する（ステップＳｂ２）。本第２実施形態では、入力されたマルチ解像度映像のうち、７６８０×４３２０と１９２０×１０８０の解像度を符号化するものと設定し、３８４０×２１６０の解像度を生成するものと設定したとする。

このように、解像度は、入力されたマルチ解像度の中から選択しても構わないし、それ以外のものを設定しても構わない。入力されたもの以外を選択する場合には、入力されたマルチ解像度映像からフィルタ処理により生成される。このフィルタ処理による映像生成処理は、マルチ解像度映像符号化装置２００の内部処理として行うことも可能であるが、独立した処理となるため、前処理として行われ、マルチ解像度映像符号化装置２００に対して、必要な全ての解像度の映像が入力されるものと考えることも可能である。また、このステップＳｂ２で行われる解像度の設定は、外部から与えても構わないし、自動で判定しても構わない。自動で判定する方法としては、様々な方法を用いることが可能である。

図９は、上記解像度の設定を自動で判定する一動作例を示すフローチャートである。まず、最も低い解像度を符号化対象とし、その他の解像度を未判定として設定する（ステップＳｃ１）。次に、未判定の解像度のうち最も低いものを判定対象解像度に設定し、符号化対象として既に決定している解像度のうち、最も高いものを参照解像度に設定する（ステップＳｃ２）。そして、参照解像度の映像から判定対象解像度の映像を生成するためのフィルタを計算する（ステップＳｃ３）。フィルタ設計には、様々な方法を用いることができる。

例えば、最小二乗法を用いてフィルタ後の信号と生成対象の信号との二乗誤差が最小になるように、フィルタ係数を決定する方法がある。このように計算されたフィルタは、最小二乗フィルタ（ウィナーフィルタ）と呼ばれる。なお、この最小化する誤差のモデルを変更することで、様々なフィルタを構築することが可能である。また、フィルタのモデルとして２次元フィルタを全体に１度だけ施すフィルタを用いても構わないし、領域毎にアダプティブにフィルタを切り替えるようなモデルを用いても構わない。

フィルタ設計が終了したら、フィルタ処理により参照解像度の映像から判定対象解像度の合成映像を生成し（ステップＳｃ４）、参照解像度の映像と生成された合成映像との品質を比較する（ステップＳｃ５）。品質が大きく異なる場合には、判定対象解像度を符号化対象解像度として設定し（ステップＳｃ６）、品質がほぼ同じ場合には、判定対象解像度を合成対象解像度として設定する（ステップＳｃ７）。判定基準の品質には、任意の映像評価基準を用いることができる。例えば、ＰＳＮＲや、ＳＳＩＭなどがある。判定が終了したら判定対象解像度を未判定の解像度から除外し（ステップＳｃ８）、未判定の解像度が残っているかどうかを調べる（ステップＳｃ９）。そして、未判定の解像度が残っている場合には、ステップＳｃ２〜Ｓｃ９を繰り返し、残っていない場合には、判定処理を終了する。

次に、図８に戻り、分割サイズ設定部２０４により、矩形領域のサイズが決定される(ステップＳｂ３)。ここでの処理は、第１実施形態のステップＳａ２と同じである。本第２実施形態においても、矩形領域のサイズとして３８４×２２４が設定されたものとして説明を行う。

矩形領域のサイズが決定した後、分割方法設定部２０５により、各解像度の映像の分割方法を決定し、各矩形領域に対して識別番号を決定する（ステップＳｂ４）。分割方法の決定に関しては、第１実施形態のステップＳａ３と同じであるが、本第２実施形態では、全ての解像度の映像に対して分割方法を決定するのではなく、ステップＳｂ２で符号化する解像度として設定された映像に対してのみ分割方法を決定する。

分割方法が決定されると、矩形領域情報符号化部２０６で、各矩形領域の識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域に対する位置とを示す情報を符号化し、得られた符号列を付加情報符号データメモリ２０７に蓄積する（ステップＳｂ５）。ここでの処理は、第１実施形態のステップＳａ４と同じである。

次に、マルチ解像度映像メモリ２０２に蓄積されているマルチ解像度映像のうち、符号化対象に設定された解像度の映像を、決定した分割方法に従って、映像分割部２０８で分割し、矩形映像メモリ２０９に識別番号毎に蓄積する（ステップＳｂ６）。そして、生成された矩形映像を映像符号化部２１０で符号化し、得られた符号列を矩形映像符号データメモリ２１１に蓄積するとともに、得られた符号列を映像復号部２１２で復号し、復号結果として得られる復号矩形映像を復号矩形映像メモリ２１３に蓄積する（ステップＳｂ７〜Ｓｂ１１）。

これら一連の処理は、矩形映像毎に行う。つまり、矩形領域を示すインデックスをｉｄ、矩形領域の総数をｎｕｍＩＤ（本第２実施形態では４２５となる）と表すと、ｉｄを０に初期化し（ステップＳｂ７）、その後、ｉｄに１を加算しながら（ステップＳｂ１０）、ｉｄがｎｕｍＩＤになるまで（ステップＳｂ１１）、ｉｄに対応する矩形映像の符号化・蓄積処理（ステップＳｂ８）と、復号・蓄積処理（ステップＳｂ９）とを繰り返す。

各矩形領域の映像信号の符号化には、任意の手法を用いても構わない。例えば、各時刻のフレームを静止画と見なして、ＪＰＥＧや、ＪＰＥＧ２０００で符号化しても構わないし、連続するフレームを動画像と見なして、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどで符号化しても構わない。なお、符号化処理の内部でローカルデコード画像を使用する場合には、その蓄積領域と復号矩形映像メモリ２１３とを同一のものとしても構わない。共有しない場合であっても、ローカルデコード画像など復号側で得られる画像を映像符号化部２１０の内部で知ることができる場合には、映像復号部２１２を省略し、その画像を直接、復号矩形映像メモリ２１３へと転送しても構わない。

矩形領域の復号画像が得られたら、合成対象解像度の映像を作り出すためのフィルタをフィルタ情報設定部２１４で決定する（ステップＳｂ１２）。決定したフィルタの情報は、フィルタ情報符号化部２１５で符号化し、フィルタ情報符号データメモリ２１６に蓄積する（ステップＳｂ１３）。

なお、ここで言うフィルタの情報とは、フィルタのモデルや、フィルタ係数、フィルタをかける矩形映像の識別番号、フィルタ結果として得られる矩形映像が属する合成対象解像度などである。但し、ある符号化対象解像度の映像から、ある合成対象解像度の映像を作る際に、矩形映像に依らず同じフィルタを用いる場合には、フィルタをかける矩形映像の識別番号とフィルタ結果として得られる矩形映像が属する合成対象解像度の代わりに、フィルタ前解像度とフィルタ後解像度を用いることができる。

また、フィルタのモデルに関しても、事前に使用するモデルの情報を符号化側と復号側とで共有してあるのならば、モデルを表す情報を符号化する必要はない。また、同じフィルタを複数の矩形映像で使う場合には、フィルタに識別番号を付けて、フィルタ識別番号と矩形映像の識別番号のマッピング情報を符号化しても構わない。

フィルタ設計には、上述したステップＳｃ３の場合と同様に、様々な方法を用いることができる。例えば、矩形領域毎に、最小二乗法を用いてフィルタ後の信号と生成対象の信号との二乗誤差が最小になるようにフィルタ係数を決定しても構わない。この最小化する誤差のモデルを変更することで、主観品質などを最大化するフィルタを構築しても構わない。また、フィルタを求める前に、矩形映像を分散や、エッジ強度などで分類し、同じような性質を持つ矩形映像には、同じフィルタを施すものとして、フィルタを構築しても構わない。

逆に、矩形映像毎にフィルタを構築した後で、同等の性能を持つフィルタをグルーピングして、複数の矩形映像で同じフィルタを用いるようにしても構わない。このとき、フィルタの性能を測る方法としては、別の矩形映像に対して構築されたフィルタを施して得られた映像の品質を尺度とすることができる。

最終的に、付加情報符号データメモリ２０７に蓄積された付加情報符号列と、矩形映像符号データメモリ２１１に蓄えられた矩形映像符号列と、フィルタ情報符号データメモリ２１６に蓄積されたフィルタ情報符号列とを多重化部２１７で多重化する（ステップＳｂ１４〜Ｓｂ１６）。

多重化では、まず、各矩形領域に対応する矩形映像符号列を、定められた単位毎に分割する（ステップＳｂ１４）。次に、分割された矩形映像符号列を、各矩形に対するデータが順に現れるように連結する（ステップＳｂ１５）。そして、付加情報符号列とフィルタ情報符号化列とを適当なタイミングで１回以上挿入し、全体として１つのビットストリームを構成する（ステップＳｂ１６）。この生成されたビットストリームがマルチ解像度映像符号化装置２００の出力となる。

これらの処理は、フィルタ情報符号化列が挿入される点を除いて、第１実施形態のステップＳａ１０〜Ｓａ１２と同じである。なお、付加情報符号化列とフィルタ情報符号化列とは、同じタイミングや、インターバルで挿入されても、別々のタイミング・インターバルで挿入されても構わない。

本第２実施形態では、ステップＳｂ４では合成対象解像度に対して分割方法を設定せずに、フィルタを基準として、そのフィルタをかける矩形領域と、その結果得られる映像の属する解像度とを含む情報をフィルタ情報として説明した。別のフィルタ情報の定義方法として、ステップＳｂ４において合成対象解像度に対しても分割方法を設定し、矩形領域情報とフィルタ情報とを一緒に表現しても構わない。つまり、各矩形領域に対して、識別番号、属するフレームの解像度、矩形領域のサイズ、フレーム内の矩形領域の位置だけでなく、符号化対象であるか合成対象であるかを示すフラグの組を定義する。また、合成対象とされている矩形領域に対しては、更に、フィルタモデル、フィルタ係数、フィルタをかける対象の矩形領域の識別番号の情報を追加する。このとき同じフィルタを複数の矩形領域で共有する場合はフィルタモデルとフィルタ係数との組に対して定義したフィルタ番号とフィルタをかける対象の矩形領域の識別番号の情報を追加してもよい。なお、フィルタをかける対象の矩形領域の識別番号は複数になる場合もある。

このような定義をすることで、付加情報符号データとフィルタ情報符号データの符号量の総量は増加するが、必要な解像度と領域が指示された際に、復号が必要な矩形領域とフィルタ処理の有無を高速に判断することが可能となる。また、ある解像度において、符号化する領域と合成する領域が混在するような場合も定義可能となり、より柔軟に符号化する映像と合成する映像を設定できるようになる。これにより、部分的には合成によって十分な品質の映像を生成できるが、フレーム全体では十分な合成品質を達成できない場合や、部分的には合成映像の品質が不十分であるが、フレーム全体では十分な合成品質と判断されてしまう場合においても、復号される映像品質を一定以上に保ちながら、効果的に符号量を削減することが可能となる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図１０は、本発明の第３実施形態によるマルチ解像度映像復号装置３００の構成を示すブロック図である。図において、マルチ解像度映像復号装置３００は、符号データ入力部３０１、逆多重化部３０２、矩形映像符号データメモリ３０３、付加情報復号部３０４、付加情報メモリ３０５、フィルタ情報復号部３０６、フィルタ情報メモリ３０７、復号対象設定部３０８、復号対象符号データ抽出部３０９、矩形映像復号部３１０、復号画像メモリ３１１、及びフィルタ処理部３１２を備えている。

符号データ入力部３０１は、マルチ解像度映像の符号データを入力する。逆多重化部３０２は、入力された符号データを、矩形映像の符号データと矩形領域情報符号データとフィルタ情報符号データとに逆多重化する。矩形映像符号データメモリ３０３は、矩形映像の符号データを蓄積する。付加情報復号部３０４は、各矩形領域の識別番号とその矩形領域が属するフレームの解像度とその矩形領域のサイズとその矩形領域に対する位置とを示す付加情報の符号データを復号する。付加情報メモリ３０５は、復号された付加情報を蓄積する。

フィルタ情報復号部３０６は、フィルタ情報符号データを復号する。フィルタ情報メモリ３０７は、復号されたフィルタ情報を蓄積する。復号対象設定部３０８は、表示物理解像度と出力解像度とから復号対象の矩形領域を決定する。復号対象符号データ抽出部３０９は、復号対象の矩形映像の符号データを抽出する。矩形映像復号部３１０は、矩形映像を復号する。復号画像メモリ３１１は、復号された矩形映像を蓄積して１枚のフレームに繋ぎ合せる。フィルタ処理部３１２は、復号解像度と出力解像度との関係に基づいて復号されたフレームに対して、フィルタ情報に従ってフィルタ処理を加える。

図１１は、本第３実施形態のマルチ解像度映像復号装置３００の動作を説明するフローチャートである。図１１には、本第３実施形態のマルチ解像度映像復号装置３００によって、同じシーンをフレーム同期した複数の解像度の映像で表現した映像コンテンツ（マルチ解像度映像）の、符号化されたデータを復号する際の処理を示している。以下では、このフローチャートに従って、マルチ解像度映像復号装置３００の実行する処理について詳細に説明する。

まず、符号データ入力部３０１により、マルチ解像度映像を符号化した符号データが入力される（ステップＳｄ１）。入力された符号データは、逆多重化部３０２に渡され、複数の矩形領域に対する映像を符号化した符号データと、付加情報を符号化した符号データと、フィルタ情報を符号化した符号データとに逆多重化される（ステップＳｄ２）。矩形領域に対する映像の符号データは、矩形映像符号データメモリ３０３に蓄積される。付加情報符号データは、付加情報復号部３０４で復号され、各矩形領域の識別番号とその矩形領域が属するフレームの解像度とその矩形領域のサイズとその位置の対応関係とが付加情報メモリ３０５に蓄積される（ステップＳｄ３）。フィルタ情報符号データは、フィルタ情報復号部３０６で復号され、フィルタモデルや、フィルタ係数がフィルタ情報メモリ３０７に蓄積される（ステップＳｄ４）。

次に、復号対象設定部３０８で、マルチ解像度映像に含まれる解像度の中から１つの出力対象解像度を設定し（ステップＳｄ５）、設定された出力対象解像度を用いて、復号対象となる矩形領域の識別番号を決定する（ステップＳｄ６）。識別番号は、次のように決定される。

まず、表示装置の物理解像度と出力対象解像度とを用いて出力対象領域のサイズを決定し、外部から与えられる出力対象領域と重複する矩形領域とを処理対象矩形領域として決定する。なお、物理解像度と出力対象領域のサイズ比は別途与えられているとする。物理解像度より大きな解像度の映像は表示装置において縮小されて表示され、物理解像度未満の解像度の映像は表示装置において拡大されて表示され、復号した映像を忠実に表示することができない。そのため、物理解像度と出力対象領域のサイズは同じに設定することが多い。次に、出力対象解像度が符号化されている解像度か、それとも合成対象解像度かを調べる。符号化されている解像度であった場合には、出力対象解像度を復号対象解像度として設定し、処理対象矩形領域に対応する識別番号を復号対象として設定する。

一方、合成対象解像度の場合には、処理対象矩形領域の映像を生成するために必要な符号化されている矩形領域を調べ、その矩形領域の属する解像度を復号対象解像度として設定し、更に識別番号を復号対象として設定する。

フィルタが合成対象解像度の矩形領域毎に設定されている場合には、フィルタ情報から必要な矩形領域を知ることができる。フィルタが符号化解像度の矩形領域毎に設定されている場合、符号化解像度ごとに合成の結果として得られる合成対象解像度を調べ、目的とする合成対象解像度と一致する符号化解像度を復号対象解像度として設定し、その後で必要な領域を生成するのに必要な矩形領域を探すことになる。また、フィルタが解像度に応じて設定されている場合には、フィルタ情報から復号対象解像度を得た後、処理対象矩形領域と同じ範囲になる復号対象解像度上の領域を判定し、その領域と重複する矩形領域が必要な矩形領域となる。

なお、矩形領域情報とフィルタ情報の復号が終了した後に、合成対象解像度の領域ごとに、その領域の映像を生成するために必要な矩形領域の識別番号とフィルタ情報との組を示すテーブルを生成してもよい。この場合、テーブルを保持するための記憶領域が必要となるが、どのような形でフィルタ情報が与えられても、高速に復号対象の矩形領域と、フィルタ処理の有無とを判断することが可能となる。

復号対象の識別番号が決定したら、復号対象符号データ抽出部３０９で、その識別番号を持つ矩形映像符号データを矩形映像符号データメモリ３０３から抜き出す（ステップＳｄ７）。抜き出された矩形映像符号データは、矩形映像復号部３１０に送られて復号される（ステップＳｄ８）。復号された矩形映像は、復号画像メモリ３１１に蓄積され、そこで１枚のフレームへ繋ぎ合わされる（ステップＳｄ９）。

復号処理が終了したら、出力解像度と復号対象解像度とが等しかったかどうか調べる（ステップＳｄ１０）。そして、復号対象解像度が出力解像度と等しい場合には、フィルタ処理部３１２では何も行われず、出力対象領域の映像が出力される（ステップＳｄ１２）。一方、復号対象解像度と出力解像度とが異なる場合には、復号画像メモリ３１１に蓄積されたフレームを、フィルタ処理部３１２でフィルタ情報に従って解像度変換処理を行う（ステップＳｄ１１）。そして、合成されたフレームの出力対象領域の映像を出力する（ステップＳｄ１２）。

なお、１つの解像度のなかの矩形領域ごとに、合成対象であるか否かが設定されている場合、ステップＳｄ８である矩形領域の復号画像が得られた後に、フィルタ処理が必要であればフィルタ処理を施した後の合成映像を復号画像メモリ３１１へ送り、１枚のフレームへ繋ぎ合わせる。つまり、ステップＳｄ１０〜Ｓｄ１１がステップＳｄ８のあとに、復号矩形領域ごとに行われ、ステップＳｄ９が終了したら画像を出力する（ステップＳｄ１２）。また、ステップＳｄ９において、同じ画素に対して複数の画像が得られた場合は、平均値で置き換えても構わないし、合成して生成されたものではない画像信号を優先的に使用しても構わない。

上述した第１から第３実施形態によれば、同一シーンが複数の解像度で表現されたマルチ解像度映像を、一定画素数以下となるような矩形領域に分割して符号化しながら、一つのビットストリームとすることで、ユーザからのインタラクティブな表示領域の指定がある場合においても、常に復号する画素数を一定に保ちながら、スムーズに表示領域や、解像度が変更可能なビットストリームを生成することができる。

また、復号側で得られる演算能力を考慮して矩形領域のサイズを決定することで、どのような領域を出力対象としても、安定した復号を実現することが可能となる。例えば、矩形領域を復号するのに必要な演算量をＬとすると、一般的にＬは復号が必要な画素数に依存するため矩形領域に依存しない値となる。そのため、１フレーム当りに復号する最大矩形領域数をＮとすると、必要な演算量は高々Ｌ×Ｎとなり、復号側で得られる演算能力がＬ×Ｎより大きければ、安定した復号を実現することが可能となる。

なお、表示デバイスの表示能力を超える解像度の映像は、ダウンサンプリングして表示される。つまり、表示能力以上の解像度の映像復号は無駄な処理である。表示デバイスの許容解像度は、ユーザ毎に一定であるため、復号対象の解像度が変化する際に、復号する画素数を一定にしても、ユーザが実際に提示される映像の品質が低下することはない。

また、各矩形領域の映像データを符号化には、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの国際標準方式を用いて符号化することができる。

常に同じ形状の矩形領域を用いる場合、元の映像の解像度によっては無駄が生じる場合がある。例えば、一般的な映像符号化では１６画素×１６画素のブロックを１単位として符号化するため、縦横のサイズが１６の倍数でない場合には、適当な値をパディングして符号化を行う。そのため、縦横のサイズが１６の倍数でない矩形領域は、符号化のビット効率が悪い。常に同一サイズに分割する場合には、そのようなビット効率の悪い矩形が大量に生じる可能性がある。上述した第１から第３実施形態によれば、矩形領域情報を符号化して伝送することで、オーバラップする領域が生じるような柔軟なフレーム分割することで、パディングによる無駄を避けることができる。

また、解像度変換を用いることで、符号化するマルチ解像度の映像の総数を減らす場合に、生成可能な解像度と、その解像度の映像を生成するのに必要なフィルタ情報とを符号化することで、高品質な解像度変換を実現することができる。

以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

また、以上の実施形態では、マルチ解像度映像符号化装置を中心に説明したが、これら仮想視点画像生成装置の各部の動作に対応したステップによって本発明のマルチ解像度映像符号化方法を実現することができる。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。特に、メモリに関しては、別々のユニットを用いても構わないし、まとめて１つのユニットとして実現しても構わない。

１００、２００ マルチ解像度映像符号化装置
１０１、２０１ マルチ解像度映像入力部
１０２、２０２ マルチ解像度映像メモリ
１０３、２０４ 分割サイズ設定部
１０４、２０５ 分割方法設定部
１０５、２０６ 矩形領域情報符号化部
１０６、２０７ 付加情報符号データメモリ
１０７、２０８ 映像分割部
１０８、２０９ 矩形映像メモリ
１０９、２１０ 映像符号化部
１１０、２１１ 矩形映像符号データメモリ
１１１、２１７ 多重化部
２０３ 処理方法別解像度設定部
２１２ 映像復号部
２１３ 復号矩形映像メモリ
２１４ フィルタ情報設定部
２１５ フィルタ情報符号化部
２１６ フィルタ情報符号データメモリ
３００ マルチ解像度映像復号装置
３０１ 符号データ入力部
３０２ 逆多重化部
３０３ 矩形映像符号データメモリ
３０４ 付加情報復号部
３０５ 付加情報メモリ
３０６ フィルタ情報復号部
３０７ フィルタ情報メモリ
３０８ 復号対象設定部
３０９ 復号対象符号データ抽出部
３１０ 矩形映像復号部
３１１ 復号画像メモリ
３１２ フィルタ処理部

Claims (14)

1. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化方法であって、
   前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定ステップと、
   前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割ステップと、
   前記矩形領域の各々に対して識別番号を付ける識別子付与ステップと、
   前記矩形領域毎に、独立して符号化する矩形領域符号化ステップと、
   前記矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化ステップと、
   前記矩形領域符号化ステップで得られた前記矩形領域の符号データと、前記矩形領域情報符号化ステップで得られた前記付加情報の符号データとを多重化する符号データ多重化ステップと
   を含むことを特徴とするマルチ解像度映像符号化方法。
2. １フレーム当りに復号側で使用可能とする演算量を設定する想定復号演算量設定ステップを含み、
   前記分割サイズ設定ステップは、前記想定復号演算量内で任意の領域が復号可能となるように分割サイズを設定することを特徴とする請求項１に記載のマルチ解像度映像符号化方法。
3. 前記矩形領域情報符号化ステップは、
   前記識別子付与ステップで各矩形領域に対して与えられた識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域の元解像度のフレームに対する位置との対応関係を示す付加情報を符号化する
   ことを特徴とする請求項１または２に記載のマルチ解像度映像符号化方法。
4. 前記マルチ解像度映像には含まれない倍率の解像度を生成対象解像度として設定する生成対象解像度設定ステップと、
   前記生成対象解像度設定ステップで設定した生成対象解像度の映像を、前記マルチ解像度の映像から生成するためのフィルタ係数を設定するフィルタ生成ステップと、
   前記生成対象解像度と前記フィルタ係数とフィルタ前解像度とからなる生成対象解像度情報を符号化する生成対象解像度情報符号化ステップとを更に含み、
   前記符号データ多重化ステップは、
   前記矩形領域符号化ステップで得られた前記矩形領域の符号データと、前記矩形領域情報符号化ステップで得られた前記付加情報の符号データと、前記生成対象解像度情報符号化ステップで得られた前記生成対象解像度情報の符号データとを多重化する
   ことを特徴とする請求項１から３のいずれかに記載のマルチ解像度映像符号化方法。
5. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号方法であって、
   前記符号データを、複数の矩形領域符号データと、矩形領域毎の識別番号と矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化ステップと、
   前記付加情報符号データを復号する付加情報復号ステップと、
   前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定ステップと、
   前記出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定ステップと、
   前記復号対象として設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出ステップと、
   前記抽出された矩形領域符号データを復号する矩形領域映像復号ステップと
   を含むことを特徴とするマルチ解像度映像復号方法。
6. １フレーム当りに復号する矩形領域の最大数を設定する最大復号矩形領域数設定ステップを更に含み、
   前記復号対象設定ステップは、
   前記最大復号矩形領域数以下の矩形領域の識別番号を設定する
   ことを特徴とする請求項５に記載のマルチ解像度映像復号方法。
7. 前記逆多重化ステップは、
   前記符号データを、前記複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データと、フィルタ処理によって生成する生成対象解像度と該生成対象解像度の映像を生成するためのフィルタ係数と該フィルタ係数を用いて解像度変換を行う前の解像度であるフィルタ前解像度とを示す生成対象解像度情報符号データとに逆多重化し、
   前記生成対象解像度情報符号データから、前記生成対象解像度と、前記フィルタ係数と、前記フィルタ前解像度とからなる生成対象解像度情報を復号する生成対象解像度情報符号データ復号ステップと、
   前記出力対象解像度と前記生成対象解像度とから、復号対象となる復号対象解像度を設定する復号対象解像度設定ステップと、
   前記生成対象解像度に従って、前記復号対象解像度の復号映像から、前記出力対象解像度の映像を生成する映像生成ステップと
   を更に含むことを特徴とする請求項５または６に記載のマルチ解像度映像復号方法。
8. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化装置であって、
   前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定手段と、
   前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割手段と、
   前記フレーム分割手段で分割された矩形領域の各々に対して識別番号を付ける識別子付与手段と、
   前記フレーム分割手段で分割された矩形領域毎に、独立して符号化する矩形領域符号化手段と、
   前記識別子付与手段により矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化手段と、
   前記矩形領域符号化手段で得られた矩形領域の符号データと、前記矩形領域情報符号化手段で得られた付加情報の符号データとを多重化する符号データ多重化手段と
   を備えることを特徴とするマルチ解像度映像符号化装置。
9. 前記矩形領域情報符号化手段は、
   前記識別子付与手段で各矩形領域に対して与えられた識別番号と、その矩形領域が属するフレームの解像度と、その矩形領域のサイズと、その矩形領域の元解像度のフレームに対する位置との対応関係を示す付加情報を符号化する
   ことを特徴とする請求項８に記載のマルチ解像度映像符号化装置。
10. 前記マルチ解像度映像には含まれない倍率の解像度を生成対象解像度として設定する生成対象解像度設定手段と、
    前記生成対象解像度設定手段で設定した生成対象解像度の映像を前記マルチ解像度の映像から生成するためのフィルタ係数を設定するフィルタ生成手段と、
    前記生成対象解像度設定手段により設定された生成対象解像度と前記フィルタ生成手段により設定されたフィルタ係数とフィルタ前解像度とからなる生成対象解像度情報を符号化する生成対象解像度情報符号化手段とを更に備え、
    符号データ多重化手段は、
    前記矩形領域符号化手段で得られた前記矩形領域の符号データと、前記矩形領域情報符号化手段で得られた前記付加情報の符号データと、前記生成対象解像度情報符号化手段で得られた前記生成対象解像度情報の符号データとを多重化する
    ことを特徴とする請求項８または９に記載のマルチ解像度映像符号化装置。
11. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号装置であって、
    前記符号データを、複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化手段と、
    前記逆多重化手段により逆多重化された付加情報符号データを復号する付加情報復号手段と、
    前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定手段と、
    前記出力対象解像度設定手段により設定された出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定手段と、
    前記復号対象設定手段により設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出手段と、
    前記復号対象矩形領域符号データ抽出手段により抽出された矩形領域符号データを復号する矩形領域映像復号手段と
    を備えることを特徴とするマルチ解像度映像復号装置。
12. 前記逆多重化手段は、
    前記符号データを、前記複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データと、フィルタ処理によって生成する生成対象解像度と該生成対象解像度の映像を生成するためのフィルタ係数と該フィルタ係数を用いて解像度変換を行う前の解像度であるフィルタ前解像度とを示す生成対象解像度情報符号データとに逆多重化し、
    前記逆多重化手段により逆多重化された生成対象解像度情報符号データから、前記生成対象解像度と、前記フィルタ係数と、前記フィルタ前解像度とからなる生成対象解像度情報を復号する生成対象解像度情報符号データ復号手段と、
    前記出力対象解像度設定手段により設定された出力対象解像度と前記生成対象解像度情報符号データ復号手段により復号された生成対象解像度とから、復号対象となる復号対象解像度を設定する復号対象解像度設定手段と、
    前記生成対象解像度情報符号データ復号手段により復号された生成対象解像度に従って、前記復号対象解像度設定手段により設定された復号対象解像度の復号映像から、前記出力対象解像度設定手段により設定された出力対象解像度の映像を生成する映像生成手段と
    を更に備えることを特徴とする請求項１１に記載のマルチ解像度映像復号装置。
13. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化するマルチ解像度映像符号化装置のコンピュータに、
    前記複数の解像度のフレームを分割する分割サイズを決定する分割サイズ設定機能、
    前記分割サイズに従って前記複数の解像度のフレームを矩形領域に分割するフレーム分割機能、
    前記矩形領域の各々に対して識別番号を付ける識別子付与機能、
    前記矩形領域毎に、独立して符号化する矩形領域符号化機能、
    前記矩形領域の各々に対して与えられた識別番号と、その矩形領域が属するフレームの解像度との対応関係を示す付加情報を符号化する矩形領域情報符号化機能、
    前記矩形領域符号化機能で得られた前記矩形領域の符号データと、前記矩形領域情報符号化機能で得られた前記付加情報の符号データとを多重化する符号データ多重化機能
    を実行させることを特徴とするプログラム。
14. 同一のシーンを複数の解像度で表現したマルチ解像度映像を符号化した符号データを復号するマルチ解像度映像復号装置のコンピュータに、
    前記符号データを、複数の矩形領域符号データと、前記矩形領域毎の識別番号と前記矩形領域毎の属するフレーム情報との対応関係を示す付加情報符号データとに逆多重化する逆多重化機能、
    前記付加情報符号データを復号する付加情報復号機能、
    前記マルチ解像度映像に含まれる解像度の中から出力対象解像度を設定する出力対象解像度設定機能、
    前記出力対象解像度に基づいて、映像復号を行う矩形領域の識別番号を設定する復号対象設定機能、
    前記復号対象として設定された識別番号を持つ矩形領域符号データを抽出する復号対象矩形領域符号データ抽出機能、
    前記抽出された矩形領域符号データを復号する矩形領域映像復号機能
    を実行させることを特徴とするプログラム。

Images