JP6909223B2 - 空間スケーラブル・ビデオ・コーディング - Google Patents

Description

本発明は、空間スケーラブル・ビデオ・コーディングに関し、特に、空間スケーラブル・ビデオ・コーディング方法およびシステム、空間的にスケーラブルなエンコード・ビデオをデコードするように構成されたデコーダ・デバイス、ならびにビデオを空間スケーラブル・ビデオ・データにエンコードするエンコーダ・デバイス、更にはこのような方法を実行するためのコンピュータ・プログラム製品に関するが、これらに限定されるのではない。

従来技術

現在、非常に効率的なビデオ・コーディング（ＨＥＶＣまたはＩＴＵ−Ｔ Ｈ．２６５）として知られているビデオ・コーディング規格が開発されており、Ｈ．２６５／ＡＶＣ（ＭＰＥＧ−４、第１０部、高度ビデオ・コーディング）のような他のコーディング規格と比較すると、はるかに高い圧縮効率を提供することができる。加えて、ＨＥＶＣ（ＳＨＶＣ）のスケーラブルな拡張版は、積層ＨＥＶＣ−ベースのビデオ・コーディング方式に対応する(provide)。これは、ベース・レイヤおよびエンハンスメント・レイヤに基づくスケーラブル・ビデオ・コーディング規格ＳＶＣに相当する。このような方式では、デコーダはベース・レイヤをデコードし、出力フレームを生成し、このフレームをエンハンスメント・レイヤの解像度にアップスケールし(upscale)、エンハンスメント・レイヤの更なるデコーディングのために使用できるようにする。このようにアップスケールされたベース・レイヤのフレームは、第２ループにおいてエンハンスメント・レイヤ・フレームのデコーディングにおいて基準フレームとして使用され、その結果高解像度のフレームが再現される。エンハンスメント・レイヤのデコーディング依存性のために、デコーディング方式に遅延が生じ(introduced)、この遅延はエンハンスメント・レイヤの量と共に増減する(scale)。

ＵＳ２０１５／０１０３８８６は、ＳＨＶＣに基づくビデオ・コーディング・システムの例について記載する。この設計は、ベース・レイヤとエンハンスメント・レイヤとの間におけるデコーディング依存性のために、複数のデコーディング・ループ（１つよりも多いエンハンスメント・レイヤがあるときは２つ以上）を順次処理しなければならないという意味で、同じ欠点を有する。その結果、２つの異なるプロセスにおいてベース・レイヤおよびエンハンスメント・レイヤをデコードすることによって並列化が実現されても、双方のプロセスは、少なくとも１フレームの遅延、またコーディング階層によっては複数のフレームの遅延を伴って動作する。この結果、ユーザが高い方の解像度に切り替えたいとき、またはブロードキャスト・ストリームに同調させるとき、デコーダは最初にベース・レイヤをデコードし次いでエンハンスメント・レイヤをデコードする必要があるために、遅延が生ずる。

加えて、ＳＨＶＣでは、元の高解像度ビデオ信号の異なる解像度バージョンが、高解像度ビデオ信号を異なる低解像度バージョンにダウンサンプリングするためのダウンサンプリング・ステップのシーケンスに基づいて生成される。同様に、元の高解像度ビデオ信号を再現するとき、ある回数の順次アップサンプリング・ステップが必要となり、この回数は、ベース・レイヤに追加する必要があるエンハンスメント・レイヤの数と共に増減する。各アップサンプリング・ステップの後、バッファ占有率が高くなる。したがって、レイヤ毎に、異なるバッファ・サイズを定める必要があり、更にレイヤ間の依存性のために、解像度のアップサンプリングまたはダウンサンプリングが必要となる。

更に一般的には、ＳＨＶＣのようなマルチループ・ビデオ・コーディング設計は、高い実現複雑度および高いメモリ消費を招く。何故なら、デコーダはデコードしたフレームをメモリに格納する必要があるからである（エンハンスメント・レイヤから従属フレームをデコードするためにこれらが必要とされる限りにおいて）。業界承認のためにハードウェアの実施を速く進展させることが要求される場合には、複雑さがＳＨＶＣのようなコデック設計の魅力を削ぐことになる。

したがって、以上のことから、当技術分野においては、エンコーディングおよびデコーディング側双方において複雑さおよび／または遅延を低減する、改良された空間スケーラブル・コーディング方式が求められている。具体的には、当技術分野においては、高いレベルのデコーダ動作の並列化を可能にする、改良された空間スケーラブル・コーディング方式が求められている。

当業者には認められようが、本発明の態様は、システム、方法、またはコンピュータ・プログラム製品として具体化することができる。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態という形態をなすことができ、これらは全て本明細書では一般に「回路」、「モジュール」、または「システム」と呼ぶこともできる。本開示において説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実現することができる。更に、本発明の態様は、コンピュータ読み取り可能プログラム・コードが具体化されている、例えば、格納されている１つ以上のコンピュータ読み取り可能媒体（１つまたは複数）に組み込まれたコンピュータ・プログラム製品の形態をなすこともできる。

１つ以上のコンピュータ読み取り可能媒体（１つまたは複数）の任意の組み合わせも利用することができる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体またはコンピュータ読み取り可能記憶媒体であってもよい。コンピュータ読み取り可能記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、または半導体システム、装置、あるいはデバイス、更には以上のもののあらゆる適した組み合わせであってもよいが、これらに限定されるのではない。コンピュータ読み取り可能記憶媒体の更に具体的な例（非網羅的な羅列）を挙げるとすれば、以下を含むであろう。１本以上のワイヤを有する電気接続、可搬型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、可搬型コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、あるいは以上のもののあらゆる適した組み合わせ。本文書のコンテキストでは、コンピュータ読み取り可能記憶媒体は、命令実行システム、装置、またはデバイスによる使用のため、またはそれと関連した使用のためのプログラムを収容または格納することができる、任意の有形媒体とすればよい。

コンピュータ読み取り可能信号媒体は、例えば、ベースバンドにまたは搬送波の一部としてコンピュータ読み取り可能プログラム・コードが内部に組み込まれた伝搬データ信号を含むことができる。このような伝搬信号は、電磁、光、またはこれらのあらゆる適した組み合わせを含むがこれらに限定されない種々の形態の内任意の形態をなすことができる。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体ではなく、命令実行システム、装置、またはデバイスによる使用、またはそれと関連した使用のためにプログラムを伝達、伝搬、または移送することができる任意のコンピュータ読み取り可能媒体とすることができる。

コンピュータ読み取り可能媒体上に組み込まれたプログラム・コードは、任意の適した媒体を使用して送信することができる。任意の適した媒体には、ワイヤレス、ワイヤライン、光ファイバ、ケーブル、ＲＦ等、または以上のもののあらゆる適した組み合わせを含むが、これらに限定されるのではない。本発明の態様のために動作を実行するコンピュータ・プログラム・コードは、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラミング言語には、Ｊａｖａ（商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続き型プログラミング言語が含まれる。プログラム・コードは、完全にユーザのコンピュータにおいて、部分的にユーザのコンピュータにおいて、単独のソフトウェア・パッケージとして、部分的にユーザのコンピュータにおいてそして部分的にリモート・コンピュータにおいて、あるいは完全にリモート・コンピュータまたはサーバにおいて実行することができる。後者のシナリオでは、リモート・コンピュータをユーザのコンピュータに任意のタイプのネットワークを通じて接続することができる。ネットワークには、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）が含まれ、または接続が外部コンピュータに対して行われてもよい（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）。

本発明の態様について、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図および／またはブロック図を参照して以下に説明する。尚、フローチャート図および／またはブロック図の各ブロック、そしてフローチャート図および／またはブロック図におけるブロックの組み合わせをコンピュータ・プログラム命令によって実現できることは理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブル・データ処理装置のプロセッサ、具体的には、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）に供給され、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスのプロセッサによって命令が実行されて、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクトを実現する手段を形成する(create)ように、機械を生成することができる。

これらのコンピュータ・プログラム命令は、コンピュータ読み取り可能媒体に格納することもでき、コンピュータ読み取り可能媒体に格納された命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクトを実現する命令を含む製品を生成するように、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスに特定のやり方で機能するように指令することができる。

また、コンピュータ・プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラマブル装置、またはデバイス上で実行させ、コンピュータまたは他のプログラマブル装置上で実行する命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクトを実現するためのプロセスを設けるように、コンピュータ実装プロセスを生成することもできる。

図におけるフローチャートおよびブロック図は、本発明の種々の実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を例示する。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能（１つまたは複数）を実現するための１つ以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部を表すことができる。また、ある代替実施態様では、ブロック内に記された機能が、図に記された順序以外で行われてもよいことも注記してしかるべきである。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよく、またはこれらのブロックが、関与する機能に応じて、逆の順序で実行されてもよいときもある。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、指定された機能またはアクトを実行する特殊目的ハードウェア・ベース・システム、あるいは特殊目的ハードウェアおよびコンピュータ命令の組み合わせによっても実現できることも注記しておく。

本開示における実施形態は、同じまたは実質的に同じ場面の複数の低解像度（ＬＲ）ビデオ・ストリームのビデオ・フレームを使用した、ＨＲビデオ信号の高解像度（ＨＲ）ビデオ・フレームの形成に関する。本開示では、ビデオ信号の（低）解像度ディスクリプション(resolution description)は、高解像度ソース・ビデオ信号の（低）解像度バージョンを指す。解像度コンポーネント(resolution component)とは、他の解像度コンポーネントと再結合されて元のソース・ビデオ信号を形成することができるような方法で生成された解像度ディスクリプションを指す。

更に、本開示では、「高解像度」および「低解像度」という用語は、異なるビデオ信号間における空間解像度の差を区別するために使用される。例えば、高解像度ビデオ信号は４Ｋまたは８Ｋ ＵＨＤビデオ・フォーマットを有することができるが、その低解像度ディスクリプションは、ＨＤビデオ・フォーマット、または高解像度ビデオ信号のビデオ・フォーマットよりも低い空間解像度を有する任意の他のビデオ・フォーマットを有する場合もある。同様に、高解像度ビデオ信号はＨＤビデオ・フォーマットを有することができるが、その低解像度ディスクリプションは、ＳＤビデオ・フォーマット、または高解像度ビデオ信号のビデオ・フォーマットよりも低い空間解像度を有する任意の他のビデオ・フォーマットを有する場合もある。

ＬＲビデオ・ディスクリプションは、１つ以上のトランスポート・ストリームにおいて、クライアント・デバイスに送信することができる。クライアント・デバイスは、１つ以上のトランスポート・ストリームにおけるメディア・データに基づいてビットストリームを形成するように構成される。ビットストリームは、デコーディング・デバイス(decoding device)の入力に供給することができ、デコーディング・デバイスは、１つの解像度コンポーネントのメディア・データをビットストリームから抽出し、このメディア・データをデコードしてＬＲビデオ・ストリームのビデオ・フレームを得ることができる。あるいは、デコーディング・デバイスは、２つ以上の解像度コンポーネントのメディア・データをビットストリームから抽出し、解像度コンポーネントの各々のメディア・データをデコードしてビデオ・フレームを得て、２つ以上の解像度コンポーネントのビデオ・フレームを高解像度ビデオ・フレームに組み合わせることができる。

高解像度ビデオ信号および関連する低解像度ビデオ信号は、異なる方法で決定する(determined)ことができる。例えば、ＨＲビデオ・フレームの空間サブサンプリング(subsampling)によって、空間的にシフトされた低解像度バージョンを生成し、異なるＬＲディスクリプションを形成するために使用することもできる。あるいは、異なる低解像度バージョンを生成するために、ＨＲビデオ・フレームを異なる方法でサブサンプリングすることもできる。

あるいは、複数の低解像度撮像デバイス、例えば、カメラ等によって同じ場面をキャプチャすることによって、複数の低解像度ディスクリプションを生成してもよく、異なる低解像度撮像デバイスは、位置および／または光学パラメータに関して異なるカメラ設定値を有する。その場合、ＨＲビデオ・フレームのＬＲディスクリプションは、少しずつずれたカメラ位置を通した同じ場面の複数の観察と見なすことができる。あるいは、同じソース・ビデオを複数回エンコードすることによって、低解像度ディスクリプションを生成してもよく、このソース・ビデオをダウンスケールし、エンコーディング・インスタンスの各々に対して異なる品質設定値でエンコードする。

以下で更に詳しく説明するが、本開示におけるコーディング方式は、低い実施コストでコーディング・システム内に空間スケーラビリティを備える。当業者は認めることができるであろうが、この簡素さは、各ＬＲディスクリプションのデコーディングが、結局のところ、通常の(regular)非スケーラブル・ビデオ・デコーディング動作(non-scalable video decoding operation)になるという事実から生じる。このように、ビットストリームがＬＲディスクリプションを搬送するのと同じ回数だけ、既存のハードウェア実施態様(implementation)を複製する、または少なくとも再利用することによって、本開示において提示する方式のハードウェア実施態様を精巧化する(elaborate)ことができる。本開示におけるコーディング方式は、既知のコーディング規格、例えば、ＡＶＣまたはＨＥＶＣコーディング・プロセスに前処理または後処理ステップとして実装することができるので、本発明を実施可能にするためには、適用される前処理ステップを記述するシグナリングだけをこれらの規格に追加すればよい。このように、これらの規格の基礎的設計、およびこれらの規格によって提供される(provided)全ての既存のツールを、本発明と組み合わせて、継ぎ目なく使用することができる。加えて、本開示におけるコーディング方式は、いずれの既知のまたは今後のコーディング規格を除いて、前処理および後処理ステップとして実装することができ、この場合、特定のビットストリームを認識するデコーダまたはアプリケーションだけが、意図するビデオ信号を適正にレンダリングすることができる。

１つの態様では、本発明は、デコーダ・デバイスによってビデオ信号を形成する方法に関するものもある。この方法は、ビットストリームおよびデコーダ情報を受信するステップを含むことができる。デコーダ情報は、ビットストリームにおける、ビデオ信号を形成するための１つ以上の解像度コンポーネントの存在をデコーダ・デバイスに通知する。解像度コンポーネントは、第１解像度を有する第１ビデオ信号の空間サブサンプリングされたバージョンを表す。１つ以上の解像度コンポーネントは、複数の解像度コンポーネントを含むグループの一部であり、これに基づいて、第１ビデオ信号が再現可能である。デコーダ・デバイスは、ビットストリームを解析し、デコーダ情報に基づいて、１つ以上の解像度コンポーネントをデコードしてビデオ・フレームを得る。デコーダ情報は、ビットストリームにおける１つ以上の解像度コンポーネントの存在をデコーダ・デバイスに通知することができる。１つ以上の解像度コンポーネントは、複数の解像度コンポーネントを含む解像度コンポーネント・グループの一部であってもよく、これらに基づいて、第１ビデオ信号が再現可能である。

デコーダ情報は、ビットストリームが前述のグループの内１つの解像度コンポーネントだけを含むことを通知することもできる。その場合、デコーダ・デバイスは、第１解像度コンポーネントを表すビットストリームの解析した部分をデコードすることによって、第２解像度の第２ビデオ信号を形成することができる。第２ビデオ信号は、第１ビデオ信号の低解像度バージョンのビデオ・フレームを含む。

また、デコーダ情報は、ビットストリームが前述のグループの内２つ以上の解像度コンポーネントを含むことも通知することができる。その場合、デコーダ・デバイスは、２つ以上の解像度コンポーネントを表すビットストリームの解析した部分をデコードすることによって、ビデオ・フレームを形成することができる。デコーダ情報が前述のグループの全ての解像度コンポーネントを通知する場合、ビデオ・フレームに基づいて第１ビデオ信号を形成することができる。デコーダ情報は、前述のグループの全部の解像度コンポーネントではなく、一部の解像度コンポーネントを通知する場合、ビデオ・フレームに基づいて第３ビデオ信号を形成することができる。第３ビデオ信号は、第１ビデオ信号の低解像度バージョンであり、第３解像度は第２解像度よりも高く、第１解像度よりも低い。

他の態様では、本発明は、デコーダ・デバイスによってビデオ信号を形成する方法に関するものもある。この方法は、ビットストリームおよびデコーダ情報を受信するステップであって、前記ビットストリームが、好ましくは、デコーダ情報と解像度コンポーネントとを含み、デコーダ情報が、ビットストリーム内における、ビデオ信号を形成するための１つ以上の解像度コンポーネントの存在をデコーダ・デバイスに通知し、解像度コンポーネントが、第１解像度を有する第１ビデオ信号の空間的にサブサンプリングされたバージョン、好ましくはポリフェーズ・サブサンプリング・バージョンを表し、１つ以上の解像度コンポーネントが解像度コンポーネント・グループの一部であり、このグループが、複数の解像度コンポーネントを含み、これらに基づいて第１ビデオ信号が再現可能である。デコーダ・デバイスは、ビットストリームを解析し、ビデオ信号を形成する。前記形成するステップは、デコーダ情報に基づいて、１つ以上の解像度コンポーネントをデコードしてビデオ・フレームを得るステップを含む。デコーダ情報が、ビットストリームがグループの内１つの第１解像度コンポーネントのみを含むことを通知する場合、前記形成するステップは、第１解像度コンポーネントを表すビットストリームの内解析した部分をデコードして、第２解像度の第２ビデオ信号を表すビデオ・フレームを得るステップであって、第２解像度が第１解像度よりも低い、ステップを含む。デコーダ情報が、ビットストリームが第１解像度コンポーネントと、グループの１つ以上の他の解像度コンポーネントを含むことを通知する場合、前記形成するステップが、第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントを表すビットストリームの内解析した部分をデコードして、ビデオ・フレームを得るステップと、デコーダ情報が、グループの全ての解像度コンポーネントを通知する場合、ビデオ・フレームに基づいて第１ビデオ信号を再現するステップ、またそうでない場合、ビデオ・フレームに基づいて第３解像度を有する第３ビデオ信号を構成するステップであって、第３解像度が第２解像度よりも高く、第１解像度よりも低い、ステップとを含む。

本発明は、高解像度ビデオ信号の異なる空間サブサンプリングされたバージョンを表す低解像度解像度コンポーネント(low-resolution resolution component)（省略して、解像度コンポーネント）を使用する。これらの解像度コンポーネントは、解像度コンポーネントのグループの一部であってもよい。解像度コンポーネントは、グループにおける全ての解像度コンポーネントに基づいて、高解像度のビデオ信号を再現できるように生成される。

ここで、空間サブサインプリングはサンプリング格子に基づく。例えば、高解像度ビデオ・フレームは、高解像度サンプリング格子を使用することによって形成することができ、サンプリング格子における各サンプリング点が、高解像度ビデオ・フレームにおける画素を形成する。異なる低解像度サンプリング格子を使用することによって、高解像度ビデオ信号の高解像度フレームに基づいて、異なる種類の低解像度ビデオ・フレームを形成することができる。低解像度サンプリング格子は、高解像度ビデオ・フレームのサンプリング格子よりも低いサンプリング密度を有する。

ＳＶＣおよびＳＨＶＣから公知のダウンサンプリング動作とは対照的に、ダウンサンプリングされたビデオ信号のビデオ・フレームの新たな画素値は、元の高解像度ビデオ信号のビデオ・フレームにおける複数組の画素値に基づいて計算される。空間サブサンプリング動作は、画素値を変化させない。空間サブサンプリングは、画像フレームを形成する１組の画素値から、画素値の部分集合を選択するだけである。空間サブサンプリング方式は、元のビデオ信号、またはその低解像度バージョンの非常に効率的な再現を可能にする。加えて、解像度コンポーネントの空間的にサブサンプリングされたビデオ・フレームは、高解像度ビデオ・フレームを組み立てるために、超解像技術の使用を可能にする。

解像度コンポーネントのグループにおける少なくとも１つの解像度コンポーネントは、高解像度ビデオ信号の低解像度バージョンを形成するために使用することができる。更に、解像度コンポーネントのグループから選択された全ておよび／または異なる部分集合の解像度コンポーネントも、高解像度ビデオ信号の異なる解像度バージョンの異なるビデオ信号を形成するために使用することもできる。ここで、全ての解像度コンポーネントに基づいて形成されたビデオ信号の解像度は、元の高解像度ビデオ信号の解像度に等しいかまたはほぼその解像度であってもよく、解像度コンポーネントの部分集合に基づいて形成されるビデオ信号の解像度は、低解像度バージョンよりは高く、高解像度ビデオ信号よりは低い。

デコーディング・プロセスにおいて解像度コンポーネントを使用することにより、ビットストリームにおいてデコーダに供給される１つの解像度コンポーネントまたは解像度コンポーネントの異なる組み合わせ、例えば、解像度コンポーネント１、解像度コンポーネント１＋２、解像度コンポーネント１＋２＋６、解像度コンポーネント１＋２＋,．．．,＋Ｎ等に基づいて、異なる空間解像度の異なるビデオ信号を再現および表示することができる。ビットストリームにおけるデコーダ情報は、解像度コンポーネントのグループの内、どの解像度コンポーネントがビットストリーム内に存在するか、そして解像度コンポーネントに基づいてどのビデオ信号を形成すべきかについて、デコーダに通知する。

解像度コンポーネントの使用により、個々の解像度コンポーネント、即ち、高解像度ビデオ信号の異なる空間サブサンプリング・バージョンを、ＡＶＣ、ＨＥＶＣ、ＶＰ１０等を含む周知のビデオ・コデック規格、およびその派生物に基づく規格に基づいてエンコードおよびデコードすることができるように、前処理／後処理手法において実現することができる空間スケーラビリティを有するコーディング・システムを提供する。

実施形態では、４つの空間的にずれた解像度コンポーネントを生成するために、ポリフェーズ・サブサンプリング方式を使用することができる。ポリフェーズ・サブサンプリングは、エンコーダおよびデコーダ側において、非常に速い処理を可能にする。実施形態では、高解像度ビデオ信号のポリフェーズ・サブサンプリング・フィルタリングされた(polyphase subsampling filtered)ビデオ・フレーム、好ましくは、ロー・パス・フィルタリングされたビデオ・フレームに基づいて、解像度コンポーネントの少なくとも１つを形成することができる。フィルタリングは、ポリフェーズ・サブサンプリング・プロセスによって混入されるおそれがあるアーチファクトを低減するために使用することができる。

実施形態では、１つ以上の他の解像度コンポーネントは、（少なくとも）第１解像度コンポーネントに対するデコーディング依存性、好ましくは、空間デコーディング依存性を有することができる。（少なくとも）第１解像度コンポーネントのビデオ・フレームと、もう１つの解像度コンポーネントの残余ビデオ・フレームに基づいて、もう１つの解像度コンポーネントのビデオ・フレームを形成することができる。残余ビデオ・フレームは、第１解像度コンポーネントのビデオ・フレームともう１つの解像度コンポーネントのビデオ・フレームとの差に基づいて形成される。この実施形態では、もう１つの解像度コンポーネントは、圧縮効率を高めるために、第１解像度コンポーネントおよび／または１つ以上の他の(other further)解像度コンポーネントに対するデコーディング依存性を有することができる。

実施形態では、他の複数の解像度コンポーネント(the further resolution components)またはその実質的な部分が、第１解像度コンポーネントのみに依存するように構成することができる。このように、複数の他の解像度コンポーネントを並列してデコードすることができるという意味で、並列処理に適した低遅延デコーディング方式を提供する。対照的に、ＳＨＶＣのようなスケーラブル・ビデオ・コーディング方式では、レイヤは多重依存性を有し（例えば、レイヤＮはレイヤＮ−１に依存し、一方レイヤＮ−１はレイヤＮ−２に依存する等）、レイヤの数と共に増減する遅延を招く。このような方式は、デコーディング・プロセスの並列化を妨げる。

更に、本発明によるコーディング方式では、各解像度コンポーネントは、高解像度ビデオ信号の空間サブサンプリングによって生成することができる。このため、各解像度コンポーネントは同じ解像度を有する。したがって、デコーディングおよびエンコーディングの間、ＳＨＶＣにおいてエンハンスメント・レイヤを処理するときに必要とされるダウンサンプリング動作またはアップサンプリング動作を必要とすることなく、同じビデオ信号の異なる解像度コンポーネントを処理することができる。このようにして、データ処理の複雑さを緩和することができる。

実施形態では、少なくとも２つ以上の解像度コンポーネントが同じ空間解像度を有することができ、この空間解像度は、第１ビデオ信号の第１空間解像度よりも低い。少なくともある数の空間コンポーネントの解像度を同じに保持することにより、これらの解像度コンポーネントの各々に対するバッファ設定を同一にすることができる。このように、ＳＨＶＣにおいて必要とされるような、解像度レイヤ毎の異なるバッファ占有度(occupancy)の必要性は解消される。

一実施形態では、ビットストリームにおける第１解像度コンポーネントのエンコード・メディア・データ(encoded media data)は、独立してデコード可能である。他の実施形態では、ビットストリームにおける１つ以上の複数の他の解像度コンポーネントのエンコード・メディア・データは、第１解像度コンポーネントに対するコーディング依存性だけを有する。

実施形態では、デコーダ情報は、第１ビデオ信号、第２ビデオ信号、および／または第３ビデオ信号の解像度を示す少なくとも１つのパラメータ、ビットストリームにおける１つ以上の解像度コンポーネントを識別する１つ以上の解像度コンポーネント識別子、解像度コンポーネントのグループにおいて第１信号を形成するための解像度コンポーネント、および／または解像度コンポーネントのグループにおいて第２および／または第３ビデオ信号を形成するための解像度コンポーネントを識別する情報、各解像度コンポーネントの空間解像度についての情報、第１およびその他の解像度コンポーネントに基づいて第１または第３ビデオ信号を形成するための超解像動作を示すパラメータ、必要に応じて、示された超解像度動作に必要な情報の内少なくとも１つを含むことができる。

実施形態では、ビットストリームは、ＮＡＬユニットを含み、好ましくは、デコーダ情報は、１つ以上の非ＶＣＬ ＮＡＬユニットに含まれる、および／または１つ以上の解像度コンポーネントは１つ以上のＶＣＬ ＮＡＬユニットに含まれる。

実施形態では、ＮＡＬユニットは、解像度コンポーネント・フォーマットを示すパラメータ（resolution_component_format_idc）を含む、非ＶＣＬ ＮＡＬユニット、好ましくは、ＳＰＳ ＮＡＬユニット、第１ビデオ信号のビデオ・フレームの解像度を示す１つ以上のパラメータ（pic_width_in_luma_samplesおよびpic_height_in_luma_samples）を含む非ＶＣＬ ＮＡＬユニット、好ましくは、ＶＰＳ ＮＡＬユニット、１つ以上の解像度コンポーネントを生成するために使用される空間サブサンプリング技術を示すパラメータ、またはポリフェーズ・サブサンプリング技術に基づいて決定される１つ以上の解像度コンポーネントを示すフラグを含む、非ＶＣＬ ＮＡＬユニット、好ましくは、ＶＰＳ ＮＡＬユニット、ＶＣＬ ＮＡＬユニット、好ましくは、スライス・セグメントであって、解像度コンポーネントを識別するための解像度コンポーネント識別子を含むヘッダを含む、ＶＣＬ ＮＡＬユニットの内少なくとも１つを含むことができる。

実施形態では、 解像度コンポーネントのグループにおける１つ以上の解像度コンポーネントは、第１ビデオ信号のポリフェーズ・サブサンプリング・バージョンであり、第１ビデオ信号または第３ビデオ信号を形成するステップが、ビデオ・フレームを第１または第３ビデオ信号のビデオ・フレームの解像度フォーマットにアップサンプリングするステップと、アップサンプリングしたビデオ・フレームをゼロ・パディングするステップと、アップサンプリングしてゼロ・パディングしたビデオ・フレームを、第１ビデオ信号または第３ビデオ信号のビデオ・フレームにおけるその位置にしたがってずらすステップと、アップサンプリングしゼロ・パディングしたビデオ・フレームを第１または第２ビデオ信号のビデオ・フレームに追加するステップとを含む。

実施形態では、ビットストリームはＨＥＶＣビットストリームであり、このビットストリームは、解像度コンポーネントのビデオ・フレームが時間的に多重化されていることをＨＥＶＣデコーダに通知するためのデコーダ情報を含む。実施形態では、解像度コンポーネントのビデオ・フレームは、インターリーブ順に配列することができる。

実施形態では、ビットストリームは、ＨＥＶＣビットストリームであり、デコーダ情報が、デコードされたビデオ・フレームが解像度コンポーネントのタイル配列を含むことをＨＥＶＣデコーダに通知する。

実施形態では、前記解像度コンポーネントのビデオ・フレームの時間多重化順、または前記解像度コンポーネント方式のタイル配列を、１つ以上のＮＡＬユニットにおいて、前記ＨＥＶＣデコーダに通知することができ、好ましくは、前記１つ以上のＮＡＬユニットは、１つ以上のＳＥＩメッセージである。

実施形態では、前記第１または第２ビデオ信号を再現するステップは、第１または第２ビデオ信号のビデオ・フレームを生成するために、超解像ビデオ画像再現技術を使用するステップを含む。この実施形態では、解像度コンポーネントを生成するために使用される空間サブサンプリングについての情報がないまたはほとんどない場合（例えば、異なる解像度コンポーネント間の空間変位がわかっておらず、推定する必要がある）、コンバイナは、高解像度ビデオ・フレームを生成するために、周知の超解像技術を採用することができる。超解像技術は、同じ場面の複数の解像度コンポーネントのビデオ・フレームに基づいて、高解像度ビデオ信号を決定するために使用することができる技法である。具体的には、複数の解像度コンポーネントの画像が互いに対して空間的にシフトされている場合（例えば、１画素未満の距離だけ）、ＬＲ画像における情報を使用して高解像度画像を再現することができる。

更に他の態様では、本発明は、エンコーダ・デバイスによってビットストリームを形成する方法に関するものもある。この方法は、
第１解像度の第１ビデオ信号のビデオ・フレームを空間サブサンプリング、好ましくは、ポリフェーズ・サブサンプリングすることによって解像度コンポーネントのグループを形成するステップであって、解像度コンポーネントのグループのビデオ・フレームに基づいて、第１ビデオ信号が再現可能であり、少なくとも２つ以上の解像度コンポーネントが同じ空間解像度を有する、ステップと、
解像度コンポーネントのグループから１つ以上の解像度コンポーネントを選択し、エンコーダ・デバイスが、１つ以上の選択された解像度コンポーネントに基づいて、ビットストリームおよびデコーダ情報を形成するステップであって、好ましくは、ビットストリームがデコーダ情報を含む、ステップと、
を含み、
第１解像度コンポーネントのみが選択された場合、ビットストリームおよびデコーダ情報を形成する前記ステップが、
前記エンコーダ・デバイスが、解像度コンポーネントのグループの内第１解像度コンポーネントをエンコードするステップであって、第１解像度コンポーネントが第２解像度を有する、ステップと、
デコーダが１つの解像度コンポーネントをデコードして、第２解像度の第２ビデオ信号を得るための情報を生成するステップであって、第２解像度が第１解像度よりも低い、ステップと、
を含み、または、
第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントが選択された場合、ビットストリームおよびデコーダ情報を形成する前記ステップが、
前記エンコーダ・デバイスが、解像度コンポーネントのグループの内第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントをエンコードして、第１ビットストリーム部分および１つ以上の他のビットストリーム部分をそれぞれ得るステップと、
第１ビットストリーム部分および１つ以上の他のビットストリーム部分を組み合わせるステップと、
デコーダ情報が、ビットストリームがグループの全ての解像度コンポーネントを含むことをデコーダ・デバイスに通知する場合、デコーダが１つの解像度コンポーネントおよび１つ以上の他の解像度コンポーネントをデコードして、第１ビデオ信号を再現するためのビデオを得るために、情報を生成するステップ、またそうでない場合は、第３解像度の第３ビデオ信号を構成するための情報を生成するステップであって、第３解像度が第２解像度よりも高く、第１解像度よりも低く、好ましくは、デコーダ情報をビットストリームに挿入する、ステップとを含む。

実施形態では、解像度コンポーネントのグループの内１つ以上の他の解像度コンポーネントをエンコードするステップが、第１ビットストリームに基づいて、第１ビデオ・フレームを決定するステップと、第１ビデオ・フレームおよび１つ以上の他の解像度コンポーネントのビデオ・フレームに基づいて１つ以上の他の残余ビデオ・フレームを決定するステップと、１つ以上の残余ビデオ・フレームをエンコードして１つ以上の他のビットストリームを得るステップとを含み、デコーダ情報が、第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントを通知する場合、デコーダ情報は、第１ビデオ信号および第３ビデオ信号のビデオ・フレームが、第１解像度コンポーネントのビデオ・フレームおよび１つ以上の他の解像度コンポーネントの１つ以上の他の残余ビデオ・フレームに基づいて形成されることを、デコーダ・デバイスに通知する。

実施形態では、この方法は、更に、
第１ビットストリームおよび１つ以上の他のビットストリーム、ならびにデコーダ情報の少なくとも一部を、別々の解像度コンポーネント・トラックに格納するステップであって、好ましくは、解像度コンポーネントに関連するビットストリーム、およびデコーダ情報の少なくとも一部が、解像度コンポーネント・トラックにＮＡＬユニットとして格納される、ステップと、必要に応じて、解像度コンポーネント・トラックの少なくとも一部に関連するベース・トラックを設けるステップであって、ベース・トラックがエキストラクタのシーケンスを含み、各エキストラクタが解像度コンポーネント・トラックの１つにおけるエントリをポイントする、ステップとを含む。

他の態様では、本発明は、 デコーディング・デバイス(decoding device)に関するものもある。このデコーダ・デバイスは、プログラムの少なくとも一部を組み込んで有するコンピュータ読み取り可能記憶媒体と、コンピュータ読み取り可能プログラム・コードを組み込んで有するコンピュータ読み取り可能記憶媒体と、前記コンピュータ読み取り可能記憶媒体に結合されたプロセッサ、好ましくは、マイクロプロセッサとを含む。 前記コンピュータ読み取り可能プログラム・コードを実行したことに応答して、前記プロセッサが、
第１解像度の第１ビデオ信号のビデオ・フレームを空間サブサンプリング、好ましくはポリフェーズ・サブサンプリングすることによって解像度コンポーネントのグループを形成する動作であって、解像度コンポーネントのグループのビデオ・フレームに基づいて、第１ビデオ信号が再現可能であり、少なくとも２つ以上の解像度コンポーネントが同じ空間解像度を有する、動作と、
解像度コンポーネント・グループから１つ以上の解像度コンポーネントを選択し、エンコーダ・デバイスが１つ以上の選択された解像度コンポーネントに基づいてビットストリームおよびデコーダ情報を形成し、好ましくは、ビットストリームがデコーダ情報を含む、動作と、
を含む実行可能動作を実行するように構成され、
第１解像度コンポーネントだけが選択された場合、ビットストリームおよびデコーダ情報を形成する前記動作が、
前記エンコーダ・デバイスが解像度コンポーネントのグループの内第１解像度コンポーネントをデコードし、第１解像度コンポーネントが第２解像度を有し、デコーダが１つの解像度コンポーネントを第２解像度の第２ビデオ信号にデコードするための情報を生成する動作を含み、第２解像度が第１解像度よりも低く、または、
第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントが選択された場合、ビットストリームおよびデコーダ情報を形成する前記動作が、
前記エンコーダ・デバイスが、解像度コンポーネントのグループの内第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントをエンコードして第１ビットストリーム部分および１つ以上の他のビットストリーム部分をそれぞれ得る動作と、第１ビットストリーム部分および１つ以上の他のビットストリーム部分を組み合わせる動作と、デコーダ情報が、ビットストリームがグループの全ての解像度コンポーネントを含むことをデコーダ・デバイスに通知する場合、デコーダが１つの解像度コンポーネントおよび１つ以上の他の解像度コンポーネントをデコードして、第１ビデオ信号を再現するためのビデオを得るための情報を得る動作、またそうでない場合、第３解像度の第３ビデオ信号を構成するためのビデオを得る動作であって、第３解像度が第２解像度よりも高く、第１解像度よりも低く、好ましくは、デコーダ情報をビットストリームに挿入する動作と、
を含む。

１つの態様では、本発明は、エンコーディング・デバイス(encoding device)に関するものもある。このエンコーダ・デバイスは、プログラムの少なくとも一部を組み込んで有するコンピュータ読み取り可能記憶媒体と、コンピュータ読み取り可能プログラム・コードを組み込んで有するコンピュータ読み取り可能記憶媒体と、前記コンピュータ読み取り可能記憶媒体に結合されたプロセッサ、好ましくは、マイクロプロセッサと、
を含む。前記コンピュータ読み取り可能プログラム・コードを実行したことに応答して、プロセッサが、空間サブサンプリング、好ましくは、ポリフェーズ・サブサンプリングによって、第１解像度コンポーネントの第１ビデオ信号に基づいて、解像度コンポーネントのグループを形成する動作であって、解像度コンポーネントのグループに基づいて、第１ビデオ信号が再現可能である、動作と、解像度コンポーネントのグループの内第１解像度コンポーネントをエンコードしてビットストリームを得る動作であって、第１解像度コンポーネントが、第１ビデオ信号の低解像度バージョンを表す第２解像度を有する、動作と、出力ビットストリームが解像度コンポーネントのグループの内１つの解像度コンポーネントを含むことをデコーダに通知するためのデコーダ情報を決定し、第２解像度の第２ビデオのビデオ・フレームを形成する動作と、または、解像度コンポーネントのグループの内第１解像度コンポーネントをエンコードして第１ビットストリームを得て、解像度コンポーネントのグループの内１つ以上の他の解像度コンポーネントをエンコードして１つ以上の他のビットストリームを得る動作と、第１ビットストリームおよび１つ以上の他のビットストリームに基づいて出力ビットストリームを形成する動作と、出力ビットストリームが、第１解像度コンポーネントに関連付けられた第１ビットストリーム部分と、１つ以上の他の解像度コンポーネントに関連付けられた１つ以上の他のビットストリーム部分とを含むことをデコーダ・デバイスに通知するためのデコーダ情報を決定し、グループの全ての解像度コンポーネントが通知される場合、第１ビデオ信号のビデオ・フレームを形成し、更に第３解像度の第３ビデオ信号のビデオ・フレームを形成する動作であって、第３ビデオ信号が第１ビデオ信号の低解像度バージョンであり、第３解像度が第２解像度よりも高く第１解像度よりも低い、動作とを含む実行可能動作を実行するように構成される。

更に、本発明は、ソフトウェア・コード部分を含むコンピュータ・プログラム製品にも関するものもある。このコンピュータ・プログラム製品は、ソフトウェア・コード部分がコンピュータのメモリにおいて実行されると、以上で説明した方法ステップの内任意のものにしたがって方法ステップを実行するように構成される。

本発明について、添付図面を参照して更に例示する。添付図面は、本発明による実施形態を模式的に示す。尚、本発明はこれらの特定実施形態には決して限定されないことは理解されよう。

図１は、本発明の実施形態によるコーディング・システムの模式図を示す。 図２Ａは、本発明の実施形態によるエンコーディング・システムの模式図を示す。 図２Ｂは、本発明の実施形態によるエンコーディング・システムの模式図を示す。 図３は、本発明の実施形態によるコーディング・システムの模式図を示す。 図４は、ポリフェーズ・サブサンプリング(polyphase subsampling)の概念を示す。 図５は、本発明の実施形態によるコーディング・システムにおいて使用するためのポリフェーズ・サブサンプリング再結合プロセスの例を示す。 図６Ａは、本発明の種々の実施形態による、解像度コンポーネント方式(resolution component scheme)を含むデコーダ情報を含むＮＡＬユニットを示す。 図６Ｂは、本発明の種々の実施形態による、解像度コンポーネント方式を含むデコーダ情報を含むＮＡＬユニットを示す。 図６Ｃは、本発明の種々の実施形態による、解像度コンポーネント方式を含むデコーダ情報を含むＮＡＬユニットを示す。 図７は、本発明の実施形態にしたがって、解像度コンポーネントを含むＨＥＶＣビデオ信号を形成するプロセスを示す。 図８は、本発明の実施形態にしたがってデコーダ情報を通知するためのＳＥＩメッセージを示す。 図９は、本発明の実施形態にしたがって解像度コンポーネントを格納するためのファイル・フォーマットを模式的に示す。 図１０は、本発明の他の実施形態にしたがって、解像度コンポーネントを含むＨＥＶＣビデオ信号を形成するプロセスを示す。 図１１は、本発明の実施形態にしたがってデコーダ情報を通知するためのＳＥＩメッセージを示す。 図１２は、本発明の実施形態にしたがって解像度コンポーネントを格納するためのファイル・フォーマットを模式的に示す。 図１３Ａは、本発明の実施形態によるコーディング・システムにおいて使用するための生ビデオ・フォーマットを示す。 図１３Ｂは、本発明の実施形態によるコーディング・システムにおいて使用するための生ビデオ・フォーマットを示す。 図１４は、本開示において記載するように使用することができるデータ処理システムの一例を表すブロック図を示す。

図１は、本発明の実施形態によるコーディング・システムの模式図を示す。具体的には、図１は、エンコーディング・デバイス１１１および関連するエンコーディング・デバイス１１３を含むコーディング・システムを示す。エンコーディング・デバイスは、同じまたは実質的に同じ場面の複数のＬＲビデオ信号を受信するように構成されたネットワーク・エンコーダとして実装することができる。実施形態では、複数のＬＲビデオ信号（ＬＲディスクリプション）は、ＨＲビデオ信号１０２に基づいて生成することができる。例えば、実施形態では、ポリフェーズ・サブサンプリング技法のような、空間サブサンプリング技法１０４を使用して、ＨＲビデオ信号に基づいて複数のＬＲディスクリプション１０６を生成することもできる。次いで、ＬＲディスクリプションの各々を複数のエンコードＬＲディスクリプション(encoded LR description)にエンコードすることができる。

ＬＲディスクリプションは、所定のコーディング規格、例えば、ＡＶＣ、ＨＥＶＣ、ＶＰ９等に基づいてエンコードすることができる。更に、ＬＲディスクリプションの内少なくとも１つは、それが独立してデコードすることができるように、エンコードされ、つまり、他のＬＲビデオ信号の情報を必要とせずに、元のビデオの所定の品質、例えば、ＨＤ品質等のビデオ・フレームを供給する。実施形態では、空間コンポーネント間の冗長性を排除するために、１つ以上のコーディング依存性が１つ以上のエンコードＬＲディスクリプション間に存在してもよい。このようにして圧縮効率の向上を達成することができる。

その後、エンコードＨＲビデオ信号を、複数のＬＲディスクリプションに基づいて形成することができる。ＬＲディスクリプションを含むエンコード・ビデオ信号の形成中に、デコーダ情報をエンコード・ビデオ信号に追加することもできる。デコーダ情報は、ビデオ信号におけるＬＲディスクリプションについての情報、どのようにしてＬＲディスクリプションが得られたか、例えば、空間サブサンプリングの型式、ＬＲディスクリプションの数、ＬＲディスクリプションのフォーマット、例えば、解像度およびビットレート等を含むことができる。

コンバイナ１１０は、エンコードＬＲディスクリプションを組み合わせ、例えば、多重化し、異なるＬＲディスクリプションのエンコード・メディア・データを、格納および送信に適したデータ・フォーマット１１２にパケット化することができる。このように、ＬＲディスクリプションのエンコード・メディア・データは、適したフォーマット、例えば、ＭＰＥＧ型トランスポート・ストリームのビデオ・ストリーム１１４として、デコーダ・デバイス１１３を含む１つ以上のメディア処理デバイスに送信することができる。

メディア・デバイスは、ビデオ・ストリームを受信し、エンコード・メディア・データをビデオ・ストリームから抽出し、ビットストリームとしてデコーダの入力に提示されるＬＲリプレゼンテーションのエンコード・コンテンツを表すビットストリームを形成するクライアント・デバイスを含むことができる。ビットストリーム・パーサは、エンコードＬＲディスクリプションのビットストリームを抽出することができる。各ＬＲディスクリプション・ビットストリームは、その後、ＬＲビデオ・フレーム１１６にデコードされる。高解像度ビデオ・フレームは、異なるＬＲディスクリプションのビデオ・フレーム、即ち、同じまたは少なくとも実質的に同じ時間インスタンスの異なるＬＲディスクリプションのビデオ・フレームを組み合わせることによって形成することができる。コンバイナは、複数のＬＲビデオ・フレームに基づいて１つのＨＲビデオ・フレームを正しく形成するために、受信したビデオ・ストリームにおけるデコーダ情報を使用することができる。コンバイナは、空間サブサンプリング技法の逆であるプロセスを含むことができる。

空間サブサンプリングについて、ＬＲディスクリプションを生成するために使用される情報がないまたは殆どない場合（例えば、異なるＬＲディスクリプション間における空間変位がわからない、または推定する必要がある）、コンバイナは、高解像度ビデオ・フレームを生成するために、周知の超解像技術(super-resolution technique)を採用することもできる。超解像技術とは、同じ場面の複数のＬＲ画像に基づいてＨＲ画像を決定するために使用することができる技術である。具体的には、複数の低解像度画像が空間的に互いにずれている場合（例えば、１画素未満の距離だけ）、ＬＲ画像内の情報を使用してＨＲ画像を再現することができる。

超解像技術の例が、Sung Cheol Park et. al.,による"Super-Resolution image reconstruction: a technical overview"（超解像度画像再現：技術的全体像）(IEEE signal processing magazine, May 2003, pp. 21-36)という文献に記載されている。この文献をここで引用したことにより、その内容が本願にも含まれるものとする。この文献に記載されている超解像度画像再現アルゴリズムの内、ＨＲビデオ・フレームを再現するために使用することができる例は、非均一内挿補間、周波数ドメインにおける再現、一定の超解像度再現、凸集合再現上への投射(projection onto convex sets reconstruction)、ＭＬ−ＰＯＣＳ混成再現、反復後方投射再現、適応フィルタリング再現、および静止超解像再現(motionless super-resolution reconstruction)を含む。リアル・タイムの用途には、適応フィルタリング超解像再現技術、または内挿補間超解像再現技術が、好ましい超解像技術である。

図２Ａおよび図２Ｂは、本発明の種々の実施形態によるコーディング・システムの一部の模式図を示す。具体的には、図２Ａは、本発明の実施形態にしたがってエンコーディング・デバイスによって実行されるエンコーディング・プロセスの全体像を示す。これらのステップは、複数の低解像度コンポーネントの生成を含むことができる（ステップ２０６１〜ｎ）。これらの低解像度コンポーネントを今後単に解像度コンポーネントと呼ぶことにする。

実施形態では、異なる解像度コンポーネント（のビデオ・フレーム）の形成は、高解像度ビデオ信号のビデオ・フレームの空間サブサンプリングを伴うのでもよい。実施形態では、解像度コンポーネントの１つにロー・パス・フィルタをかけるのでもよい。このロー・パス・フィルタをかけた解像度コンポーネントのビデオ・フレームは、ビットストリームの低解像度デコーディングしか実行されないときには、デコーディング・プロセスの出力として意図されてもよい。入力信号が高周波数を含むときには、ロー・パス・フィルタリングが必要となる場合がある。その場合、表示に適した少なくとも１つの解像度コンポーネントを生成するために、アンチ・エリアシング・フィルタを適用してもよい。このようなフィルタは、ロー・パス・フィルタと共に実装することもできる。

高解像度ビデオの再現に必要とされる異なる解像度コンポーネントについての情報は、エンコーダによって収集され、ビットストリームが構築されるときに、デコーダ情報２０５としてビットストリーム内に挿入される。デコーダ情報は、ビットストリーム内の解像度コンポーネントに基づいて１つ以上の高解像度バージョンを再現するために必要とされる情報を含むことがある。

各解像度コンポーネントは、同じまたは異なるエンコーダ・インスタンス２１４内で実行されるエンコーダ・プロセス（ステップ２０８_１〜ｎ）によって、ビットストリーム内にエンコードすることができる。この単一エンコーダ・インスタンス手法は、解像度コンポーネント（破線の矢印で表される）間のコーディング依存性を使用して、解像度コンポーネントのエンコーディングをより簡単に行うという利点がある。また、解像度コンポーネントの少なくとも一部は、選択する手法によっては、並列に、または少なくとも部分的に並列にエンコードすることができる。

実施形態では、異なる解像度コンポーネントの１つ以上の間に、コーディング依存性が存在する場合がある。エンコーディングは、例えば、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５等を含むがこれらに限定されない周知のビデオ・コーディング規格に基づけばよい。これらのコーディング規格は、量子化、画面内／画面間予測、周波数変換、エントロピ・コーディング等のような周知の技法を含むことができる。

コンバイナは、所定のビットストリーム・シンタックスにしたがって、エンコーダ・インスタンス（１つまたは複数）のビットストリーム出力およびデコーダ情報に基づいて、ビットストリームを生成することができる（ステップ２１０）。

デコーダ出力のビットストリームにおけるデコーダ情報は、以下のパラメータおよび／または情報の内１つ以上を含むことができる。

実施形態では、ビットストリームは、ビットストリームにおける解像度コンポーネントのビデオ・フレームを組み合わせるときに、ビデオ信号をレンダリングすることができる解像度または異なる解像度を示す少なくとも１つのパラメータを含むことができる。このパラメータは、出力バッファのサイズを設定するために、デコーダによって使用することができる。

実施形態では、ビットストリームはストリームにおいて利用可能な解像度コンポーネントを識別する解像度コンポーネント識別子（のリスト）を含むことができる。

実施形態では、ビットストリームは、所定の高解像度ビデオ・ストリームを形成するために必要とされる解像度コンポーネントを識別する情報を含むことができる。

実施形態では、エンコーダ出力のビットストリームは、異なる解像度コンポーネントのビデオ・コーディング・レイヤ（ＶＣＬ：video coding layer）ＮＡＬを独立して格納するために、ＮＡＬユニット構造を有することができる。

実施形態では、ビットストリームは、各解像度コンポーネントの空間解像度を示す少なくとも１つのパラメータを含むことができる（レンダリングすることができる最も高い解像度から導き出されるときは明示的または暗示的のいずれか）。

実施形態では、ビットストリームは、２つ以上の解像度コンポーネントのビデオ・フレームに基づいて高解像度ビデオ・信号のビデオ・フレームを形成するために実行しなければならない場合もある超解像度動作を示す少なくとも１つのパラメータと、必要に応じて、指示された超解像度動作に必要とされる超解像パラメータとを含むことができる。

コンバイナは、エンコードされた解像度コンポーネントのビットストリームと、以上で説明したデコーダ情報の少なくとも一部とを組み合わせて、デコーダ・デバイスによって解釈および解析することができるシンタックスを有するビットストリームを得ることができる（ステップ２１２）。更に、ビデオ・ビットストリームのデコーダ・デバイスへの送信を可能にする、適したデータ・コンテナに、このビットストリームを挿入することができる。

図２Ｂは、本発明の実施形態によるデコーダの模式図を示す。具体的には、図２Ｂは、本発明の実施形態にしたがってデコーダ２２０によって実行されるデコーディング・プロセスの全体像を示す。このプロセスは、１つまたは複数の解像度コンポーネントと、１つまたは複数の解像度コンポーネントに関連するデコーダ情報とを含むビデオ・ストリームを受信するステップを含むことができる。このようなビデオ・ストリームは、図２Ａを参照して説明したように、エンコーダ・プロセスによって生成することができる。

図２Ｂにおけるプロセスは、解像度コンポーネントとデコーダ情報とを含むビデオ・ビットストリームを受信し、このビットストリームをビットストリーム・パーサの入力に供給するステップ（ステップ２２２）から開始することができる。ビットストリーム・パーサは、ビットストリームからデコーダ情報２２５を抽出し（ステップ２２４）、ビットストリームにおいて利用可能な１つ以上の解像度コンポーネント、および１つ以上の解像度コンポーネントに基づいて形成することができるビデオ信号の解像度を決定するために、デコーダ情報を使用することができる。更に、デコーダは、高解像度ビデオ信号をレンダリングするためにはどの解像度コンポーネントが必要となるかについての情報も受信することができる。

レンダリングするために選択した高解像度ビデオ信号に基づいて、ビットストリーム・パーサは、ビデオ・ビットストリームを解析し始め、選択した高解像度信号の形成において必要とされる解像度コンポーネントを抽出し（ステップ２２６_１〜ｎ）、抽出した解像度コンポーネントを、デコーダ準拠ビットストリームとして、デコーダの入力に供給することができる。デコーダは、解像度コンポーネント２２８_１〜ｎをデコードすることができ、解像度コンポーネントに関連するビデオ・フレームを生成することができる（ステップ２３０_１〜ｎ）。解像度コンポーネントのビデオ・フレームを組み合わせて、選択した高解像度のビデオ・フレームにフォーマットすることができる。

超解像技術は、解像度コンポーネントのビデオ・フレームに基づいて、高解像度ビデオ・フレームを決定するために使用することができる。実施形態では、このような超解像技術は、解像度コンポーネントのビデオ・フレームの解像度をアップスケーリングするアップスケーリング動作、およびアップスケーリングされたビデオ・フレームの画素を組み合わせて再結合高解像度ビデオ・フレーム(recombined high resolution video frames)を得るプロセスにおいて、アップスケーリングされたビデオ・フレームの各々の寄与を示す１つ以上のパラメータに基づいて、アップスケーリングされたビデオ・フレームを組み合わせる動作（ステップ２３４）を含むことができる。これら１つ以上のパラメータは、ビットストリーム・パーサによってコンバイナに送ることができる。

図３は、本発明の実施形態によるビデオ・コーディング・システムの例を示す。具体的には、図３は、元のビデオ信号が空間的にＮ個の解像度コンポーネントにサブサンプリングされ、その後Ｎ個の解像度コンポーネントにエンコードされる実施形態を示す。好ましくは、実施形態では、サブサンプリング動作はポリフェーズ・サブサンプリング(polyphase subsampling)である。ポリフェーズ・サブサンプリングについては、以下で図４および図５を参照して更に詳しく説明する。

図３に示すように、第１解像度コンポーネント３０６_１は、元のビデオ信号３０２の第１空間サブサンプリング・プロセス３０４_１によって生成することができる。第１解像度コンポーネントは、他の解像度コンポーネントに対して全くエンコーディング依存性なく、エンコーダ３０８_１によってエンコードすることができる。エンコードされた第１解像度コンポーネントは、デコーダ３１０_１によってデコードされて、再現第１低解像度ビデオ信号３１２_１を得ることができ、再現第１低解像度ビデオ信号３１２_１は低解像度ビデオ信号３１６としてレンダリングすることができる。

他の解像度コンポーネント３０６_２〜Ｎは、元のビデオ信号の他のサブサンプリング・プロセス３０４_２〜Ｎによって生成することができる。例えば、第２解像度コンポーネント３０６_２は、第２空間サブサンプリング・プロセス３０４_２に基づいて生成することができ、第Ｎ解像度コンポーネント３０６_Ｎは、第Ｎ空間サブサンプリング・プロセス３０６_Ｎに基づいて生成することができる。各空間サブサンプリングされた解像度コンポーネントは、元のビデオ信号の空間的にずらされた低解像度サンプルを表すことができる。実施形態では、ポリフェーズ・サブサンプリングを空間サブサンプリング技法として使用することができる。

この特定実施形態では、前述の他の解像度コンポーネントは、第１解像度コンポーネントに対する依存性を使用してエンコードすることができる。このために、エンコードされた第１解像度コンポーネントを表すビットストリームをデコードしてビデオ・フレームを得て（ステップ３０９）、これらのビデオ・フレームを、他の解像度コンポーネント、例えば、第２解像度コンポーネント３０６_２のビデオ・フレームと、第２解像度コンポーネント３０６_２がエンコーダ３０８_２の入力に供給される前に、組み合わせる。実施形態では、第１解像度コンポーネントおよびもう１つの解像度コンポーネント(further resolution component)のビデオ・フレームを組み合わせるプロセス（ステップ３１１_２〜Ｎ）は、差分信号（残余信号としても知られる）を決定するステップを含むことができ、第１解像度コンポーネントのビデオ・フレームの少なくとも一部を、もう１つの解像度コンポーネント、例えば、第２解像度コンポーネントのビデオ・フレームから減算する。したがって、第１解像度コンポーネントおよびもう１つの解像度コンポーネントのビデオ・フレームに基づいて、もう１つの解像度コンポーネントの残余ビデオ・フレーム(residual video frame)を生成し、エンコーディング・プロセスに供給する。エンコーディング・プロセスは、もう１つの解像度コンポーネントに関連するビットストリームを生成する。続いて、このようにして生成された解像度ビットストリームは、図２Ａに示したのと同様に、ビデオ・ビットストリーム（図示せず）に組み込まれる。

エンコード・ビデオ・ビットストリームの形成の間、デコーダ情報の少なくとも一部、即ち、各解像度コンポーネント（の処理）についての情報（例えば、サブサンプリング・プロセス、フィルタリング、コーディング依存性等についてのメタデータ）を、エンコーダによって生成されたビットストリームに挿入して、デコーダ・デバイスが、第１解像度コンポーネントに基づいて、または第１解像度コンポーネントと１つ以上の他の解像度コンポーネントとに基づいて、ビデオ信号を再現できるようにすることができる。

この実施形態では、第１解像度コンポーネントと、他のデコードされた解像度コンポーネントの内、圧縮効率を上げるために第１解像度コンポーネントに対するコーディング依存性を有する１つ以上とに基づいて、ビデオ信号を再現することができる。もう１つの解像度コンポーネントの第１解像度コンポーネントに対するコーディング依存性についての情報は、デコーダへのビデオ・ストリーム内において通知することができる。したがって、エンコード・ビデオ・ビットストリーム内において解像度コンポーネントおよびデコーダ情報がデコーダに送信されたとき、デコーダはビットストリームを解析し、図２Ｂを参照して説明したのと同様に、デコーダ情報および解像度コンポーネントをビットストリームから抽出することができる。

抽出した第１解像度コンポーネント・ビットストリームをデコーダ３１０_１に供給することができ、デコーダ３１０_１は、デコーダ情報に基づいて第１ビットストリームをデコードし、第１解像度コンポーネント・ビデオ・フレーム３１３_１を得る。第１解像度コンポーネントに基づいてコンテンツをレンダリングすることが望まれる場合、第１解像度コンポーネント・ビデオ・フレームを使用してコンテンツを再生することができる。これは、第１解像度コンポーネントが、他の解像度コンポーネントに対するコーディング依存性が全くなく、エンコードされたからである。

第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントに基づいてコンテンツをレンダリングすることが望まれる場合、他の解像度コンポーネント・ビットストリームをデコーダ３１０_２〜Ｎに供給することができ、デコーダ３１０_２〜Ｎは、デコーダ情報に基づいて他のビットストリームをデコードして、他の解像度コンポーネントの残余ビデオ・フレームを得る。他の解像度コンポーネント、例えば、第２解像度コンポーネントは第１解像度コンポーネントに対するコーディング依存性を有するので、もう１つの解像度コンポーネント３１５_２〜Ｎのビデオ・フレーム、例えば、第２解像度コンポーネント３１５_２のビデオ・フレームを再現するために、第１解像度コンポーネントのビデオ・フレームを、もう１つの解像度コンポーネント（残余信号）の残余ビデオ・フレームと組み合わせる（ステップ３１３_２〜Ｎ）。

その後、再現された第１解像度コンポーネントのビデオ・フレームを、そして、場合によっては、１つ以上の他の解像度コンポーネントのビデオ・フレームを、再現された高解像度ビデオ信号３１６に組み込む。ポリフェーズ・サブサンプリングの場合、再結合プロセス３１４は、解像度コンポーネントをゼロ・パディングすることによってビデオ・フレームをアップサンプリングし、次いで、このよう形成されたビデオ・フレームを追加することにより、ポリフェーズ・サブサンプリングを逆転し（図５を参照して更に詳しく説明する）、高解像度ビデオ信号３１６を形成するステップを含むことができる。空間サブサンプリング・プロセスの更に一般的な場合では、再結合プロセス３１６は周知の超解像アルゴリズムであってもよい。

したがって、図３のコーディング・システムは、異なる高解像度の解像度ビデオ信号を、第１解像度コンポーネントと、１つ以上の他の解像度コンポーネント、例えば、解像度コンポーネント１、または解像度コンポーネント１＋２、または解像度コンポーネント１＋２＋，．．．，＋Ｎ等に基づいて再現することができるという利点を提供する。スケーラブル・ビデオ・コーディング（ＳＶＣ：scalable video coding）では、レイヤは複数の依存性を有し（例えば、レイヤＮがレイヤＮ−１に依存し、一方レイヤＮ−１はレイヤＮ−２に依存する等）、このために、レイヤの数と共に増大するデコーディング遅延を招く。このような方式は、デコーディング・プロセスの容易な並列化を妨げる。対照的に、図３によるコーディング・プロセスは、第１解像度コンポーネントのみに依存する他の解像度コンポーネントを含むので、他の解像度コンポーネントを並列でデコードできるという意味で、並列処理に適した低遅延デコーディング方式を提供する。更に、各解像度コンポーネントは同じ解像度を有することができるので、これによってデータ処理の複雑さを大幅に低減する。対照的に、スケーラブル・ビデオ・コーディングにおけるレイヤは、空間スケーラビリティを可能にするために、基準レイヤから最も高いエンハンスメント・レイヤまで、解像度が高くなっていく。

図４Ａおよび図４Ｂは、本開示において説明する実施形態において使用することができる空間サブサンプリング方式の例を示す。図４Ａは、（規則的な）サンプリング格子、例えば、高解像度サンプリング格子に基づく連続画像をサンプリングすることによって形成することができるビデオ・フレーム４０２の一部を示す。ここでは、サンプリング格子における各サンプリング点は、高解像度ビデオ・フレームにおける画素を形成する。異なる型式の低解像度ビデオ・フレームは、高解像度ビデオ信号の高解像度フレームに基づいて、異なる低解像度サンプリング格子４０４_１〜４を使用することによって形成することができ、低解像度サンプリング格子は、高解像度ビデオ・フレームのサンプリング格子よりも低いサンプリング密度を有する。ＳＶＣおよびＳＨＶＣから知られているダウンサンプリング動作では、ダウンサンプリングされたビデオ信号のビデオ・フレームの新たな画素値が、元の高解像度ビデオ信号のビデオ・フレームにおける複数組の画素値に基づいて計算されるが、これとは対照的に、空間サブサンプリング動作は画素値を変化させない。空間サブサンプリングは、画像フレームを形成する１組の画素値から画素値の部分集合を選択するだけである。空間サブサンプリング方式は、元のビデオ信号、またはその低解像度バージョンの非常に効率的な再現を可能にする。加えて、解像度コンポーネントの空間的にサブサンプリングされたビデオ・フレームは、高解像度ビデオ・フレームを再現するために、超解像技術の使用を可能にする。尚、図４Ａに示すサンプリング格子は、使用することができる多数の異なるサンプリング格子の例として見なされてしかるべきであることを注記しておく。

このような低解像度サンプリング格子によって生成されたビデオ・フレームは、解像度コンポーネントのビデオ・フレームを表す。異なるサンプリング格子に基づいて高解像度ビデオ・フレームをサブサンプリングすることによって、異なる解像度コンポーネントを形成することができる。サンプリング格子のグループの選択は、このサンプリング格子のグループに基づいて生成される解像度コンポーネントを使用して元の高解像度ビデオ信号を再現できるように、即ち、元の高解像度ビデオ信号と同一または殆ど同一のビデオ信号を再現することができるように、行うことができる。更に、１つ以上のサンプリング格子の選択は、これら１つ以上のサンプリング格子に基づいて生成される解像度コンポーネントを使用して、高解像度ビデオ信号の低解像度バージョンを構成する(construct)ことができるように行うこともできる。

ある実施形態では、高解像度ビデオ・フレームをサブサンプリングするために使用されるサンプリング格子が、同じサンプリング密度を有してもよい。このようなサンプリング格子によって生成される(generated on)解像度コンポーネントは、同じ解像度を有する。他の実施形態では、サンプリング格子（の一部）が異なるサンプリング密度を有してもよい。その場合、解像度コンポーネント（の一部）が異なる解像度を有する。更に、図４Ａに示すように、ある実施形態では、サンプリング格子が重複する、即ち、１つ以上のサンプリング点を共通して有することもできる。他の実施形態では、サンプリング格子間には重複はない。

したがって、解像度コンポーネントのグループは、図４Ａに示したように、空間サブサンプリングに基づいて生成することができる。このグループにおける全ての解像度コンポーネントは、元の高解像度ビデオ信号を再現するために使用することができ、このグループにおける解像度コンポーネントの一部は、高解像度ビデオ信号の１つ以上の低解像度バージョンを構成するために使用することができる。

図４Ｂは、高解像度ビデオ・フレームの画素４０２に基づいて、それよりも解像度が低い複数のビデオ・フレーム（この例では４つ）を生成するためのポリフェーズ・サブサンプリング方式を示す。ポリフェーズ・サブサンプリングでは、４×４画素行列は、４つの２×２解像度コンポーネント４０３_１〜４にサブサンプリングすることができ、４×４画素行列において、各解像度コンポーネントは、空間的にずらされた２×２画素行列４０６_１〜４を表す。これら４つの解像度コンポーネントは、元の（高解像度）ビデオ信号を再現するためにデコーダによって使用することができる解像度コンポーネントのグループ（解像度コンポーネント・グループ）を形成する。

高解像度ビデオ・フレームは、ＹＵＶ型カラー・フォーマット、例えば、ＹＵＶ４：２：０カラー・フォーマット、１９２０×１０８８解像度、毎秒２４フレーム、２４０フレームを有することができる。この高解像度ビデオ・フレームをポリフェーズ空間サブサンプリング・プロセスに、係数２で(with a with factor 2)（Ｙ、Ｕ、およびＶに適用される）適用する(subjecting)と、ＹＵＶ４：２：０カラー・フォーマット、９６０×５４４画素解像度、および２４ｆｐｓのフレーム・レートの４つの低解像度ビデオ・フレームが得られる。

ポリフェーズ・サブサンプリング方式は、エンコーダおよびデコーダ側双方において非常に速い動作を可能にするという利点があり、画素値は変化しない。しかしながら、これは、元の信号がサブサンプリング周波数の２倍を超える周波数を含む場合、空間エリアシング効果により、視覚的アーチファクトを混入させるおそれがある。その場合、４つの低解像度コンポーネントのいずれかが、レンダリングに適さないおそれがある。この効果を軽減するために、フィルタリング後処理動作を適用して、解像度コンポーネントの出力フレームを改良し、これらの視覚的アーチファクトをできるだけ多く打ち消すこともできる。

例えば、実施形態では、ポリフェーズ・サブサンプリングは、高解像度フレームのロー・パス・フィルタリングの後に実行するとよい。このようにして、エリアシング効果による視覚的アーチファクトを排除することができる。ロー・パス・フィルタリングを行うとき、レンダリングの前に元の画像を復元する(restore)ためには後処理ステップが必要となる。そうしないと、再現される信号は、せいぜい、入力信号のロー・パス・バージョンにしかならない。損失のないコーディングでは、ロー・パス・フィルタを逆戻りして(revert)ＨＲ画像を復元することは、逆ウイナー・フィルタのような技法によって、ある程度までは行うことができる。

損失のあるコーディングでは、ロー・パス・フィルタリングは、特に、低ビットレートのエンコーディングでは、再現された信号が既に圧縮によって酷い損傷を受けている場合、なんらかの困難を招くおそれがある。このような後処理復元方式は、ロー・パス・フィルタによって除去されてしまった高周波数の推定値を与えることができるだけで、真に元の信号を復元するのではない。即ち、これらはビット毎に劣化を元に戻すのではない。

更に他の実施形態では、混成ロー・パス・フィルタリング方式をポリフェーズ・サブサンプリングと組み合わせることもできる。例えば、低解像度コンポーネントの少なくとも１つが、それ自体の解像度でのレンダリングに適当である場合、高解像度信号をダウンサンプリングしたロー・パス・フィルタリング・バージョンに基づいて、１つの解像度コンポーネントを生成することができ、一方他の（３つの）低解像度コンポーネントは、フィルタリングしない高解像度信号のポリフェーズ・サブサンプリングに基づいて生成することができる。

空間コンポーネントの生成について、ポリフェーズ・サブサンプリングを参照して説明したが、他の型式の空間サブサンプリング方式も使用することができる。このような方式の例には、五点形(quincunx)または六点形(hexagonal)サブサンプリングまたはこれらの派生物が含まれる。このような空間サブサンプリング方式に基づいて、解像度コンポーネントを形成し、高解像度ビデオを再現するために使用することができる。

Ｎ個の画素（行列Ｎ×１）を有する高解像度フレームｘから、１組でＫ個の低解像度フレームｙ^（ｋ）を求める。各低解像度フレームはＭ個の画素を有し（行列Ｍ×１）、Ｍ＜Ｎである。各ｋ番目の低解像度フレームｙ^（ｋ）について、ＨＲフレームのフィルタリングを行列Ｈ（ディメンションＮ×Ｎ）によって記述し、サブサンプリングを行列Ａ（ディメンションＭ×Ｎ）によって定義する。つまり、生成モデルは次のようになる。

ここで、前述のように、同じプレフィルタリング(pre filtering)をＨＲフレームに適用すると仮定することができる。他の実施形態では、各ｋ番目の分解(decomposition)は行列Ｈを有することができる。更に他の実施形態では、１つの解像度コンポーネントが、ＨＲフレームのロー・パス・フィルタである行列ＨＬＰを有し（したがって、モアレ効果のような視覚的アーチファクトを回避する）、一方他の解像度コンポーネントは、単位行列である同じ行列Ｈ_Ｉを有する。これが意味するのは、ＨＲフレームはフィルタリングされておらず、純粋なポリフェーズ・サブサンプリングが実行されるということである。

以上で説明した生成モデルに基づいて、例えば、Sung Cheol Park et al. による前述の論文に記載されているような、既知の超解像技術を使用して、ｘ＾、即ち、ＨＲフレームｘの推定を生成するために多くの再現方法を適用することができる。

実施形態では、元の高解像度信号は、図４において説明したようなポリフェーズ・サブサンプリング動作を使用して分解された。その場合、サブサンプリングした信号を再結合するプロセスは、もっと一般的な場合よりも簡単になる。再結合プロセスは、結局、低解像度コンポーネントが元の高解像度信号において有していた位置にしたがって、各低解像度の解像度コンポーネントを、再結合したピクチャ上にマッピングすることになる。この再結合プロセスは、ゼロ・パディング(zero padding)によって解像度コンポーネントの各々をアップサンプリングし、元のビデオ信号のビデオ・フレームにおける解像度コンポーネントの位置に一致させるために、行列のエレメントを空間的にずらすステップを含む。

図５は、ポリフェーズ・サブサンプリングされた信号の例を示す。この例は、４つの低解像度コンポーネント５０２_１〜４のグループを含む。このプロセスは、アップサンプリング・プロセス５０４_１〜４から開始することができ、ここで２×２の画素ブロックを、４×４の画素ブロックにアップサンプリングすることができる。ここで、左上、右上、左下、または右下のいずれかを基準として選択することができる。アップサンプリング・プロセスの間に作られた画素位置に０を追加するために、ゼロ・パディング動作５０６_１〜４を使用することができ、こうして０が追加されてアップサンプリングされた４×４ブロック５０８_１〜４を形成する。その後、これらのブロックを（元の）再結合された高解像度信号５１２に組み込むために、加算プロセス５１０を使用することができる。このプロセスは、メモリ使用に関して最適化することができる。例えば、解像度コンポーネントの画素を、最初のアップサンプリングされた行列においてコピーしてもよい。

実施形態では、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４およびＨＥＶＣ／Ｈ．２６５にしたがって、ＮＡＬユニットの概念を使用して、デコーダ情報、例えば、解像度コンポーネントの組成(composition)をデコーダに通知することができる。ＮＡＬユニットには２つの主要なカテゴリ、即ち、ビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニット、および非ビデオ・コーディング・レイヤ（非ＶＣＬ）ＮＡＬユニットが存在する。ＨＥＶＣ規格では、非ＶＣＬ ＮＡＬユニットの１つをシーケンス・パラメータ・セット（ＳＰＳ）と呼ぶ。シーケンス・パラメータ・セット（ＳＰＳ）は、各スライス・セグメント・ヘッダ内にある(found)シンタックス・エレメントによって参照されるＰＰＳ内にあるシンタックス・エレメントのコンテンツによって決定される、０個以上のＣＶＳ全体に適用するシンタックス・エレメントを含むシンタックス構造を定める。ここでＣＶＳはコーディング・ビデオ・シーケンスを表す。ＳＰＳ ＮＡＬユニットにおけるパラメータの例には、クローマ・サブサンプリング方式を定めるchroma_format_idc、またはデコードされたピクチャの幅および高さをそれぞれ輝度サンプル(luminance sample)の単位で与えるpic_width_in_luma_samplesおよびpic_height_in_luma_samplesがある。デコーダ情報を含むＮＡＬユニット、およびデコーダ情報内において通知される解像度コンポーネント方式の例について、以下で図６Ａ〜図６Ｃを参照して、更に詳しく説明する。

図６Ａは、本発明の種々の実施形態によるＮＡＬユニットの例を示す。具体的には、図６Ａは、３つの非ＶＣＬ ＮＡＬユニット６０２_１〜３、およびビットストリームにおいて解像度コンポーネントについての情報を通知するためにデコーダ情報を含むＶＣＬ ＮＡＬユニット６０４を示す。実施形態では、非ＶＣＬ ＮＡＬユニットは、ビットストリームにおいて使用される解像度コンポーネント方式についての情報を通知するための情報を含むこともできる。解像度コンポーネント・サブサンプリングは複数のフレームに該当するので(apply for)、実施形態では、ビットストリームにおける解像度コンポーネントのフォーマットを示すパラメータ６１０（resolution_component_format_idc）を、以下のようにして、いわゆるＳＰＳ ＮＡＬユニット６０２_２において通知することができる（例えば、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４またはＨＥＶＣ／Ｈ．２６５において使用されるように）。

このパラメータの値に応じて、解像度コンポーネント・フォーマットを通知することができる。表２は、resolution_component_format_idcに対して可能な値の非網羅的リストを示す。

実施形態では、再現される高解像度出力ビデオ・フレームの解像度は、以下のように、それらの関連するＳＰＳ ＮＡＬユニット（ＶＰＳ ＮＡＬユニット６０２_１）においてpic_width_in_luma_samplesおよびpic_height_in_luma_samples６０６によって通知される、各解像度コンポーネントの空間解像度から導き出すことができる。

HRWidth = pic_width_in_luma_samples * UpWidth
HRHeigth= pic_height_in_luma_samples * UpHeight

この実施形態では、ＨＲＷｉｄｔｈおよびＨＲＨｅｉｇｈｔ値が明確になるように、 全ての解像度コンポーネントが同じＳＰＳ ＮＡＬユニットを共有するか、またはそれらのそれぞれのＳＰＳ ＮＡＬユニットにおいて少なくとも同じ値のpic_width_in_luma_samplesおよびpic_height_in_luma_samplesを有すると仮定することができる。

実施形態では、ビットストリームにおける空間コンポーネントは、ビデオ・フレームにおける個々のコンポーネントについての情報を含む周知のＹＵＶカラー・コーディング・フォーマットと同様のフォーマット・シンタックスに基づいて、デコーダに通知することができる。したがって、解像度コンポーネント・フォーマットに対して提案する表記は、ｗ：ａ：ｂであり、ここで、

−幅パラメータ「ｗ」は、ビットストリームの最も高い解像度の出力フレームの２画素高の概念領域(2-pixel height conceptual region)の画素における幅を表す。

−所与の解像度コンポーネントについて、第１行解像度コンポーネント・パラメータ「ａ」は、この幅ｗの画素領域の第１行におけるこの解像度コンポーネントに属するサンプルの数を表す。

−所与の解像度コンポーネントについて、第２行解像度コンポーネント・パラメータ「ｂ」は、この幅ｗの画素領域の第２行におけるこの解像度コンポーネントに属するサンプルの数を表す。

図６Ｂは、以上で説明した解像度コンポーネント・フォーマットの凡例を示す。ドットのアレイ６０２は、高解像度ビデオ・フレームの４×４画素ブロックを表す。このアレイは、６０４に図示するように空間的に配列された、ある数の解像度コンポーネント、例えば、４つの異なる解像度コンポーネント６０５_１〜４を含むことができる。次いで、クローマ・サブサンプリング方式と同様に、第１行解像度コンポーネント・パラメータ「ａ」が解像度コンポーネントに属する４×２画素ブロックの第１行における画素の数を表し、第２行解像度コンポーネント・パラメータ「ｂ」が解像度コンポーネントに属する４×２画素ブロックの第２行における画素数を表すという意味で、４×２画素ブロック６０６を、各行におけるその解像度コンポーネントに関して分析する。このように、異なる解像度コンポーネント方式をデコーダに効率的に通知することができ、解像度コンポーネント・フォーマットは周知のカラー・コンポーネント・フォーマットと合致する。

図６Ｃは、本開示において説明する実施形態において使用することができる解像度コンポーネント・フォーマットの異なる例を示す。ここでは、４：２：０フォーマットは、ポリフェーズ・サブサンプリング方式に対応し、解像度コンポーネントの１つのサンプルが、出力フレームの４つまでの画素に寄与することができる（適用されるダウンサンプリング動作に応じて１から４、例えば、ポリフェーズは１）。同様に、４：４：４フォーマットは、解像度コンポーネントおよび出力フレームが同じ解像度を有するという状況に対応する。この場合、空間サブサンプリングは行わない。ビットストリームが４：４：４フォーマットの複数の解像度コンポーネントを含む場合、これはＳＮＲスケーラビリティと同様であり、再現される出力フレームは、ＰＳＮＲ向上という効果があるが、解像度が高くなる効果はない。解像度コンポーネント・フォーマット毎に、空間サブサンプリングが行われない場合（４：４：４）と同様に、所与の数の解像度コンポーネントが同じフル・ビデオ信号を伝えることが予測される。

予測される解像度コンポーネントの数は、元の（高解像度）ビデオ信号を再現するために使用することができる解像度コンポーネントのグループを形成することができる。ビットストリームによって表されるビデオ・ソースは、デコーディング順のピクチャのシーケンスであり、ソース・ピクチャおよびデコード・ピクチャは各々１つの解像度コンポーネント・アレイを含むことができ、各解像度コンポーネント・アレイは１つ以上のカラー・サンプル・アレイ、即ち、輝度（Ｙ）のみ（白黒）、輝度および２つの彩度（ＹＣｂＣｒまたはＹＣｇＣｏ）、緑、青、および赤（ＧＢＲ、ＲＧＢとしても知られている）、またはその他の未指定白黒または三刺激(tri-stimulus)カラー・サンプリングを表すアレイ（例えば、ＹＺＸ、ＸＹＺとしても知られている）を含むことができる。

パラメータresolution_component_format_idcによって示される解像度コンポーネント・フォーマットから、各解像度コンポーネントの空間解像度を導き出すことができる。この解像度コンポーネント・フォーマットは、図６Ａに示したようなＳＰＳ ＮＡＬユニットにおいてデコーダに通知することができる。
更に他の実施形態では、各解像度コンポーネントがそれ自体の空間解像度を有することができ、複数のＳＰＳ ＮＡＬユニットが、それらの各々に対して異なる空間解像度で、即ち、異なる pic_width_in_luma_samplesおよびpic_height_in_luma_samplesで定められる。この実施形態では、解像度コンポーネント・フォーマットをＳＰＳ ＮＡＬユニット６０２２において通知することができる。他の実施形態では、ＨＲフレームの出力解像度を、たとえば、共通のビデオ・パラメータ・セット（ＶＰＳ）ＮＡＬユニット６０２_１において示すパラメータを使用することもできる。

ＨＲフレームを生成するために、デコーダは、解像度コンポーネント・ビデオ・フレームの画素と、ＨＲ出力ビデオ・フレームの画素との間でマッピングを実行しなければならない。低解像度コンポーネントのビデオ・フレームを高解像度ビデオ・フレームに組み込むデコーダ・プロセスは、次のステップを含むことができる。

１）各低解像度コンポーネント・ビデオ・フレームをＨＲビデオ・フレームの解像度にアップスケーリングするステップ、
２）アップスケーリングした低解像度コンポーネント・ビデオ・フレームからの画素値を数学的に組み合わせて、ＨＲビデオ・フレームの各画素値を決定するステップ。

実施形態では、ポリフェーズ・サブサンプリングを使用することができる。この場合、アップスケーリング・ステップ（１）では、ＶＰＳ ＮＡＬユニットにおける専用パラメータが、実行する必要があるアップスケーリング動作を通知することができる。ＶＰＳ ＮＡＬユニットにおけるフラグ６０８は、サンプリングがポリフェーズ・サブサンプリングであるか否か示すことができる。

このフラグは、解像度コンポーネントのＬＲビデオ・フレームをＨＲフレームの解像度にアップサンプリングする必要があることをデコーダに通知することができる。既知のサンプル値の間で失ったサンプル値は、０に設定すればよい（パディング）。ＨＲビデオ・フレームの解像度は、先のテーブル１に記載したresolution_component_format_idcおよび対応するアップスケーリング率の値によって与えることができる。実施形態では、the resolution_component_format_idcおよび対応するアップスケーリング率は、ＮＡＬユニット、例えば、ＳＰＳ ＮＡＬユニットにおいて、デコーダに通知することができる。

他の実施形態では、ポリフェーズ・サブサンプリングは、解像度コンポーネント・フォーマット方式に固有であってもよい。その場合、 resolution_component_format_idcをデコーダに通知するとき、ポリフェーズ・サブサンプリングが使用されることを仮定する。

他の実施形態では、スライス・セグメント・ヘッダを含むＮＡＬユニット６０４のヘッダが、それが関連付けられる解像度コンポーネントを示すパラメータ６１２（resolution_component_id）を含むことができる。即ち、

ここで、resolution_component_id値は、ポリフェーズ・サブサンプリングによる解像度コンポーネント・フォーマット毎に定められるように、０から maximum_number_of_resolution_components_minus_1までの範囲を取ることができる（テーブル３参照）。解像度コンポーネントの付番は、ラスタ・スキャンの順序に従う。図４に示すように、第１解像度コンポーネント４０３_１「Ａ」は、解像度コンポーネント識別子ｉｄ値０によって識別することができ、第２解像度コンポーネント４０３_２「Ｂ」は、解像度コンポーネント識別子ｉｄ値１によって識別することができ、第３解像度コンポーネント４０３_３「Ｃ」は解像度コンポーネント識別子ｉｄ値２によって、識別することができ、第４解像度コンポーネント４０３_４「Ｄ」は、解像度コンポーネント識別子ｉｄ値３によって識別することができる。

更に、選択されたポリフェーズ・サブサンプリング方式は、ビットストリームにおいて通知されて、アップスケーリングされた低解像度コンポーネント・ビデオ・フレームからの画素値を組み合わせるために（先に説明したステップ２）、ＬＲ画素が高解像度フレーム内のどこに位置するか判定する。実施形態では、解像度コンポーネントからの画素は、ラスタ・スキャンの順序で組み合わせることができる。例えば、解像度フォーマットが４：２：０の４つの解像度コンポーネントの場合、以下の表に基づいて、ラスタ・スキャンの順序をデコーダに通知することができる。

他の実施形態では、空間サブサンプリング方式は、予め定められないか、または完全には予め定められない。この場合、アップスケーリング・フィルタ、ＬＲビデオ・フレームからの画素の位置、およびＨＲビデオ・フレームにおける画素を計算するためのアルゴリズムを、デコーダに通知する必要がある。包括的な方法では、この情報は、例えば、解像度コンポーネント毎のベクトルに基づいて、デコーダ情報において通知することができる。実施形態では、この情報は、画素単位で原点、例えば、左上原点（０、０）に関する解像度コンポーネントの変位を示すサブ画素精度と、低解像度コンポーネントのビデオ・フレームの再結合に基づいてＨＲフレームからあらゆる画素値を計算するためのアルゴリズムとによって定めることができる。この場合、再結合プロセスは、本開示において先に説明したような超解像画像再現技術であってもよい。

更に他の実施形態では、本開示において説明した解像度コンポーネント方式を、例えば、ＨＥＶＣのような、現在のビデオ・コーディング規格において実施することができる。図７は、本発明の実施形態にしたがって解像度コンポーネントを含むＨＥＶＣビデオ信号を形成するプロセスを示す。具体的には、低解像度ビデオ・フレーム７０６、この特定例では４つの低解像度ビデオ・フレームは、元のビデオ信号７０２の高解像度フレームを空間的にサブサンプリングする（７０４）ことによって作成することができる。実施形態では、解像度コンポーネントの形成は、ＨＥＶＣエンコーダの入力に供給される新たなビデオ信号７１０の形成における前処理ステップと見なすことができる。新たなビデオ入力信号のビデオ・フレームは、解像度コンポーネントのビデオ・フレーム７０６を時間的に多重化する（７０８）ことによって形成することができる。新たなビデオ信号は、元のビデオのフレーム・レートの４倍のフレーム・レートと、１／４の空間解像度を有する。このように、デコーディング速度に対する要件は同じままである。

図７におけるプロセスの実装の詳細はＨＥＶＣビデオ・コーディング規格のコンテキストで説明されているが、本プロセスはいずれのビデオ・コーディング規格においても実施できることを具申する。

新たな入力ビデオ信号７１０は、ビデオ・エンコーダの入力に供給される。ビデオ信号におけるビデオ・パラメータは、元のビデオ信号ではなく、新たな入力ビデオ信号の特性を反映する。

例えば、図７において、空間解像度は４で除算され、フレーム・レートは４で乗算される。フレーム・レートの４による乗算は、デコーダがビデオのＨＲフレームを元のフレーム・レートでレンダリングしなければならない場合、必要とされるデコーディング速度に影響を及ぼす。加えて、第１解像度コンポーネントｒｃ１の独立してデコード可能なビットストリームを構成するためには、予測のために第１解像度コンポーネントｒｃ１のビデオ・フレームが第１解像度コンポーネントのビデオ・フレームのみに依存するように、エンコーダが構成される必要がある。他の解像度コンポーネント（ｒｃ２、ｒｃ３、ｒｃ４）は、第１解像度コンポーネントのビデオ・フレームに依存し、場合によっては、他の解像度コンポーネントのビデオ・フレームにも依存する可能性がある。

ビットストリームは、新たなビデオ信号の適正なデコーディングおよびレンダリングを確保するために、デコーダ情報を含むことができる。即ち、１つのみの解像度コンポーネント、例えば、第１解像度コンポーネントのレンダリングが望まれる場合、４つのフレーム毎に１つのフレームだけを、通知されたフレーム・レートを４で除算したフレーム・レートで、デコードおよびレンダリングすればよい。ビデオの高解像度バージョンのレンダリングが意図される場合、４つの解像度コンポーネントをデコードする必要があり、初期フレーム・レートに戻す(move back)ために、バッファリングされた出力フレームを高解像度ビデオ・フレームに再結合し、４で除算したフレーム・レートでレンダリングする必要がある。

ＮＡＬユニットに基づくビデオ・コーディング規格、例えば、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４またはＨＥＶＣ／Ｈ．２６５ビデオ・コーディング規格のコンテキスト内では、いわゆるＳＥＩメッセージにおいてデコーダ情報を送信することができる。ＨＥＶＣでは、デコーダ情報は、フレーム・パッキング構成ＳＥＩメッセージ(frame packing arrangement SEI message)を修正することによって伝えることができる。この規格は、交互する第１および第２フレームの時間的インターリーブ構成(temporal interleaving arrangement)を有する連続デコード・フレーム(sequentially decoded frames)を含むフレーム・パッキング構成として、タイプ５を定める。

したがって、同様に、順次デコードされたフレームが、交互する第１、第２、第３、および第４フレームの時間的インターリービング構成を有することをデコーダに通知するために、frame_packing_arrangement_typeの新たなタイプ（タイプ６）を定めることができる。

更に、新たなタイプをcontent_interpretation_typeに追加することができる。

ここで、content_interpretation_typeのタイプ３は、フレーム・パッキング構成方式の各タイプについて（タイプ６を除く）、フレーム０およびフレーム１と呼ばれる２つの構成フレームがあり、タイプ６のフレーム・パッキング構成方式については、フレーム２および３が存在し、先のテーブル３において、ラスタ・スキャン順の付番が行われることを、デコーダに通知する。

加えて、１に等しいcurrent_frame_is_frameO_flagを構成フレーム０上に置いて、デコーダが、このマーカから数えることによって、現在のデコードされているフレームがどの解像度コンポーネントに属するのか導き出すことができるようにしなければならない。あるいは、実際の解像度コンポーネントが現在のフレーム内にあることをデコーダに通知するために、current_frame_is_frame1_flag、current_frame_is_frame2_flagを、タイプ６のframe_packing_arrangement_typeと組み合わせて指定することができる。前述のフラグが全て偽である場合、これは実際のフレームが構成フレーム３であることを意味する。

フレーム・パッキング構成ＳＥＩメッセージのシンタックスは、新たなフレーム・パッキング構成タイプを考慮に入れるように修正される。図８は、本発明の実施形態にしたがってデコーダ情報を通知するためのＳＥＩメッセージを示す。このようなビットストリームの柔軟な配信を可能にするためには、ＬＲレンダリングのために１つの解像度コンポーネントの選択を可能にすることが有利である。図９は、本発明の実施形態にしたがって解像度コンポーネントを格納するためのファイル・フォーマットを模式的に示す。具体的には、図９は、この場合４つの解像度コンポーネントrc１〜rc４のエンコードされたビデオ・フレーム９０４_１〜５のシーケンスでの元のビデオ信号のフレーム９０２のエンコーディング、および各解像度コンポーネントrc１〜rc４の適したトランスポート・コンテナ、例えば、ＩＳＯＢＭＦＦファイル９０６の別個のトラック９０８_１〜４への格納を模式的に示す。実施形態では、図９におけるエンコーディング・プロセスは、図７を参照して説明したようなＨＥＶＣエンコーディング・プロセスであってもよく、エンコードされたＨＥＶＣビデオ信号が形成され、低解像度コンポーネントと、ＨＥＶＣ準拠ビットストリームにおける解像度コンポーネントについてＨＥＶＣデコーダに知らせるためのデコーダ情報とを含む。

このようなファイルでは、ベース・トラック９１０は解像度コンポーネントの各のＶＣＬ ＮＡＬユニットをポイントするポインタを含むエキストラクタ９１２_１〜５を含むことができるので、元のビットストリームを再構成することができる。実施形態では、トラック数を減らすために、ＬＲ０トラック９０８_１をベース・トラックに組み込むことができる。何故なら、ＬＲ０トラックは、意図する出力解像度が何であっても、必ず必要とされるＬＲフレームをレンダリングするためのデータを含むからである。

ベース・トラックは、ＰＰＳ、ＳＰS、およびＶＰS NＡＬユニットを含む、非ＶＣL NＡＬユニットを含むことができる。更に他の実施形態では、いくつかの非ＶＣＬ NＡＬユニットが解像度コンポーネントのＶＣＬ NＡＬユニットに特定的に関連付けられる場合、これらをそれらのそれぞれのトラックに格納すると有利である。このように、特定のトラックをデコードするためには必要とされないデータでベース・トラックを汚染することを回避することができる。このようなビットストリームの移送は、ＩＳＯＢMＦＦ規格に限定されず、MＰＥＧー２ＴＳのような、他のコンテナにおいても同様に容易に実施することができる。

ビットストリームを移送するためにＩＳＯＢＭＦＦの異形(variant)を使用すると仮定すると、ＤＡＳＨクライアント・デバイスが利用可能な解像度コンポーネントから特定の解像度コンポーネントをレンダリングのために選択できるように、ＩＳＯＢＭＦＦファイルにおけるトラック構造をマニフェスト・ファイルに記述するために、ＩＳＯ／ＩＥＣ２３００９−１ ＭＰＥＧ ＤＡＳＨ規格の技術的現状のメディア・プレゼンテーション・ディスクリプション（ＭＰＤ：Media Presentation Description）を使用することができる。実施形態では、各解像度コンポーネントが独立してデコード可能な場合、マニフェスト・ファイルにおける別個のリプレゼンテーション・エレメントとして、解像度コンポーネントを（トラック毎に１つ）定めることができる。あるいは、他の実施形態では、解像度コンポーネント間のコーディング依存性の存在が１つの要求における同時引き出しを一層効率的にする場合、解像度コンポーネント（またはその一部）が１つのリプレゼンテーションにおいて供給されてもよい。他の解像度コンポーネントを１つのリプレゼンテーションにパッケージングすることにより、このリプレゼンテーションの幅および高さ属性を使用して、ＨＲ解像度をＤＡＳＨクライアントに通知することができるという他の効果が得られ、したがって、ＤＡＳＨクライアントが、意図した解像度のレンダリングに該当するリプレゼンテーションを選択することが可能になる。

更に他の実施形態では、解像度コンポーネント方式の実施がＨＥＶＣ／Ｈ．２６５ビデオ・コーディング規格のＨＥＶＣ特徴を使用することもできる。図１０は、本発明の他の実施形態にしたがって、解像度コンポーネントを含むＨＥＶＣビデオ信号を形成するプロセスを示す。この特定例では、元のビデオ信号１００２の高解像度フレームをサブサンプリングすることによって（１００４）、この例では４つの解像度コンポーネントのビデオ・フレーム１００６を作成することができる。タイリング機能(tiling feature)をサポートするＨＥＶＣエンコーダに入力される新たなビデオ信号のタイル化ビデオ・フレーム(tiled video frame)は、解像度コンポーネントｒｃ１〜ｒｃ４のビデオ・フレーム１００６を空間多重化する（例えば、１つのビデオ・フレームに組み込む）ことによって（１００８）形成することができ、解像度コンポーネントのビデオ・フレームのサイズは、ＨＥＶＣエンコーダによって生成されたタイル化ビデオ・フレームのタイルのサイズと一致する。新たなビデオ信号は、元のビデオのフレーム・レートに等しいフレーム・レートと、同様に元のビデオに等しい空間解像度とを有する。

新たな入力ビデオ信号１０１０は、ＨＥＶＣビデオ・エンコーダに供給され、このビデオ信号は、新たな入力ビデオの特性（解像度、フレーム・レート等）を示す情報（メタデータ）を含む。更に、ＨＥＶＣエンコーダは、ＨＥＶＣ出力ビットストリームが、４つのＬＲ解像度コンポーネントのビデオ・フレームと一致するＨＥＶＣタイル（ｒｃ１フレーム、ｒｃ２フレーム、ｒｃ３フレーム、ｒｃ４フレーム）を含むように構成されている。

ＨＥＶＣタイルを含むＨＥＶＣタイル化ビデオ・フレームの場合、フレーム内予測が境界を交差しないようにエンコーダが構成されているので、定義上は、同じビデオ・フレームのＨＥＶＣタイル内にはコーディング依存性はない。しかしながら、インループ・フィルタリング(in-loop filtering)のような他の種類の空間依存性も解消する(disable)必要がある。加えて、第１解像度コンポーネントのビデオ・フレームのみを含むビットストリームの独立デコード可能な低解像度バージョンを構成するために、画像間予測のために第１解像度コンポーネントのビデオ・フレームが第１解像度コンポーネントの他のビデオ・フレームのみに依存するように、エンコーダを構成する必要がある。このために、

−最終出力フレームをレンダリングするときにインループ・フィルタリングを不能にする、
−動きベクトル（フレーム間予測）が直前および次のビデオ・フレームのＬＲ０コンポーネント・タイルに制約される、
ように、ＨＥＶＣエンコーダを構成する。

実施形態では、圧縮効率を高めるために、第１解像度コンポーネントｒｃ１、第２解像度コンポーネントｒｃ２、および第３解像度コンポーネントｒｃ３タイルには、動きベクトルの制約を適用することができず、したがってこれらの間に時間的コーディング依存性が生ずる(introduce)。

他の実施形態では、解像度コンポーネントｒｃ１、ｒｃ２、ｒｃ３のメディア・データ・コーディングが、第１解像度コンポーネントのビデオ・タイルのメディア・データに依存するのでもよく、したがって第１解像度コンポーネントのタイルに対してのみ時間的コーディング依存性が生ずる。最終的に、重要なことは、第１解像度コンポーネントのタイルのメディア・データを独立してデコードできるということである。

ビットストリームは、解像度コンポーネントの適正なデコーディングおよびレンダリングを確保するために、デコーダ情報を含む。デコーダ情報は、図７および図８を参照して説明したのと同様に、ビットストリーム内で通知することができる。即ち、ビデオの低解像度バージョンを意図する場合、左上のタイルのみをデコードしてレンダリングすればよい（第１解像度コンポーネントについて独立してエンコードされたメディア・データ(independently encoded media data)を表す）。ビデオの高解像度を意図する場合、４つの解像度コンポーネントをデコードしなければならない。即ち、４つのタイル（フレーム全体）をデコードしなければならず、高解像度リプレゼンテーションのビデオ・フレームを生成するために、出力フレームを再編成しなければならない。

ＮＡＬユニット・ベースのビデオ・コーディング規格、即ち、ＭＰＥＧ−４ ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４またはＨＥＶＣ／Ｈ．２６５ビデオ・コーディング規格のコンテキストでは、デコーダ情報はＳＥＩメッセージにおいてデコーダに送信することができる。具体的には、ＨＥＶＣでは、ＳＥＩメッセージにおいてデコーダ情報をデコーダに通知することができる。

図１１は、本発明の実施形態にしたがってデコーダ情報を通知するためのＳＥＩメッセージを示す。

ＨＥＶＣ規格は、交互する第１および第２フレームの時間的インターリーブ構成を有する順次デコード・フレームを含むフレーム・パッキング構成として、タイプ５を定める。

したがって、同様に、デコードされた各フレームが、この例では、４つの解像度コンポーネントのタイル化構成を含むことをデコーダに通知するために、 frame_packing_arrangement_typeの新たなタイプ（タイプ６）を定めることができる。

加えて、指定されたフレーム・パッキング構成方式毎に（６を除く）、フレーム０およびフレーム１と呼ばれる２つの構成フレームがあることをデコーダに通知するために、新たなタイプのcontent_interpretation_typeも定める。タイプ６では、フレーム２および３が存在する。

ここで、ラスタ・スキャン順付番をテーブル３に示す。この実施形態では、あらゆるデコードされたフレーム内に４つの構成フレームが常に存在するので、current_frame_is_frameO_flagは関連がない。一貫性についてフラグを１に設定することができ、フレーム０からフレーム３があらゆるフレームに存在することが設計上この解決策では要求されるので、更に情報を追加する必要がない。

したがって、フレーム・パッキング構成ＳＥＩメッセージのシンタックスを、新たなフレーム・パッキング構成タイプを考慮に入れるように修正することができる。図１１は、本発明の実施形態によるフレーム・パッキング構成ＳＥＩメッセージの修正シンタックスを示す。

このようなビットストリームの柔軟な配信を可能にするために、ビデオ信号の低解像度バージョンのデコーディングおよびレンダリングのために１つの解像度コンポーネントの選択を可能にすると有利である。このために、１つの解決策は、ＨＥＶＣタイル内に含まれる各解像度コンポーネントを、図１５に示すようなＩＳＯＢＭＦＦファイルの別々のトラックに格納することである。このようなＨＥＶＣタイルのトラック格納は、未だ公開されていないが、ＭＰＥＧ標準化活動から知られていることに留意されたい。

このようなビットストリームの柔軟な配信を可能にするために、ＬＲレンダリングのために１つの解像度コンポーネントの選択を可能にすると有利である。図１２は、元のビデオ・信号のビデオ・フレーム１２０２の、タイル化ビデオ・フレーム１２０４_１〜５のエンコードされたシーケンスへのエンコーディングを模式的に示す。低解像度ビデオ・フレームのサイズは、タイル化ビデオ・フレームのタイルのサイズと一致し、低解像度コンポーネントは、適したトランスポート・コンテナ、例えば、ＩＳＯＢＭＦＦファイル１２０６の別々のトラック１２０８_１〜４に格納される。

このようなファイルでは、ベース・トラック１２１０は、解像度コンポーネントの各々のＶＣＬ ＮＡＬユニットをポイントするポインタを含むエキストラクタ１２１２_１〜５を収容することができるので、元のビットストリームを再生する(recreate)ことができる。実施形態では、トラックの数を減らすために、ＬＲ０トラック１２０８_１をベース・トラックに組み込むこともできる。何故なら、ＬＲ０トラックは、意図する出力解像度が何であっても、常に必要とされるＬＲフレームをレンダリングするためのデータを含むからである。

ベース・トラックは、ＰＰＳ、ＳＰS、およびＶＰＳ ＮＡＬユニットを含む、非ＶＣＬ ＮＡＬユニットを含むことができる。更に他の実施形態では、いくつかの非ＶＣＬ ＮＡＬユニットが解像度コンポーネントのＶＣＬ ＮＡＬユニットに特定的に関連付けられる場合、これらをそれらのそれぞれのトラックに格納すると有利である。このように、特定のトラックをデコードするためには必要とされないデータでベース・トラックを汚染するのを回避することができる。このようなビットストリームの移送は、ＩＳＯＢＭＦＦ規格に限定されず、同様に、ＭＰＥＧー２ＴＳのような、他のコンテナにも容易に実施することができる。

ビットストリームを移送するためにＩＳＯＢＭＦＦの異形(variant)を使用すると仮定すると、ＤＡＳＨクライアント・デバイスが利用可能な解像度コンポーネントから特定の解像度コンポーネントをレンダリングのために選択できるように、ＩＳＯＢＭＦＦファイルにおけるトラック構造をマニフェスト・ファイルに記述するために、ＩＳＯ／ＩＥＣ２３００９−１ ＭＰＥＧ ＤＡＳＨ規格の技術的現状のメディア・プレゼンテーション・ディスクリプション（ＭＰＤ： Media Presentation Description）を使用することができる。実施形態では、解像度コンポーネントは、各解像度コンポーネントが独立してデコード可能な場合、マニフェスト・ファイルにおける別個のリプレゼンテーション・エレメントとして（トラック毎に１つ）定めることができる。

あるいは、他の実施形態では、解像度コンポーネント間のコーディング依存性の存在が１つの要求における同時引き出しを一層効率的にする場合、これらの解像度コンポーネント（またはその一部）が１つのリプレゼンテーション・エレメントにおいて供給されてもよい。ＭＰＤにおいて他の解像度コンポーネントを１つのリプレゼンテーションで定義することにより、解像度コンポーネントに基づいてレンダリングすることができる高解像度ビデオ信号のフォーマットを、リプレゼンテーション・エレメントの幅および高さ属性を使用して、ＤＡＳＨクライアントに通知することができるという利点が得られ、したがって、ＤＡＳＨクライアントは、意図する解像度のレンダリングに該当するリプレゼンテーションを選択することが可能になる。

実施形態では、ビデオ・エンコーダおよびデコーダのそれぞれの入力および出力は、特定のフォーマット、例えば、ＹＵＶ４２０にしたがってカラー・コンポーネントが格納される生ビデオ・フォーマットに基づいて構成される。本開示では、通常の(regular)ビデオ信号の低解像度の解像度コンポーネントへの分解がエンコーディング・フェーズにおいて行われ、デコーディング・フェーズにおいて元に戻される。

図１３Ａは、本発明の実施形態にしたがって、解像度コンポーネント・フォーマットをビットストリーム内の内部フォーマットとして使用するコーディング・システムを示す。ここで、Ｒ１およびＲ２は２つの解像度コンポーネントを表す。実施形態では、色平面に加えて解像度コンポーネントを含む生ビデオ・フォーマット（適当なＳＤＯ、例えば、ＩＳＰＯ ＭＰＥＧ、ＩＴＵ、またはＳＭＴＰＥ）を定めることができる。このようなフォーマットでは、ソース（カメラ、編集ソフトウェア）がこのようなフォーマットで元のビデオ信号を生成し、エンコーダにおいて空間サブサンプリング動作が行われるのを回避する。ここに示したフォーマット定義に基づいて、レンダリング・デバイスはしかるべき動作（アップサンプリングおよび再構成(recomposition)を実行し、再現したビデオ信号を出力する。

図１３Ｂは、本発明の実施形態にしたがって、生ビデオ・ソースの生フォーマットでもある解像度コンポーネント・フォーマットを、ビットストリーム内において内部フォーマットとして使用するコーディング・システムを示す。この手法の方が遙かに基本的であり、低いレベルのビデオ信号、例えば、ＩＴＵ、ＳＭＴＰＥ等においてアクティブな多くのＳＤＯとの相乗効果を必要とし、ビデオ産業全体、即ち、カメラ、寄与信号(contribution signal)、スタジオ編集、放送、輸送、消費、場合によっては、ディスプレイ・デバイスに影響を及ぼす。この手法の主な利点は、解像度コンポーネントにおける分解は、エンコーディングが実行される毎ではなく、１回しか起こらない（生成）ことである。

本開示における実施形態は、ビデオ・コーディングに限定されるのではなく、静止ピクチャのコーディングにも適用することができる。このコンテキストでは、主な効果の１つは、徐々にダウンロード可能なピクチャである。即ち、デバイスは最初に解像度コンポーネントのビデオ・フレームを引き出して表示しつつ、他の解像度コンポーネントのメディア・データをダウンロードする。全ての解像度コンポーネントが利用可能になりデコードされたとき、デバイスはＨＲフレームを表示する。また、サムネイル画像の生成も、ピクチャを扱うときの他の種類の用途であろう。ビットストリームの解像度コンポーネントの内３つを単に選別することによって、その結果得られるビットストリームは、そのままでレンダリングするのに適した(proper)ＬＲフレームを含み、したがってＨＲフレームのサムネイルを提供する。

図１４は、本開示において説明したように使用することができる例証的なデータ処理システムを示すブロック図である。 データ処理システム１４００は、システム・バス１８０６を通じてメモリ・エレメント１４０４に結合された少なくとも１つのプロセッサ１４０２を含むことができる。したがって、データ処理システムはメモリ・エレメント１４０４内にプログラム・コードを格納することができる。更に、プロセッサ１４０２は、システム・バス１４０６を通じてメモリ・エレメント１４０４からアクセスされたプログラム・コードを実行することができる。一態様では、データ処理システムは、プログラム・コードを格納および／または実行するのに適したコンピュータとして実現することができる。しかしながら、データ処理システム１４００は、プロセッサおよびメモリを含み、本明細書内において説明した機能を実行することができる任意のシステムの形態で実装すればよいことは認められてしかるべきである。

メモリ・エレメント１４０４は、例えば、ローカル・メモリ１４０８のような１つ以上の物理メモリ・デバイスと、１つ以上の大容量記憶デバイス１４１０とを含むことができる。ローカル・メモリとは、プログラム・コードの実際の実行中に通常使用されるランダム・アクセス・メモリまたは他の非永続的メモリ・デバイス（１つまたは複数）を指すことができる。大容量記憶デバイスは、ハード・ドライブまたは他の永続的データ記憶デバイスとして実装されればよい。また、処理システム１４００は１つ以上のキャッシュ・メモリ（図示せず）も含むことができる。キャッシュ・メモリは、実行中にプログラム・コードを大容量記憶デバイス１４１０から引き出さなければならない回数を減らすために、少なくとも一部のプログラム・コードの一時的格納に備える。

入力デバイス１４１２および出力デバイス１４１４として図示されている入力／出力（Ｉ／Ｏ）デバイスを、任意に、データ処理システムに結合することができる。入力デバイスの例には、例えば、キーボード、マウスのようなポインティング・デバイス等を含むことができるが、これらに限定されるのではない。出力デバイスの例には、例えば、モニタまたはディスプレイ、スピーカ等を含むことができるが、これらに限定されるのではない。入力デバイスおよび／または出力デバイスは、直接または仲介するＩ／Ｏコントローラを介してデータ処理システムに結合することができる。また、ネットワーク・アダプタ１４１６をデータ処理システムに結合してもよく、他のシステム、コンピュータ・システム、リモート・ネットワーク・デバイス、および／またはリモート記憶デバイスに、仲介するプライベートまたはパブリック・ネットワークを通じてデータ処理システムを結合することが可能になる。ネットワーク・アダプタは、前記システム、デバイス、および／またはネットワークによって送信されるデータを受信するデータ受信機、およびデータを前記システム、デバイス、および／またはネットワークに送信するデータ送信機を含むことができる。モデム、ケーブル・モデム、およびイーサネット・カードは、データ処理システム１４５０と共に使用することができる異なるタイプのネットワーク・アダプタの例である。

図１４に図示するように、メモリ・エレメント１４０４はアプリケーション１４１８を格納することができる。尚、データ処理システム１４００は、更に、アプリケーションの実行を容易にすることができるオペレーティング・システム（図示せず）を実行することもできることは認められてしかるべきである。実行可能プログラム・コードの形態で実現されるアプリケーションは、データ処理システム１４００によって、例えば、プロセッサ１４０２によって実行することができる。アプリケーションを実行したことに応答して、データ処理システムは、本明細書において更に詳しく説明する１つ以上の動作を実行するように構成することができる。

一態様では、例えば、データ処理システム１４００がクライアント・データ処理システムを表すこともできる。その場合、アプリケーション１４１８はクライアント・アプリケーションを表すことができ、クライアント・アプリケーションは、実行されると、「クライアント」を参照して本明細書において説明した種々の機能を実行するように、データ処理システム１４００を構成する。クライアントの例には、パーソナル・コンピュータ、携帯用コンピュータ、移動体電話機等を含むことができるが、これらに限定されるのではない。

他の態様では、データ処理システムがサーバを表すこともできる。例えば、データ処理システムが（ＨＴＴＰ）サーバを表すのでもよく、その場合、アプリケーション１４１８は、実行されると、（ＨＴＴＰ）サーバ動作を実行するように、データ処理システムを構成することができる。他の態様では、データ処理システムが本明細書において言及したような、モジュール、ユニット、または機能を表すこともできる。

本明細書において使用した用語は、特定の実施形態を説明するために限られており、本発明の限定であることを意図するのではない。本明細書において使用する場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかにそうでないことを示すのでなければ、複数形も含むことを意図している。更に、「含む」(comprises)および／または「含んでいる」(comprising)という用語は、本明細書において使用する場合、述べられる特徴、整数、ステップ、動作、エレメント、および／またはコンポーネントの存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、エレメント、コンポーネント、および／またはそのグループの存在や追加を除外するのではないことも理解されよう。

以下の特許請求の範囲における全ての手段またはステップ＋機能エレメントの対応する構造、材料、アクト、および均等物は、特定的に特許請求される他の特許請求対象エレメントと組み合わせて当該機能を実行する任意の構造、材料、またはアクトを含むことを意図している。本発明の説明は、例示および説明の目的に限って提示されたのであって、網羅的であること、または開示した形態に本発明を限定することを意図するのではない。本発明の範囲および主旨から逸脱することなく、当業者には多くの変更および変種が明白であろう。以上の実施形態が選択され説明されたのは、本発明の原理および実用的用途を最良に説明するためであり、更に他の当業者が、本発明を理解して、想定される特定の使用に適する種々の変更を行って種々の実施形態を得ることを可能にするためである。

Claims (18)

1. デコーダ・デバイスによってビデオ信号を形成する方法であって、
   ビットストリームおよびデコーダ情報を受信するステップであって、前記ビットストリームが前記デコーダ情報と解像度コンポーネントとを含み、前記デコーダ情報が、前記ビットストリーム内における、ビデオ信号を形成するための１つ以上の解像度コンポーネントの存在を前記デコーダ・デバイスに通知し、前記解像度コンポーネントが、エンコード・メディア・データを含み、第１解像度を有する第１ビデオ信号の空間的にサブサンプリングされたバージョンを表し、前記１つ以上の解像度コンポーネントが解像度コンポーネント・グループの一部であり、前記グループが、複数の解像度コンポーネントを含み、これらに基づいて前記第１ビデオ信号が再現可能である、ステップと、
   前記デコーダ・デバイスが前記ビットストリームを解析し、前記ビデオ信号を形成するステップであって、前記形成するステップが、前記デコーダ情報に基づいて、前記１つ以上の解像度コンポーネントをデコードしてビデオ・フレームを得るステップと、を含み、
   前記デコーダ情報が、前記ビットストリームが前記グループの１つだけの第１解像度コンポーネントのみを含むことを通知する場合、前記形成するステップが、
   前記第１解像度コンポーネントを表す前記ビットストリームの内解析した部分をデコードして、第２解像度の第２ビデオ信号を表すビデオ・フレームを得ること
   を含み、
   前記デコーダ情報が、前記ビットストリームが前記第１解像度コンポーネントと、前記第１解像度コンポーネントに対するデコーディング依存性を有する、前記グループの１つ以上の他の解像度コンポーネントとを含むことを通知する場合、前記形成するステップが、
   前記第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントを表す前記ビットストリームの内解析した部分をデコードして、ビデオ・フレームを得ることと、
   前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントを含むことを通知する場合には、前記ビデオ・フレームに基づいて前記第１ビデオ信号を再現するか、或いは、前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントは含まないことを通知する場合には、前記ビデオ・フレームに基づいて第３解像度を有する第３ビデオ信号を構成することと、
   を含み、
   前記第２解像度が、前記第１解像度よりも低く、
   前記第３解像度が、前記第２解像度よりも高く、前記第１解像度よりも低い、方法。
2. 請求項１記載の方法において、前記解像度コンポーネントの内少なくとも２つ以上が同じ解像度を有する、方法。
3. 請求項１または２記載の方法において、前記第１解像度コンポーネントの前記エンコード・メディア・データが独立してデコード可能であり、前記１つ以上の他の解像度コンポーネントのエンコード・メディア・データが、前記第１解像度コンポーネントに対するデコーディング依存性を有し、前記１つ以上の他の解像度コンポーネントの間には別のデコーディング依存性がない、方法。
4. 請求項１〜３のいずれか１項記載の方法において、前記デコーダ情報が、
   前記第１ビデオ信号、前記第２ビデオ信号、若しくは前記第３ビデオ信号の解像度を示す少なくとも１つのパラメータ、および／または
   前記ビットストリームにおける前記１つ以上の解像度コンポーネントを識別する１つ以上の解像度コンポーネント識別子、
   前記解像度コンポーネントのグループにおいて前記第２ビデオ信号を形成するための前記解像度コンポーネント、および／若しくは前記解像度コンポーネントのグループにおいて前記第３ビデオ信号を形成するための前記解像度コンポーネントを識別する情報、並びに／または
   各解像度コンポーネントの解像度についての情報、
   前記第１およびその他の解像度コンポーネントに基づいて前記第１または第３ビデオ信号を形成するための超解像動作を示すパラメータ、および
   前記示された超解像動作に必要な情報、
   の内少なくとも１つを含む、方法。
5. 請求項１〜４のいずれか１項記載の方法において、前記ビットストリームがＮＡＬユニットを含み、前記デコーダ情報が１つ以上の非ＶＣＬ ＮＡＬユニットに含まれ、および／または、前記１つ以上の解像度コンポーネントが１つ以上のＶＣＬ ＮＡＬユニットに含まれる、方法。
6. 請求項５記載の方法において、前記ＮＡＬユニットが、
   解像度コンポーネント・フォーマットを示すパラメータ（resolution_component_format_idc）を含む、非ＶＣＬ ＮＡＬユニットと、
   前記第１ビデオ信号のビデオ・フレームの解像度を示す１つ以上のパラメータ（pic_width_in_luma_samplesおよびpic_height_in_luma_samples）を含む非ＶＣＬ ＮＡＬユニットと、
   前記１つ以上の解像度コンポーネントを生成するために使用される空間サブサンプリング技術を示すパラメータ、またはポリフェーズ・サブサンプリング技術に基づいて決定される前記１つ以上の解像度コンポーネントを示すフラグを含む、非ＶＣＬ ＮＡＬユニットと、
   ＶＣＬ ＮＡＬユニットであって、解像度コンポーネントを識別するための解像度コンポーネント識別子を含むヘッダを含む、ＶＣＬ ＮＡＬユニットと、
   の内少なくとも１つを含む、方法。
7. 請求項１〜６のいずれか１項記載の方法において、前記解像度コンポーネントのグループにおける前記１つ以上の解像度コンポーネントが、前記第１ビデオ信号のポリフェーズ・サブサンプリング・バージョンであり、前記第１ビデオ信号または第３ビデオ信号を形成する前記ステップが、
   ビデオ・フレームを、前記第１または第３ビデオ信号のビデオ・フレームの解像度フォーマットにアップサンプリングするステップと、
   前記アップサンプリングしたビデオ・フレームをゼロ・パディングするステップと、
   前記アップサンプリングしてゼロ・パディングしたビデオ・フレームを、前記第１ビデオ信号または第３ビデオ信号のビデオ・フレームにおけるその位置にしたがってずらすステップと、
   前記アップサンプリングしてゼロ・パディングしたビデオ・フレームを、前記第１または第３ビデオ信号のビデオ・フレームに追加するステップと、
   を含む、方法。
8. 請求項１〜７のいずれか１項記載の方法において、前記ビットストリームがＨＥＶＣビットストリームであり、前記ビットストリームが、前記解像度コンポーネントのビデオ・フレームが、ビデオ・フレームの時間多重化した順序に時間的に多重化されることをＨＥＶＣデコーダに通知するデコーダ情報を含み、前記解像度コンポーネントのビデオ・フレームがインターリーブ順に配列されている、方法。
9. 請求項１〜７のいずれか１項記載の方法において、前記ビットストリームがＨＥＶＣビットストリームであり、前記デコーダ情報が、前記デコードされたビデオ・フレームが解像度コンポーネントのタイル配列を含むことをＨＥＶＣデコーダに通知する、方法。
10. 請求項８または９項記載の方法において、前記解像度コンポーネントのビデオ・フレームの時間多重化順が、１つ以上のＮＡＬユニットにおいて前記ＨＥＶＣデコーダに通知される、方法。
11. 請求項１〜１０のいずれか１項記載の方法において、前記第１または第３ビデオ信号を再現するステップが、
    前記第１または第３ビデオ信号のビデオ・フレームを生成するために、超解像ビデオ画像再現技術を使用するステップを含む、方法。
12. 前記空間的にサブサンプリングされたバージョンが、ポリフェーズ・サブサンプリング・バージョンである、請求項１から１１の何れか１項記載の方法。
13. エンコーダ・デバイスによってビットストリームを形成する方法であって、
    第１解像度の第１ビデオ信号のビデオ・フレームを空間サブサンプリングすることによって解像度コンポーネントのグループを形成するステップであって、前記解像度コンポーネントのグループのビデオ・フレームに基づいて、前記第１ビデオ信号が再現可能である、ステップと、
    前記解像度コンポーネントのグループから１つ以上の解像度コンポーネントを選択し、前記エンコーダ・デバイスが、前記１つ以上の選択された解像度コンポーネントに基づいて、ビットストリームおよびデコーダ情報を形成するステップであって、前記ビットストリームが前記デコーダ情報を含む、ステップと、
    を含み、
    第１解像度コンポーネントのみが選択された場合、ビットストリームおよびデコーダ情報を形成する前記ステップが、
    前記エンコーダ・デバイスが、前記解像度コンポーネントのグループの内第１解像度コンポーネントをエンコードすることであって、前記第１解像度コンポーネントが第２解像度を有することと、
    デコーダ・デバイスが前記１つの解像度コンポーネントをデコードして、前記第２解像度を有する第２ビデオ信号を得るためのデコーダ情報を生成することと、
    を含み、或いは、
    前記第１解像度コンポーネントと前記第１解像度コンポーネントに対するデコーディング依存性を有する１つ以上の他の解像度コンポーネントとが選択された場合、ビットストリームおよびデコーダ情報を形成する前記ステップが、
    前記エンコーダ・デバイスが、前記解像度コンポーネントのグループの内前記第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントをエンコードして、第１ビットストリーム部分および１つ以上の他のビットストリーム部分をそれぞれ得ることと、
    前記第１ビットストリーム部分および前記１つ以上の他のビットストリーム部分を組み合わせることと、
    前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントを含むことを前記デコーダ・デバイスに通知する場合は、前記デコーダ・デバイスが前記１つの解像度コンポーネントおよび前記１つ以上の他の解像度コンポーネントをデコードして、前記第１ビデオ信号を再現するためのビデオ情報を得るためのデコーダ情報を生成すること、或いは、前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントは含まないことを通知する場合は、第３解像度を有する第３ビデオ信号を構成するためのデコーダ情報を生成することであって、前記エンコーダ・デバイスが、前記デコーダ情報を前記ビットストリームに挿入する、ことと、
    を含み、
    前記第２解像度が、前記第１解像度よりも低く、
    前記第３解像度が、前記第２解像度よりも高く、前記第１解像度よりも低い、方法。
14. 請求項１３記載の方法において、前記解像度コンポーネントのグループの内１つ以上の他の解像度コンポーネントをエンコードするステップが、
    前記第１ビットストリーム部分に基づいて、第１ビデオ・フレームを決定するステップと、
    前記第１ビデオ・フレームおよび前記１つ以上の他の解像度コンポーネントのビデオ・フレームに基づいて、１つ以上の他の残余ビデオ・フレームを決定するステップと、
    前記１つ以上の残余ビデオ・フレームをエンコードして前記１つ以上の他のビットストリーム部分を得るステップと、
    を含み、
    前記デコーダ情報が、前記第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントを通知する場合、前記デコーダ情報が、前記第１ビデオ信号および前記第３ビデオ信号のビデオ・フレームが、前記第１解像度コンポーネントのビデオ・フレームおよび前記１つ以上の他の解像度コンポーネントの１つ以上の他の残余ビデオ・フレームに基づいて形成されることを、前記デコーダ・デバイスに通知する、方法。
15. 請求項１３または１４記載の方法であって、更に、
    前記第１ビットストリーム部分および前記１つ以上の他のビットストリーム部分、ならびに前記デコーダ情報の少なくとも一部を、別々の解像度コンポーネント・トラックに格納するステップであって、解像度コンポーネントに関連するビットストリーム部分、および前記デコーダ情報の少なくとも一部が、解像度コンポーネント・トラックにＮＡＬユニットとして格納される、ステップと、
    前記解像度コンポーネント・トラックの少なくとも一部に関連するベース・トラックを設けるステップであって、前記ベース・トラックがエキストラクタのシーケンスを含み、各エキストラクタが前記解像度コンポーネント・トラックの１つにおけるエントリをポイントする、ステップと、
    を含む、方法。
16. デコーディング・デバイスであって、
    プログラムの少なくとも一部を組み込んで有するコンピュータ読み取り可能記憶媒体と、
    コンピュータ読み取り可能プログラム・コードを組み込んで有するコンピュータ読み取り可能記憶媒体と、前記コンピュータ読み取り可能記憶媒体に結合されたプロセッサと、
    を含み、前記コンピュータ読み取り可能プログラム・コードを実行したことに応答して、前記プロセッサが、
    ビットストリームおよびデコーダ情報を受信する動作であって、前記ビットストリームが、前記デコーダ情報と解像度コンポーネントとを含み、前記デコーダ情報が、前記ビットストリーム内における、ビデオ信号を形成するための１つ以上の解像度コンポーネントの存在を前記デコーダ・デバイスに通知し、前記解像度コンポーネントが、第１解像度を有する第１ビデオ信号の空間的にサブサンプリングされたバージョンを表し、前記１つ以上の解像度コンポーネントが解像度コンポーネント・グループの一部であり、前記グループが複数の解像度コンポーネントを含み、これらに基づいて前記第１ビデオ信号が再現可能であり、少なくとも２つ以上の解像度コンポーネントが同じ解像度を有する、動作と、
    前記ビットストリームを解析し、ビデオ信号を形成する動作であって、前記形成する動作が、前記デコーダ情報に基づいて、前記１つ以上の解像度コンポーネントの内少なくとも１つをデコードしてビデオ・フレームを得る動作とを含む、実行可能動作を実行するように構成され、
    前記デコーダ情報が、前記ビットストリームが前記グループの内第１解像度コンポーネントのみを含むことを通知する場合、前記形成する動作が、
    前記第１解像度コンポーネントを表す前記ビットストリームの内解析した部分をデコードして、第２解像度の第２ビデオ信号を表すビデオ・フレームを得る動作を含み、
    前記デコーダ情報が、前記ビットストリームが前記第１解像度コンポーネントと、前記第１解像度コンポーネントに対するデコーディング依存性を有する、前記グループの１つ以上の他の解像度コンポーネントを含むことを通知する場合、前記形成する動作が、
    前記第１解像度コンポーネントおよび１つ以上の他の解像度コンポーネントを表す前記ビットストリームの内解析した部分をデコードして、ビデオ・フレームを得る動作と、
    前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントを含むことを通知する場合、前記ビデオ・フレームに基づいて前記第１ビデオ信号を再現する動作、或いは、前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントは含まないことを通知する場合は、前記ビデオ・フレームに基づいて第３解像度を有する第３ビデオ信号を構成する動作を含み、
    前記第２解像度が、前記第１解像度よりも低く、
    前記第３解像度が、前記第２解像度よりも高く、前記第１解像度よりも低い、デコーダ・デバイス。
17. エンコーディング・デバイスであって、
    プログラムの少なくとも一部を組み込んで有するコンピュータ読み取り可能記憶媒体と、
    コンピュータ読み取り可能プログラム・コードを組み込んで有するコンピュータ読み取り可能記憶媒体と、前記コンピュータ読み取り可能記憶媒体に結合されたプロセッサと、
    を含み、前記コンピュータ読み取り可能プログラム・コードを実行したことに応答して、前記プロセッサが、
    第１解像度を有する第１ビデオ信号のビデオ・フレームを空間サブサンプリングすることによって、解像度コンポーネントのグループを形成する動作であって、前記解像度コンポーネントのグループのビデオ・フレームに基づいて、前記第１ビデオ信号が再現可能であり、少なくとも２つ以上の解像度コンポーネントが同じ解像度を有する、動作と、
    前記解像度コンポーネントのグループから１つ以上の解像度コンポーネントを選択し、前記１つ以上の選択した解像度コンポーネントに基づいてビットストリームおよびデコーダ情報を形成する動作であって、前記ビットストリームが前記デコーダ情報を含む、動作と、とを含む実行可能動作を実行するように構成され、
    第１解像度コンポーネントのみが選択された場合、ビットストリームおよびデコーダ情報を形成する前記動作が、
    前記解像度コンポーネントのグループの内第１解像度コンポーネントをエンコードする動作であって、前記第１解像度コンポーネントが第２解像度を有する、動作と、
    デコーダ・デバイスが前記１つの解像度コンポーネントをデコードして第２解像度の第２ビデオ信号を得るために、情報を生成する動作と、
    を含み、或いは、
    前記第１解像度コンポーネントと前記第１解像度コンポーネントに対するデコーディング依存性を有する１つ以上の他の解像度コンポーネントが選択された場合、ビットストリームおよびデコーダ情報を形成する前記動作が、
    前記第１解像度コンポーネントおよび前記解像度コンポーネントのグループの１つ以上の他の解像度コンポーネントをエンコードして、それぞれ、第１ビットストリーム部分および１つ以上の他のビットストリーム部分を得る動作と、
    前記第１ビットストリーム部分および前記１つ以上の他のビットストリーム部分を組み合わせる動作と、
    前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントを含むことを前記デコーダ・デバイスに通知する場合は、
    前記デコーダ・デバイスが、前記１つの解像度コンポーネントおよび前記１つ以上の他の解像度コンポーネントをデコードして、前記第１ビデオ信号を再現するためのビデオ・フレームを得るための情報を生成する動作、或いは、
    前記デコーダ情報が、前記ビットストリームが前記グループの全ての解像度コンポーネントは含まないことを通知する場合は、第３解像度を有する第３ビデオ信号を構成する動作であって前記デコーダ情報を前記ビットストリームに挿入する、動作と
    を含み、
    前記第２解像度が、前記第１解像度よりも低く、
    前記第３解像度が、前記第２解像度よりも高く、前記第１解像度よりも低い、エンコーダ・デバイス。
18. コンピュータによって実行されると、該コンピュータに、請求項１〜１５のいずれか１項記載の方法ステップを実施させる命令を含む、コンピュータ・プログラム。

Images