JP5361799B2 - 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、及びプログラム - Google Patents

Description

本発明は、映像の符号化、復号化に係り、信号を粗い情報から細かい情報へと階層的に符号化、あるいは復号化するための階層映像符号化装置、階層映像復号化装置、階層映像符号化方法、階層映像復号化方法、及びプログラムに関する。

階層映像符号化とは、映像信号を粗い情報から細かい情報へと階層的に符号化する技術である。ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ（例えば、特許文献１参照）を例に、階層映像符号化器と階層映像復号化器との構成について説明する（例えば、非特許文献２参照）。

階層映像符号化器は、スケーラビリティを持たないＨ．２６４／ＡＶＣ符号化装置を階層分だけ複数重ね合わせる構成をとる。異なる解像度の動画像を入力し、各階層で、動き推定と動き補償予測、もしくは画面内予測符号化されるイントラブロックの場合には、画面内予測を行う。

解像度の大きい上位階層の符号化では、解像度の小さい下位階層における符号化処理で生成される復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードの情報を解像度の比に応じて拡大／伸張した後、それを参照して階層間予測が行われる。予測処理の後、各階層で、ブロック毎に周波数変換、量子化、可変長符号化を行う。最後に、各階層の符号化データを多重化して全体の符号化データを生成する。様々な情報を参照して符号化する。

階層映像復号器は、スケーラビリティを持たないＨ．２６４／ＡＶＣ復号化装置を階層分だけ複数重ね合わせる構成をとる。階層映像復号化器では、まず、逆多重化して得られた各階層の符号化データに対し、ブロック毎に可変長復号、逆量子化、逆周波数変換を行う。イントラブロックについては、画面内予測による復号を行う。次に、下位階層の情報を参照して階層間予測を行う。得られた最上位階層の情報に対して、動き補償予測、デブロック処理を行い、結果となる画像を出力する。

改訂三版H.264/AVC教科書、第290〜291頁 ISO/IEC 14496-10, Information technology − Coding of audio-visual objects − Part 10: Advanced Video Coding, Annex G: Scalable video coding

階層映像符号化においては、上位階層の映像の解像度が下位階層の映像の解像度より大きくなるため、上位階層を映像符号化するために必要な演算量は、下位階層を映像符号化するために必要な演算量よりも増大することが一般的であり、階層映像符号化器全体の性能は、上位階層の符号化器の性能の上限で決まってしまうという問題がある。

また、上位と下位との二階層で階層映像符号化を行う場合、通常の階層映像符号化器は、下位階層と上位階層との二階層分の符号化器で構成されるが、同じ下位階層の映像を参照する複数の上位階層の映像がある場合には、通常の階層映像符号化器を２つ用いると、下位階層の映像符号化器が１つ分だけ冗長になり、出力されるストリームも下位階層のストリーム１つ分余分になってしまうという問題がある。

一方、階層映像復号化においても、上位階層の映像の解像度が下位階層の映像の解像度より大きくなるため、上位階層を映像復号化するために必要な演算量は、下位階層を映像復号化するために必要な演算量よりも増大することが一般的であり、階層映像復号化器全体の性能は、上位階層の復号化器の性能の上限で決まってしまうという問題がある。

また、上位と下位との二階層で階層映像復号化を行う場合、通常の階層映像復号化器は、下位階層と上位階層との二階層分の復号化器で構成されるが、同じ下位階層の映像を参照する複数の上位階層の映像がある場合には、通常の階層映像復号化器を２つ用いると、下位階層の映像復号化器が１つ分だけ冗長になり、入力されるストリームも下位階層のストリーム１つ分余分になってしまうという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、下位階層の映像符号化器が冗長になることはなく、出力されるストリームも下位階層のストリーム１つ分余分にすることなく、階層映像符号化、または階層映像復号化を行うことができる階層映像符号化装置、階層映像復号化装置、階層映像符号化方法、階層映像復号化方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明の一態様は、映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化部と、前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間部と、前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部とを備え、前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含むことを特徴とする映像符号化装置である。

また、上述した課題を解決するために、本発明の一態様は、映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化部と、前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間部と、前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部と前記第１の上位階層の映像を入力し、前記第１の上位階層の映像を縮小した第１の縮小映像を出力する第１の映像縮小部と、前記第２の上位階層の映像を入力し、前記第２の上位階層の映像を縮小した第２の縮小映像を出力する第２の映像縮小部と、前記第１の映像縮小部から第１の縮小映像を入力し、前記第２の映像縮小部から第２の縮小映像を入力し、前記第１の縮小映像と前記第２の縮小映像とを含む映像を、前記下位階層の映像として前記下位階層符号化部に出力する下位階層映像合成部と備えることを特徴とする映像符号化装置である。
本発明の一態様は、上記の発明において、抽出前上位階層映像を入力し、前記抽出前上位階層映像から第１の部分領域を抽出して前記第１の上位階層の映像として前記第１の上位階層符号化部に出力し、前記抽出前上位階層映像から第２の部分領域を抽出して第２の上位階層の映像として前記第２の上位階層符号化部に出力する映像抽出部を更に備えることを特徴とする。

本発明は、上記の発明において、前記下位階層符号化部は、下位階層の映像を符号化した映像符号化結果を含む第３の符号化ストリームを出力することを特徴とする。

本発明は、上記の発明において、前記第１の上位階層符号化部が出力する前記第１の符号化ストリームと、前記第２の上位階層符号化部が出力する前記第２の符号化ストリームとを多重化し、多重化した符号化ストリームを出力するストリーム多重化部を更に備えることを特徴とする。

本発明の一態様は、上記の発明において、前記第１の上位階層の映像を入力し、前記第１の上位階層の映像を縮小した第１の縮小映像を出力する第１の映像縮小部と、前記第２の上位階層の映像を入力し、前記第２の上位階層の映像を縮小した第２の縮小映像を出力する第２の映像縮小部と、前記第１の映像縮小部から第１の縮小映像を入力し、前記第２の映像縮小部から第２の縮小映像を入力し、前記第１の縮小映像と前記第２の縮小映像とを含む映像を、前記下位階層の映像として前記下位階層符号化部に出力する下位階層映像合成部とを更に備えることを特徴とする。

本発明の一態様は、上記の発明において、前記第１の上位階層符号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第１の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第１の符号化ストリームとして出力し、前記第２の上位階層符号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ前記第１の符号化ストリームにおけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬＮＡＬユニットのサブセットを前記第２の符号化ストリームとして出力することを特徴とする。

本発明の一態様は、上記の発明において、前記下位階層符号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第３の符号化ストリームとして出力し、前記第２の上位階層符号化部は、前記ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第２の符号化ストリームとして出力し、前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第３の符号化ストリームとを入力し、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを出力するストリーム多重化部を更に備えることを特徴とする。

また、上述した課題を解決するために、本発明の一態様は、映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、下位階層の映像に対して画素数の縦と横とがそれぞれ２倍である抽出前上位階層映像を入力し、前記抽出前上位階層映像を縦と横とにそれぞれ等分に２分割して計４分割し、前記抽出前上位階層映像から分割された左上の映像領域である第１の部分領域を抽出して第１の上位階層の映像として出力し、前記抽出前上位階層映像から分割された右上の映像領域である第２の部分領域を抽出して第２の上位階層の映像として出力し、前記抽出前上位階層映像から分割された左下の映像領域である第３の部分領域を抽出して第３の上位階層の映像として出力し、前記抽出前上位階層映像から分割された右下の映像領域である第４の部分領域を抽出して第４の上位階層の映像として出力する映像抽出部と、前記下位階層の映像を入力して符号化し、少なくとも、前記第１の上位階層の映像と前記第２の上位階層の映像と前記第３の上位階層の映像と前記第４の上位階層の映像との符号化に必要な第１の情報を生成するとともに、前記下位階層の映像を符号化した映像符号化結果を含む第５の符号化ストリームを出力する下位階層符号化部と、前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも前記第１の上位階層の映像の符号化に必要な第２の情報と、少なくとも前記第２の上位階層の映像の符号化に必要な第３の情報と、少なくとも前記第３の上位階層の映像の符号化に必要な第４の情報と少なくとも前記第４の上位階層の映像の符号化に必要な第５の情報とを生成する階層符号化中間部と、前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部と、前記第３の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第４の情報に基づいて、前記第３の上位階層の映像を符号化して第３の符号化ストリームを出力する第３の上位階層符号化部と、前記第４の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第５の情報に基づいて、前記第４の上位階層の映像を符号化して第４の符号化ストリームを出力する第４の上位階層符号化部と、前記第１の上位階層符号化部が出力する前記第１の符号化ストリームと、前記第２の上位階層符号化部が出力する前記第２の符号化ストリームと、前記第３の上位階層符号化部が出力する前記第３の符号化ストリームと、前記第４の上位階層符号化部が出力する前記第４の符号化ストリームと、前記下位階層符号化部が出力する前記第５の符号化ストリームを多重化し、多重化した符号化ストリームを出力するストリーム多重化部とを備えることを特徴とする映像符号化装置である。

また、上述した課題を解決するために、本発明の一態様は、複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化装置であって、下位階層の映像の符号化結果を含む第１の符号化ストリームを入力し、少なくとも、第１の上位階層の映像と第２の上位階層の映像との復号化に必要な第１の情報を生成する下位階層復号化部と、前記下位階層復号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報とを生成する階層復号化中間部と、前記第１の上位階層の映像の符号化結果を含む第２の符号化ストリームを入力し、かつ、前記階層復号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化部と、前記第２の上位階層の映像の符号化結果を含む第３の符号化ストリームを入力し、かつ、前記階層復号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化部とを備え、前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含むことを特徴とする映像復号化装置である。

本発明は、上記の発明において、前記第１の符号化ストリームと前記第３の符号化ストリームとが同一であることを特徴とする。

本発明は、上記の発明において、前記下位階層復号化部は、前記下位階層の映像を復号化して第３の復号映像を出力することを特徴とする。

本発明の一態様は、上記の発明において、少なくとも、前記第２の符号化ストリームと、前記第３の符号化ストリームとが多重化されている入力多重化ストリームを入力し、該入力多重化ストリームから前記第２の符号化ストリームを分離して前記第１の上位階層復号化部に出力し、前記第３の符号化ストリームを分離して前記第２の上位階層復号化部に出力するストリーム逆多重化部を更に備えることを特徴とする。

本発明は、上記の発明において、前記第１の上位階層復号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第１の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第２の符号化ストリームとして入力し、前記第２の上位階層復号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ前記第２の符号化ストリームにおけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを前記第３の符号化ストリームとして入力することを特徴とする。

本発明は、上記の発明において、前記下位階層復号化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを前記第１の符号化ストリームとして入力し、前記第２の上位階層復号化部は、前記ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第３の符号化ストリームとして入力し、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを入力し、同一のアクセスユニット内で、ベースレイヤを含み、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットとを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第１の符号化ストリームとして前記下位階層復号化部に出力し、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第２の符号化ストリームとして前記第１の上位階層復号化部に出力し、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第３の符号化ストリームとして前記第２の上位階層復号化部に出力するストリーム逆多重化部を更に備えることを特徴とする。

本発明は、上記の発明において、前記ストリーム逆多重化部は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ における同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームであり、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックす要素の値とｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値が同一であり、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値よりｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値のほうが大きい符号化ストリームを入力し、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを、前記第２の符号化ストリームとして前記第１の上位階層復号化部に出力し、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを、前記第３の符号化ストリームとして前記第２の上位階層復号化部に出力することを特徴とする。

また、上述した課題を解決するために、本発明の一態様は、複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化装置であって、入力多重化ストリームを入力し、前記入力多重化ストリームから、少なくとも下位階層の映像の符号化結果を含む第１の符号化ストリームと、少なくとも第１の上位階層の映像の符号化結果を含む第２の符号化ストリームと、少なくとも第２の上位階層の映像の符号化結果を含む第３の符号化ストリームと、少なくとも第３の上位階層の映像の符号化結果を含む第４の符号化ストリームと、少なくとも第４の上位階層の映像の符号化結果を含む第５の符号化ストリームとを分離して出力するストリーム逆多重化部と、前記ストリーム逆多重化部が出力する前記第１の符号化ストリームを入力し、少なくとも、前記第１の上位階層の映像と前記第２の上位階層の映像と前記第３の上位階層の映像と前記前記第４の上位階層の映像との復号化に必要な第１の情報を生成するとともに、前記第１の符号化ストリームから、前記下位階層の映像を復号化して第５の復号映像を出力する下位階層復号化部と、前記下位階層復号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報と、前記第３の上位階層の映像の復号化に必要な第４の情報と、前記第４の上位階層の映像の復号化に必要な第５の情報とを生成する階層復号化中間部と、前記階層復号化中間部によって生成された前記第２の情報に基づいて、前記第２の符号化ストリームから、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化部と、前記階層復号化中間部によって生成された前記第３の情報に基づいて、前記第３の符号化ストリームから、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化部と、前記階層復号化中間部によって生成された前記第４の情報に基づいて、前記第４の符号化ストリームから、前記第３の上位階層の映像を復号化して第３の復号映像を出力する第３の上位階層復号化部と、前記階層復号化中間部によって生成された前記第５の情報に基づいて、前記第５の符号化ストリームから、前記第４の上位階層の映像を復号化して第４の復号映像を出力する第４の上位階層復号化部と、前記第１の上位階層復号化部が出力する前記第１の復号映像と、前記第２の上位階層復号化部が出力する前記第２の復号映像と、前記第３の上位階層復号化部が出力する前記第３の復号映像と、前記第４の上位階層復号化部が出力する前記第４の復号映像とを多重化し、多重化した合成後上位階層映像を出力する映像合成部とを備え、前記合成後上位階層映像の画素数は、前記第５の復号映像に対して縦と横にそれぞれ２倍であり、前記第１の復号映像、前記第２の復号映像、前記第３の復号映像、及び前記第４の復号映像は、前記合成後上位階層映像を縦と横にそれぞれ等分に２分割して計４分割した各映像であり、前記映像合成部は、前記第１の復号映像を前記合成後上位階層映像の左上１／４の領域に合成し、前記第２の復号映像を前記合成後上位階層映像の右上１／４の領域に合成し、前記第３の復号映像を前記合成後上位階層映像の左下１／４の領域に合成し、前記第４の復号映像を前記合成後上位階層映像の右下１／４の領域に合成することを特徴とする映像復号化装置である。

また、上述した課題を解決するために、本発明の一態様は、映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化方法であって、下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化ステップと、前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間ステップと、前記第１の上位階層の映像を入力し、かつ、前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化ステップと、前記第２の上位階層の映像を入力し、かつ、前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化ステップとを含み、前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含むことを特徴とする映像符号化方法である。

また、上述した課題を解決するために、本発明の一態様は、複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化方法であって、下位階層の映像の符号化結果を含む第１の符号化ストリームを入力し、少なくとも、第１の上位階層の映像と第２の上位階層の映像との復号化に必要な第１の情報を生成する下位階層復号化ステップと、前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報とを生成する階層復号化中間ステップと、前記第１の上位階層の映像の符号化結果を含む第２の符号化ストリームを入力し、かつ、前記第２の情報に基づいて、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化ステップと、前記第２の上位階層の映像の符号化結果を含む第３の符号化ストリームを入力し、かつ、前記第３の情報に基づいて、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化ステップとを含み、前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含むことを特徴とする映像復号化方法である。

また、上述した課題を解決するために、本発明の一態様は、上記の映像符号化装置としてコンピュータを機能させるためのプログラムである。

また、上述した課題を解決するために、本発明の一態様は、上記の映像復号化装置としてコンピュータを機能させるためのプログラムである。

この発明によれば、下位階層の映像符号化器が冗長になることはなく、出力されるストリームも下位階層のストリーム１つ分余分にすることなく、階層映像符号化、または階層映像復号化を行うことができる。

本発明の第１実施形態による階層映像符号化装置の構成を示すブロック図である。 本第２実施形態による階層映像符号化装置の構成を示すブロック図である。 本第３実施形態による階層映像符号化装置の構成を示すブロック図である。 本第４実施形態による階層映像符号化装置の構成を示すブロック図である。 本第５実施形態による階層映像符号化装置の構成を示すブロック図である。 本第６実施形態による階層映像符号化装置が出力する第１の符号化ストリームＤ１０８の構成を示す概念図である。 本第６実施形態による階層映像符号化装置が出力する第２の符号化ストリームＤ１１１の構成を示す概念図である。 本第７実施形態による階層映像符号化装置の構成を示すブロック図である。 本第７実施形態による下位階層符号化部８０３が出力する第３の符号化ストリームＤ８１５の構成を示す概念図である。 本第７実施形態によるストリーム多重化部８１７が出力する多重化した符号化ストリームＤ８１６の構成を示す概念図である。 本発明の第８実施形態による階層映像符号化装置の構成を示すブロック図である。 本第８実施形態による抽出前上位階層映像Ｄ１１２１を示す概念図である。 本第８実施形態による第１の上位階層の映像Ｄ１１０９〜第４の上位階層の映像Ｄ１１１８の位置関係を示す概念図である。 本第８実施形態による下位階層の映像Ｄ１１０１を示す概念図である。 下位階層の映像Ｄ１１０１を縦と横にそれぞれ等分に２領域に分けて計４領域に分けた映像の位置関係を示す概念図である。 本第８実施形態による第１の符号化ストリームＤ１１１０の構成を示す概念図である。 本第８実施形態による第２の符号化ストリームＤ１１１３の構成を示す概念図である。 本第８実施形態による第３の符号化ストリームＤ１１１６の構成を示す概念図である。 本第８実施形態による第４の符号化ストリームＤ１１１９の構成を示す概念図である。 本第８実施形態による下位階層符号化部１１０３が出力する第５の符号化ストリームの構成を示す概念図である。 本第８実施形態によるストリーム多重化部１１２５が出力する多重化した符号化ストリーム１１２４の構成を示す概念図である。 本発明の第９実施形態による階層映像復号化装置の構成を示すブロック図である。 本発明の第１０実施形態による階層映像復号化装置の構成を示すブロック図である。 本発明の第１１実施形態による階層映像復号化装置の構成を示すブロック図である。 本第１２実施形態による階層映像復号化装置の構成を示すブロック図である。 本第１３実施形態による階層映像復号化装置に入力される第２の符号化ストリームの構成を示す概念図である。 本第１３実施形態による階層映像復号化装置に入力される第３の符号化ストリームの構成を示す概念図である。 本第１４実施形態による階層映像復号化装置の構成を示すブロック図である。 本第１４実施形態によるストリーム逆多重化部２８１６に入力される入力多重化ストリーム２８１５の構成を示す概念図である。 本第１４実施形態によるストリーム逆多重化部２８１６が下位階層復号化部２２０３に出力する第１の符号化ストリームＤ２８０１の構成を示す概念図である。 本第１５実施形態による階層映像復号化装置に入力される符号化ストリームの構成を示す概念図である。 本第１５実施形態によるストリーム逆多重化部２５１６が出力する第２の符号化ストリームＤ２２０７の構成を示す概念図である。 本第１５実施形態によるストリーム逆多重化部２５１６が出力する第３の符号化ストリームＤ２２１０の構成を示す概念図である。 本第１３実施形態による階層映像復号化装置の構成を示すブロック図である。 本第１６実施形態による第２の符号化ストリームＤ３４０９の構成を示す概念図である。 本第１６実施形態による第３の符号化ストリームＤ３４１２の構成を示す概念図である。 本第１６実施形態による第４の符号化ストリームＤ３４１５の構成を示す概念図である。 本第１６実施形態による第５の符号化ストリームＤ３４１８の構成を示す概念図である。 本第１６実施形態によるストリーム逆多重化部３４２３に入力される入力多重化ストリーム３４２２の構成を示す概念図である。 本第１６実施形態によるストリーム逆多重化部３４２３が下位階層復号化部３４０３に出力する第１の符号化ストリームＤ３４０１の構成を示す概念図である。 本第１６実施形態による合成後上位階層映像Ｄ３４２４を示す概念図である。 本第１６実施形態による第１の復号映像Ｄ３４１０〜第４の復号映像Ｄ３４１９の位置関係を示す概念図である。 本第１６実施形態による下位階層の映像Ｄ４３０１を示す概念図である。 本第１６実施形態による下位階層の映像を縦と横にそれぞれ等分に２領域に分けて計４領域に分けた映像の位置関係を示す概念図である。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本発明の第１実施形態による階層映像符号化装置の構成を示すブロック図である。図１において、階層映像符号化装置は、下位階層符号化部１０３、階層符号化中間部１０６、第１の上位階層符号化部１０９、及び第２の上位階層符号化部１１２からなる。

下位階層符号化部１０３は、下位階層の映像Ｄ１０１を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な情報Ｄ１０２を出力する。階層符号化中間部１０６は、下位階層符号化部１０３から第１の上位階層の映像と第２の上位階層の映像との符号化に必要な情報Ｄ１０２を入力し、少なくとも第１の上位階層の映像の符号化に必要な情報Ｄ１０４を第１の上位階層符号化部（第１の出力先）１０９に出力し、少なくとも第２の上位階層の映像の符号化に必要な情報Ｄ１０５を第２の上位階層符号化部（第２の出力先）１１２に出力する。

第１の上位階層符号化部１０９は、第１の上位階層の映像Ｄ１０７を入力し、かつ、階層符号化中間部１０６から少なくとも第１の上位階層の映像Ｄ１０７の符号化に必要な情報Ｄ１０４を入力し、第１の上位階層の映像を符号化して第１の符号化ストリームＤ１０８を出力する。第２の上位階層符号化部１１２は、第２の上位階層の映像Ｄ１１０を入力し、かつ、階層符号化中間部１０６から少なくとも第２の上位階層の映像Ｄ１１０の符号化に必要な情報Ｄ１０５を入力し、第２の上位階層の映像を符号化して第２の符号化ストリームＤ１１１を出力する。

ここで、「上位階層の映像の符号化に必要な情報」とは、例えば、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ においては、下位階層の映像のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードである。また、「上位階層の映像の符号化に必要な情報」とは、ＭＰＥＧ−２やＭＰＥＧ−４においては、下位階層の映像のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像である。

本第１実施形態における階層符号化中間部１０６が第１の上位階層符号化部（第１の出力先）１０９に出力する情報Ｄ１０４は、少なくとも第１の上位階層の映像の符号化に必要な情報を含んでいれば十分である。また、階層符号化中間部１０６が第２の上位階層符号化部（第２の出力先）１１２に出力する情報Ｄ１０５は、少なくとも第２の上位階層の映像の符号化に必要な情報を含んでいれば十分であるが、本発明は、これら最小限の情報に限定されない。

例えば、（Ａ１）下位階層の映像を符号化したストリームを含む情報を第１の上位階層符号化部（第１の出力先）１０９、または第２の上位階層符号化部（第２の出力先）１１２、あるいは第１の上位階層符号化部（第１の出力先）１０９と第２の上位階層符号化部（第２の出力先）１１２の双方に出力しても良いし、（Ａ２）第１の上位階層符号化部（第１の出力先）１０９に出力する情報Ｄ１０４と第２の上位階層符号化部（第２の出力先）１１２に出力する情報Ｄ１０５とが同一でも良い。

上記（Ａ１）のように、階層符号化中間部１０６が下位階層の映像Ｄ１０１を符号化したストリームを含む情報Ｄ１０４を、第１の上位階層符号化部（第１の出力先）１０９に出力することで、第１の上位階層符号化部１０９からの出力において下位階層の映像を符号化したストリームを多重化させておくことができ、このストリームから下位階層の映像と第１の上位階層の映像との双方を復号することができる。

また、階層符号化中間部１０６が下位階層の映像Ｄ１０１を符号化したストリームを含む情報Ｄ１０５を、第２の上位階層符号化部（第２の出力先）１１２に出力することで、第２の上位階層符号化部１１２からの出力において下位階層の映像を符号化したストリームを多重化させておくことができ、このストリームから下位階層の映像と第２の上位階層の映像との双方を復号することができる。

上記（Ａ２）のように、第１の上位階層符号化部（第１の出力先）１０９に出力する情報Ｄ１０４と第２の上位階層符号化部（第２の出力先）１１２に出力する情報Ｄ１０５とを同一にすることにより、階層符号化中間部１０６の実装を簡素化することができる。

階層符号化中間部１０６から、第１の上位階層符号化部（第１の出力先）１０９、または第２の上位階層符号化部（第２の出力先）１１２への出力の詳細については、例えば、以下のような方式が考えられる。

第１の方式としては、第１の上位階層の映像Ｄ１０７の符号化に必要な情報Ｄ１０４と第２の上位階層の映像Ｄ１１０の符号化に必要な情報Ｄ１０５とを、階層符号化中間部１０６にあるメモリ（図示略）内の別々のアドレスに保持し、階層符号化中間部１０６は、第１の上位階層符号化部１０９から要求を受けた後に、第１の上位階層の映像Ｄ１０７の符号化に必要な情報Ｄ１０４を、第１の上位階層符号化部１０９にマクロブロックなど特定画素数領域単位毎に出力し、一方、第２の上位階層符号化部１１２から要求を受けた後に、第２の上位階層の映像Ｄ１１０の符号化に必要な情報Ｄ１０５を、第２の上位階層符号化部１１２にマクロブロックなど特定画素数領域単位毎に出力する方式がある。

また、第２の方式としては、階層符号化中間部１０６は、下位階層符号化部１０３から入力された情報Ｄ１０２のうち、第１の上位階層の映像Ｄ１０７の符号化に必要な情報を含む第１の上位階層符号化部１０９に出力すべき情報Ｄ１０４があることを、第１の上位階層符号化部１０９に通知した後に、該第１の上位階層符号化部１０９に出力し、該第１の上位階層符号化部１０９にあるメモリ（図示略）内に保持し、一方、下位階層符号化部１０３から入力された情報Ｄ１０２のうち、第２の上位階層の映像Ｄ１１０の符号化に必要な情報を含む第２の上位階層符号化部１１２に出力すべき情報Ｄ１０５があることを、第２の上位階層符号化部１１２に通知した後に、第２の上位階層符号化部１１２に出力し、該第２の上位階層符号化部１１２にあるメモリ（図示略）内に保持する方式がある。

階層符号化中間部１０６から第１の上位階層符号化部１０９、または第２の上位階層符号化部１１２への出力の詳細については、上記に限定されるものではなく、例えば、階層符号化中間部１０６、第１の上位階層符号化部１０９、または第２の上位階層符号化部１１２の全てがメモリ（図示略）を備えていても良い。

上述した第１実施形態によれば、「第１の符号化ストリームＤ１０８」には、下位階層の映像Ｄ１０１を符号化したストリームの情報が含まれていても良い。このように、第１の上位階層符号化部１０９からの出力において下位階層の映像Ｄ１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を用いて、第１の符号化ストリームＤ１０８から下位階層の映像Ｄ１０１と第１の上位階層の映像Ｄ１０７との双方を復号することができる。

また、第１実施形態によれば、「第２の符号化ストリームＤ１１１」には、下位階層の映像Ｄ１０１を符号化したストリームの情報が含まれていても良い。このように、第２の上位階層符号化部１１２からの出力において下位階層の映像Ｄ１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を用いて、第２の符号化ストリームＤ１１１から下位階層の映像Ｄ１０１と第２の上位階層の映像Ｄ１１０との双方を復号することができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図２は、本第２実施形態による階層映像符号化装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図２において、本第２実施形態による階層映像符号化装置は、図１の構成に対して、抽出前上位階層映像Ｄ２１３を入力し、該抽出前上位階層映像Ｄ２１３から第１の部分領域を抽出し、第１の上位階層の映像Ｄ１０７として第１の上位階層符号化部１０９に出力し、抽出前上位階層映像Ｄ２１３から第２の部分領域を抽出し、第２の上位階層の映像Ｄ１１０として第２の上位階層符号化部Ｄ１１２に出力する映像抽出部２１４を更に備えている。

第１実施形態で説明した第１の上位階層符号化部１０９に入力される第１の上位階層の映像Ｄ１０７と、第１実施形態で説明した第２の上位階層符号化部１１２に入力される第２の上位階層の映像Ｄ１１０とが、同一の映像から別々の領域を抽出した２つの映像である場合には、該同一の映像Ｄ２１３を入力して第１の領域と第２の領域とを抽出する映像抽出部２１４を備えることで、装置全体に入力される上位階層の映像の数を減じ、装置実装コストを削減することができる。

また、下位階層の映像Ｄ１０１の全ての領域、あるいは大部分の領域を上位階層として細かい情報へと階層的に符号化する場合には、通常は、上位階層の映像の方が下位階層の映像に比べて符号化すべき画素数が増大するため、符号化に必要な演算量が上位階層の方が多くなることがある。しかしながら、上位階層の映像Ｄ２１３を第１の上位階層の映像Ｄ１０７と第２の上位階層の映像Ｄ１１０とに分割して、各上位階層の映像を符号化すべき画素数を低減することで、各上位階層の映像符号化に必要な演算量と下位階層の映像符号化に必要な演算量との差を減らし、単位時間当たりに符号化する上位階層と下位階層との映像を増やすことができるという効果が生じる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図３は、本第３実施形態による階層映像符号化装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図３において、本第３実施形態による階層映像符号化装置における下位階層符号化部３０３は、更に、下位階層の映像符号化結果を含む第３の符号化ストリームＤ３１５を出力する。

第１の上位階層符号化部１０９が出力する第１の符号化ストリームＤ１０８に下位階層の映像Ｄ１０１を符号化したストリームの情報が含まれておらず、かつ第２の上位階層符号化部１１２が出力する第２の符号化ストリームＤ１１１に下位階層の映像Ｄ１０１を符号化したストリームの情報が含まれておらず、かつ下位階層の映像Ｄ１０１を符号化したストリームの情報を送信する他の装置がない場合には、本第３実施形態のように、下位階層符号化部３０３が下位階層の映像符号化結果を含む第３の符号化ストリームＤ３１５を出力することで、第１の上位階層の映像Ｄ１０７も、第２の上位階層の映像Ｄ１１０も共に復号化することができる。

また、本第３実施形態によれば、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１と第３の符号化ストリームＤ３１５の３つの符号化ストリームを出力することで、伝送路の帯域に制限がある場合でも、３つの伝送路に分けて符号化ストリームを送出することができる。

なお、複数の伝送路に分けて符号化ストリームを送出した場合には、各符号化ストリームＤ１０８、Ｄ１１１、Ｄ３１５に含まれる映像を表示するタイミングを同期・調整する必要があるが、以下の既知の技術によって解決できる。

（Ｂ１）映像信号の付加情報であるタイムコードを符号化器において、ビットストリームのフィールドに埋め込み、復号化器側で、ビットストリームからその値を読み出し、出力映像と共に出力することで、フレーム同期化装置がこの時刻情報を元に各チャネルの同期を取る。

（Ｂ２）各チャネルの符号化前の映像の有効領域内にフレーム時刻情報を示す映像マーカを符号化器側で埋め込み、復号化器側のフレーム同期化装置で、各チャネルのデコーダの出力映像から映像マーカを読み込み、フレーム時刻情報を検出して、その情報を元に各チャネルの同期を取る。

（Ｂ３）符号化器・復号化器において、チャネル間のＳＴＣ（System Time Clock）を共通化し、同一ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）のピクチャを同一タイミングで出力する。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図４は、本第４実施形態による階層映像符号化装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図４において、本第４実施形態による階層映像符号化装置は、第１実施形態に構成に対して、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１とを入力し、多重化した符号化ストリームＤ４１６を出力するストリーム多重化部４１７を更に備えている。

伝送路の帯域が十分大きくとれる場合には、本第４実施形態のように、少なくとも第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１をストリーム多重化部４１７によって多重化することで、装置全体から出力されるストリームの数を減じて装置実装コストを削減することができる。

具体的な多重化については、（Ｃ１）ＭＰＥＧ２システム（ISO/IEC 13818-1、ＡＭＥＮＤＭＥＮＴの記述も含む）のＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、（Ｃ２）ＭＰ４ファイルフォーマット形式（ISO/IEC 14496-14）、（Ｃ３）ＡＶＣファイルフォーマット形式（ISO/IEC 14496-15）など既知の方式を利用する。

なお、本第４実施形態によるストリーム多重化部４１７は、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１を入力して多重化しているが、本発明は、これら最小限の多重化に限定されない。例えば、（Ｄ１）第３実施形態と組み合わせて、下位階層符号化部３０３が出力する第３の符号化ストリームＤ３１５もストリーム多重化部４１７に入力し、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１と第３の符号化ストリームＤ３１５とを多重化してストリームＤ４１６として出力しても良いし、（Ｄ２）音声や、ユーザーデータなどの映像以外の情報も多重化してストリームＤ４１６として出力して良い。

上記（Ｄ１）のように、下位階層符号化部３０３が出力する第３の符号化ストリームＤ３１５もストリーム多重化部４１７に入力し、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１と第３の符号化ストリームＤ３１５とを多重化し、ストリームＤ４１６として出力することで、装置全体から出力されるストリームの数を更に減じることができ、この多重化ストリームＤ４１６から下位階層の映像Ｄ１０１と第１の上位階層の映像Ｄ１０７と第２の上位階層の映像Ｄ１１０とを復号することができる。また、上記（Ｄ２）のように、音声や、ユーザーデータなど映像以外の情報も多重化し、ストリームＤ４１６として出力することで、映像以外の情報もストリームに統合して伝送することができる。

Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
図５は、本第５実施形態による階層映像符号化装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図５において、本第５実施形態による階層映像符号化装置は、第１実施形態に構成に対して、第１の映像縮小部５１９、第２の映像縮小部５２１、及び下位階層映像合成部５２２を更に備えている。

第１の映像縮小部５１９は、第１の上位階層の映像Ｄ１０７を入力し、該第１の上位階層の映像Ｄ１０７を縮小した第１の縮小映像Ｄ５１８を出力する。第２の映像縮小部５２１は、第２の上位階層の映像Ｄ１１０を入力し、該第２の上位階層の映像Ｄ１１０を縮小した第２の縮小映像Ｄ５２０を出力する。下位階層映像合成部５２２は、第１の映像縮小部５１９から第１の縮小映像Ｄ５１８を入力し、第２の映像縮小部５２１から第２の縮小映像Ｄ５２０を入力し、第１の縮小映像Ｄ５１８と第２の縮小映像Ｄ５２０とを含む映像を、下位階層の映像Ｄ１０１として、下位階層符号化部１０３に出力する。

本第５実施形態によれば、複数の上位階層の映像が入力されるが、それらの下位階層の映像が入力されない場合でも、映像の階層符号化を行うことができる。

なお、第５実施形態による下位階層映像合成部５２２は、第１の縮小映像Ｄ５１８と第２の縮小映像Ｄ５２０のみを入力しているが、これら最小限の入力に限定されない。例えば、下位階層映像合成部５２２に装置外部から別の映像を入力して、その映像と第１の縮小映像Ｄ５１８と第２の縮小映像を含む映像Ｄ５２０とを、下位階層の映像Ｄ１０１として出力しても良いし、縮小映像の数が２つ以上入力されても良い。

また、第２実施形態と組み合わせて、抽出前上位階層映像Ｄ２１３から第１の部分領域を抽出し、第１の上位階層の映像Ｄ１０７として第１の上位階層符号化部１０９に出力し、抽出前上位階層映像Ｄ２１３から第２の部分領域を抽出し、第２の上位階層の映像Ｄ１１０として第２の上位階層符号化部１１２に出力する映像抽出部２１４を備えていても良いし、第１の映像縮小部５１９と第２の映像縮小部５２１とが同一部であっても良い。

Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
図６は、本第６実施形態による階層映像符号化装置が出力する第１の符号化ストリームＤ１０８の構成を示す概念図である。また、図７は、本第６実施形態による階層映像符号化装置が出力する第２の符号化ストリームＤ１１１の構成を示す概念図である。

本第６実施形態による階層映像符号化装置の構成は、前述した第１実施形態の構成（図１参照）と同様であり、符号化ストリームとしてＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用している。

本第６実施形態による第１の上位階層符号化部１０９は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第１の値「１」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第１の符号化ストリームとして出力する。

また、本第６実施形態による第２の上位階層符号化部１１２は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第１の符号化ストリームにおけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」を、ｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第２の符号化ストリームとして出力する。

第１の上位階層符号化部１０９は、図６に示すように、第１の上位階層に対応するシーケンスパラメータセット６０１、第１の上位階層に対応するピクチャパラメータセット６０２、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０３、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０４、及び第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０５の順に第１の符号化ストリームＤ１０８を出力する。

第２の上位階層符号化部１１２は、図７に示すように、第２の上位階層に対応するシーケンスパラメータセット７０１、第２の上位階層に対応するピクチャパラメータセット７０２、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０３、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０４、及び第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０５の順に第２の符号化ストリームＤ１１１を出力する。

本第６実施形態は、符号化ストリームとして、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用しているが、本発明は、あくまでＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを「利用」するものであり、必ずしもストリームの全ての構造において必ずしも完全にＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに準拠することを必須の条件としない。

例えば、バッファリング期間ＳＥＩメッセージ(Buffering period SEI message）については、あらかじめ装置から出力される最終のビットストリームにおいて、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに適合するように第１の上位階層符号化部１０９や、第２の上位階層符号化部１１２で設定しても良いし、特に設定しなくても良い。設定していない場合には、独自シンタックス要素を用いたり、符号化器側と復号化器側で別途取り決めを行ったりなどして対応しても良い。

Ｇ．第７実施形態
次に、本発明の第７実施形態について説明する。
図８は、本第７実施形態による階層映像符号化装置の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図８において、本第７実施形態による階層映像符号化装置は、上述した第６実施形態による階層映像符号化装置（構成は図１と同じ）に対し、下位階層符号化部８０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第３の符号化ストリームＤ８１５として出力し、第２の上位階層符号化部１１２は、第６実施形態に記載したｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値「１」より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを、第２の符号化ストリームＤ１１１として出力する。

更に、本第７実施形態による階層映像符号化装置は、ストリーム多重化部８１７を更に備えている。ストリーム多重化部８１７は、第１の符号化ストリームＤ１０８と、第２の符号化ストリームＤ１１１と、第３の符号化ストリームＤ８１５とを入力し、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームＤ８１６を出力する。

図９は、本第７実施形態による下位階層符号化部８０３が出力する第３の符号化ストリームＤ８１５の構成を示す概念図である。図９において、下位階層符号化部８０３は、下位階層に対応するシーケンスパラメータセット９０１、下位階層に対応するピクチャパラメータセット９０２、下位階層の映像の一番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０４、下位階層の映像の三番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０５の順に第３の符号化ストリームＤ８１５を出力する。

図１０は、本第７実施形態によるストリーム多重化部８１７が出力する多重化した符号化ストリームＤ８１６の構成を示す概念図である。ストリーム多重化部８１７は、下位階層に対応するシーケンスパラメータセット９０１、第１の上位階層に対応するシーケンスパラメータセット６０１、第２の上位階層に対応するシーケンスパラメータセット７０１、下位階層に対応するピクチャパラメータセット９０２、第１の上位階層に対応するピクチャパラメータセット６０２、第２の上位階層に対応するピクチャパラメータセット７０２、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０３、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０３、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０４、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０４、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０４、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）９０５、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）６０５、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）７０５の順に多重化した符号化ストリーム０８１６を出力する。

本第７実施形態においては、下位階層符号化部８０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第３の符号化ストリームＤ８１５として出力し、第３の符号化ストリームにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の値は０であり、ｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄは符号化されていない。

しかし、第２の上位階層符号化部１１２は、第１の符号化ストリームＤ１０８におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｑｄ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを、第２の符号化ストリームＤ１１１として出力することが必要であるが、このｒｅｆ＿ｌａｙｅｒ＿ｑｄ＿ｉｄシンタックス要素の値が０である必要はない。

したがって、第３の符号化ストリームＤ８１５におけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の値が０である必要ないことは容易に類推される。すなわち、下位階層符号化部８０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第３の符号化ストリームＤ８１５として出力する必要はなく、第１の符号化ストリームＤ１０８と第２の符号化ストリームＤ１１１とが共に第３の符号化ストリームＤ８１５を下位階層とする上位階層のストリームであれば十分である。

本第７実施形態は、符号化ストリームとして、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用しているが、本発明はあくまでＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを「利用」するものであり、必ずしもストリームの全ての構造において必ずしも完全にＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに準拠することを必須の条件としない。

例えば、バッファリング期間ＳＥＩメッセージ（Buffering period SEI message）については、あらかじめ装置から出力される最終のビットストリームにおいて、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに適合するように第１の上位階層符号化部１０９や、第２の上位階層符号化部１１２や、下位階層符号化部８０３や、ストリーム多重化部８１７で設定しても良いし、特に設定しなくても良い。設定していない場合には、独自シンタックス要素を用いたり、符号化器側と復号化器側で別途取り決めを行ったりなどして対応しても良い。

Ｈ．第８実施形態
次に、本発明の第８実施形態について説明する。
図１１は、本発明の第８実施形態による階層映像符号化装置の構成を示すブロック図である。図１１において、映像抽出部１１２２は、輝度が横３８４０×縦２１６０のサンプル数である抽出前上位階層映像Ｄ１１２１を入力する。

また、映像抽出部１１２２は、抽出前上位階層映像Ｄ１１２１を、縦と横とにそれぞれ等分に２分割して計４分割し、抽出前上位階層映像Ｄ１１２１から分割された左上の映像を抽出して輝度が横１９２０×縦１０８０のサンプル数である第１の上位階層の映像Ｄ１１０９として第１の上位階層符号化部１１１１に出力する。また、映像抽出部１１２２は、抽出前上位階層映像Ｄ１１２１から分割された右上の映像を抽出して輝度が横１９２０×縦１０８０のサンプル数である第２の上位階層の映像Ｄ１１１２として第２の上位階層符号化部１１１４に出力する。

また、映像抽出部１１２２は、抽出前上位階層映像Ｄ１１２１から分割された左下の映像を抽出して輝度が横１９２０×縦１０８０のサンプル数である第３の上位階層の映像Ｄ１１１５として第３の上位階層符号化部１１１７に出力する。また、映像抽出部１１２２は、抽出前上位階層映像Ｄ１１２１から分割された右下の映像を抽出して輝度が横１９２０×縦１０８０のサンプル数である第４の上位階層の映像Ｄ１１１８として第４の上位階層符号化部１１２０に出力する。

図１２は、本第８実施形態による抽出前上位階層映像Ｄ１１２１を示す概念図である。また、図１３は、本第８実施形態による第１の上位階層の映像Ｄ１１０９〜第４の上位階層の映像Ｄ１１１８の位置関係を示す概念図である。本第８実施形態による階層映像符号化装置における下位階層符号化部１１０３は、輝度が横１９２０×縦１０８０サンプル数である下位階層の映像Ｄ１１０１を入力して符号化し、少なくとも第１の上位階層の映像Ｄ１１０４と第２の上位階層の映像Ｄ１１０５と第３の上位階層の映像Ｄ１１０６と第４の上位階層の映像Ｄ１１０７の符号化に必要な情報Ｄ１１０２を出力する。ここで、本第８実施形態による抽出前上位階層映像Ｄ１１２１の解像度は、下位階層の映像Ｄ１１０１に対して、縦と横がそれぞれ２倍である。

図１４は、本第８実施形態による下位階層の映像Ｄ１１０１を示す概念図である。また、図１５は、下位階層の映像Ｄ１１０１を縦と横にそれぞれ等分に２領域に分けて計４領域に分けた映像の位置関係をに示す概念図である。抽出前上位階層映像Ｄ１１２１から分割された左上の映像である第１の上位階層の映像Ｄ１１０９は、下位階層の映像Ｄ１１０１のうち、左上の映像領域である第１の下位階層映像領域１５０１から階層間予測を行うことで効率的な符号化が可能である。また、抽出前上位階層映像Ｄ１１２１から分割された右上の映像である第２の上位階層の映像Ｄ１１１２は、下位階層映像Ｄ１１０１のうち、右上の映像領域である第２の下位階層映像領域１５０２から階層間予測を行うことで効率的な符号化が可能である。

同様に、抽出前上位階層映像Ｄ１１２１から分割された左下の映像である第３の上位階層の映像Ｄ１１１５は、下位階層映像Ｄ１１０１のうち、左下の映像領域である第３の下位階層映像領域１５０３から階層間予測を行うことで効率的な符号化が可能であり、抽出前上位階層映像Ｄ１１２１から分割された右下の映像である第４の上位階層の映像Ｄ１１１８は、下位階層の映像Ｄ１１０１のうち、右下の映像領域である第４の下位階層映像領域１５０４から階層間予測を行うことで効率的な符号化が可能である。

本第８実施形態による階層符号化中間部１１０８は、下位階層符号化部１１０３から第１の上位階層の映像Ｄ１１０９と第２の上位階層の映像Ｄ１１１２と第３の上位階層の映像Ｄ１１１５と第４の上位階層の映像Ｄ１１１８の符号化に必要な情報Ｄ１１０２を入力し、第１の上位階層の映像Ｄ１１０９の符号化に必要な情報Ｄ１１０４を第１の上位階層符号化部１１１１に出力し、第２の上位階層の映像Ｄ１１１２の符号化に必要な情報Ｄ１１０５を第２の上位階層符号化部１１１４に出力し、第３の上位階層の映像Ｄ１１１５の符号化に必要な情報Ｄ１１０６を第３の上位階層符号化部１１１７に出力し、第４の上位階層の映像Ｄ１１１８の符号化に必要な情報Ｄ１１０７を第４の上位階層符号化部１１２０に出力する。

第１の上位階層符号化部１１１１は、映像抽出部１１２２から第１の上位階層の映像Ｄ１１０９を入力し、階層符号化中間部１１０８から第１の上位階層の映像Ｄ１１０９の符号化に必要な情報Ｄ１１０４を入力し、第１の上位階層の映像Ｄ１１０９を符号化して第１の符号化ストリームＤ１１１０をストリーム多重化部１１２５に出力する。

第２の上位階層符号化部１１１４は、映像抽出部１１２２から第２の上位階層の映像Ｄ１１１２を入力し、階層符号化中間部１１０８から第２の上位階層の映像Ｄ１１１２の符号化に必要な情報Ｄ１１０５を入力し、第２の上位階層の映像Ｄ１１１２を符号化して第２の符号化ストリームＤ１１１３をストリーム多重化部１１２５に出力する。

第３の上位階層符号化部１１１７は、映像抽出部１１２２から第３の上位階層の映像Ｄ１１１５を入力し、階層符号化中間部１１０８から第３の上位階層の映像Ｄ１１１５の符号化に必要な情報Ｄ１１０６を入力し、第３の上位階層の映像Ｄ１１１５を符号化して第３の符号化ストリームＤ１１１６をストリーム多重化部１１２５に出力する。

第４の上位階層符号化部１１２０は、映像抽出部１１２２から第４の上位階層の映像Ｄ１１１８を入力し、階層符号化中間部１１０８から第４の上位階層の映像Ｄ１１１８の符号化に必要な情報Ｄ１１０７を入力し、第４の上位階層の映像を符号化して第４の符号化ストリームＤ１１１９をストリーム多重化部１１２５に出力する。

ストリーム多重化部１１２５は、第１の上位階層符号化部１１１１から第１の符号化ストリームＤ１１１０を、第２の上位階層符号化部１１１４から第２の符号化ストリームＤ１１１３を、第３の上位階層符号化部１１１７から第３の符号化ストリームＤ１１１６を、第４の上位階層符号化部１１２０から第４の符号化ストリームＤ１１１９を入力し、多重化した符号化ストリームＤ１１２４を出力する。

本第８実施形態では、符号化ストリームとしては、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用している。本第８実施形態による第１の上位階層符号化部１１１１は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第１の値「１」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第１の符号化ストリームとして出力する。

第２の上位階層符号化部１１１４は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第１の符号化ストリームＤ１１１０におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第２の符号化ストリームＤ１１１３として出力する。

第３の上位階層符号化部１１１７は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第３の値「３」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第１の符号化ストリームＤ１１１０におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第３の符号化ストリームＤ１１１６として出力する。

第４の上位階層符号化部１１２０は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第４の値「４」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第１の符号化ストリームＤ１１１０におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第４の符号化ストリームＤ１１１９として出力する。

図１６は、本第８実施形態による第１の符号化ストリームＤ１１１０の構成を示す概念図である。第１の上位階層符号化部１１１１は、第１の上位階層に対応するシーケンスパラメータセット１６０１、第１の上位階層に対応するピクチャパラメータセット１６０２、第１の上位階層の映像Ｄ１１０９の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０３、第１の上位階層の映像Ｄ１１０９の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０４、第１の上位階層の映像Ｄ１１０９の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０５の順に第１の符号化ストリームＤ１１１０を出力する。

図１７は、本第８実施形態による第２の符号化ストリームＤ１１１３の構成を示す概念図である。第２の上位階層符号化部１１１４は、第２の上位階層に対応するシーケンスパラメータセット１７０１、第２の上位階層に対応するピクチャパラメータセット１７０２、第２の上位階層の映像Ｄ１１１２の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０３、第２の上位階層の映像Ｄ１１１２の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０４、第２の上位階層の映像Ｄ１１１２の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０５の順に第２の符号化ストリームＤ１１１３を出力する。

図１８は、本第８実施形態による第３の符号化ストリームＤ１１１６の構成を示す概念図である。第３の上位階層符号化部１１１７は、第３の上位階層に対応するシーケンスパラメータセット１８０１、第３の上位階層に対応するピクチャパラメータセット１８０２、第３の上位階層の映像Ｄ１１１５の１番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０３、第３の上位階層の映像Ｄ１１１５の２番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０４、第３の上位階層の映像Ｄ１１１５の３番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０５の順に第３の符号化ストリームＤ１１１６を出力する。

図１９は、本第８実施形態による第４の符号化ストリームＤ１１１９の構成を示す概念図である。第４の上位階層符号化部１１２０は、第４の上位階層に対応するシーケンスパラメータセット１９０１、第４の上位階層に対応するピクチャパラメータセット１９０２、第四の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０３、第４の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０４、第４の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０５の順に第４の符号化ストリームＤ１１１９を出力する。

下位階層符号化部１１０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ におけるベースレイヤを第５の符号化ストリームＤ１１２３として出力する。ストリーム多重化部１１２５は、第１の符号化ストリームＤ１１１０と、第２の符号化ストリームＤ１１１３と、第３の符号化ストリームＤ１１１６と、第４の符号化ストリームＤ１１１９と、第５の符号化ストリームＤ１１２３を入力し、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第４の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームＤ１１２４を出力する。

図２０は、本第８実施形態による下位階層符号化部１１０３が出力する第５の符号化ストリームの構成を示す概念図である。下位階層符号化部１１０３は、下位階層に対応するシーケンスパラメータセット２００１、下位階層に対応するピクチャパラメータセット２００２、下位階層の映像Ｄ１１０１の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）２００３、下位階層の映像Ｄ１１０１の二番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）２００４、下位階層の映像Ｄ１１０１の三番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）２００５の順に第５の符号化ストリームＤ１１２３を出力する。

図２１は、本第８実施形態によるストリーム多重化部１１２５が出力する多重化した符号化ストリーム１１２４の構成を示す概念図である。ストリーム多重化部１１２５は、下位階層に対応するシーケンスパラメータセット２００１、第１の上位階層に対応するシーケンスパラメータセット１６０１、第２の上位階層に対応するシーケンスパラメータセット１７０１、第３の上位階層に対応するシーケンスパラメータセット１８０１、第４の上位階層に対応するシーケンスパラメータセット１９０１、下位階層に対応するピクチャパラメータセット２００２、第１の上位階層に対応するピクチャパラメータセット１６０２、第２の上位階層に対応するピクチャパラメータセット１７０２、第３の上位階層に対応するピクチャパラメータセット１８０２、第４の上位階層に対応するピクチャパラメータセット１９０２、続いて、下位階層の映像Ｄ１１０１の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）２００３、第１の上位階層の映像Ｄ１１０９の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０３、第２の上位階層の映像Ｄ１１１２の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０３、第３の上位階層の映像Ｄ１１１５の１番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０３、第４の上位階層の映像Ｄ１１１８の１番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０３、続いて、下位階層の映像Ｄ１１０１の２番目のアクセスユニットのスライス（dependency_id=0, ref_layer_dq_idは符号化されていない）２００４、第１の上位階層の映像Ｄ１１０９の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０４、第２の上位階層の映像Ｄ１１１２の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０４、第３の上位階層の映像Ｄ１１１５の２番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０４、第４の上位階層の映像Ｄ１１１８の２番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０４、続いて、下位階層の映像Ｄ１１０１の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）２００５、第１の上位階層の映像Ｄ１１０９の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）１６０５第２の上位階層の映像Ｄ１１１２の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）１７０５、第３の上位階層の映像Ｄ１１１５の３番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）１８０５、第４の上位階層の映像Ｄ１１１８の３番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）１９０５の順に多重化した符号化ストリームＤ１１２４を出力する。

ここで、「上位階層の映像の符号化に必要な情報」とは、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおいては、下位階層の映像Ｄ１１０１のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードである。先に述べたとおり、抽出前上位階層映像Ｄ１１２１から分割された左上の映像である第１の上位階層の映像Ｄ１１０９は、下位階層の映像Ｄ１１０１のうち、左上の映像領域である第１の下位階層映像領域１５０１から階層間予測を行うことで効率的な符号化が可能であるので、第１の符号化ストリームＤ１１１０においては、下位階層のピクチャと上位階層のピクチャとの位置関係を表すシンタックス要素である、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを、以下のようにシーケンスパラメータセットまたはスライスヘッダで記述する。

scaled_ref_layer_left_offset=0
scaled_ref_layer_top_offset=0
scaled_ref_layer_right_offset=-960
scaled_ref_layer_bottom_offset=-270

scaled_ref_layer_left_offsetは、レイヤ間予測に対して使用される再サンプリングされたレイヤピクチャの左上輝度サンプルと、現ピクチャ、あるいは現レイヤピクチャの左上輝度サンプルとの間の水平方向のオフセットを２輝度サンプルを単位として規定している。

scaled_ref_layer_top_offsetは、レイヤ間予測に対して使用される再サンプリングされたレイヤピクチャの左上輝度サンプルと、現ピクチャ、あるいは現レイヤピクチャの左上輝度サンプルとの間の垂直方向のオフセットを、２＊（２−ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）輝度サンプルを単位として規定している（本第８実施形態では、frame_mbs_only_flag=0とする）。

scaled_ref_layer_right_offsetは、レイヤ間予測に対して使用される再サンプリングされたレイヤピクチャの右下輝度サンプルと、現ピクチャ、あるいは現レイヤピクチャの右下輝度サンプルとの間の水平方向のオフセットを２輝度サンプルを単位として規定している。

scaled_ref_layer_bottom_offsetは、レイヤ間予測に対して使用される再サンプリングされたレイヤピクチャの右下輝度サンプルと、現ピクチャ、あるいは現レイヤピクチャの右下輝度サンプルとの間の垂直方向のオフセットを、２＊（２−ｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇ）輝度サンプルを単位として規定している。

さらに、ScaledRefLayerPicWidthInSamplesL=PicWidthInMbs*16-2*(scaled_ref_layer_left_offset+scaled_ref_layer_right_offset)、ScaledRefLayerPicHeightInSamplesL=PicHeightWidthInMbs*16-2*(scaled_ref_layer_top_offset+scaled_ref_layer_bottom_offset)*(2-frame_mbs_only_flag)/(1+field_pic_flag)であるため、上記のように、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを、シーケンスパラメータセット、またはスライスヘッダで記述することにより、下位階層の映像Ｄ１１０１のうち、左上の映像領域である第１の下位階層映像領域１５０１を、解像度比で縦横それぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。

ここで、第１の上位階層の映像Ｄ１１０９の符号化に必要な情報Ｄ１１０４としては、第１の下位階層映像領域１５０１の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など、第１の下位階層映像領域１５０１以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

抽出前上位階層映像Ｄ１１２１から分割された右上の映像である第２の上位階層の映像Ｄ１１１２は、下位階層の映像Ｄ１１０１のうち、右上の映像領域である第２の下位階層映像領域１５０２から階層間予測を行うことで効率的な符号化が可能であるので、第２の符号化ストリームＤ１１１３においては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを、以下のように、シーケンスパラメータセット、またはスライスヘッダで記述する。

scaled_ref_layer_left_offset=-960
scaled_ref_layer_top_offset=0
scaled_ref_layer_right_offset=0
scaled_ref_layer_bottom_offset=-270

この記述により、下位階層の映像Ｄ１１０１のうち、右上の映像領域である第２の下位階層映像領域１５０２を、解像度比で縦横それぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第２の上位階層の映像Ｄ１１１２の符号化に必要な情報Ｄ１１０５としては、第２の下位階層映像領域１５０２の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など、第２の下位階層映像領域１５０２以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

抽出前上位階層映像Ｄ１１２１から分割された左下の映像である第３の上位階層の映像Ｄ１１１５は、下位階層の映像Ｄ１１０１のうち、左下の映像領域である第３の下位階層映像領域１５０３から階層間予測を行うことで効率的な符号化が可能であるので、第３の符号化ストリームＤ１１１６においては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを、以下のようにシーケンスパラメータセット、またはスライスヘッダで記述する。

scaled_ref_layer_left_offset=0
scaled_ref_layer_top_offset=-270
scaled_ref_layer_right_offset=-960
scaled_ref_layer_bottom_offset=0

この記述により、下位階層の映像Ｄ１１０１のうち、左下の映像領域である第３の下位階層映像領域１５０３を、解像度比で縦横それぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第３の上位階層の映像Ｄ１１１５の符号化に必要な情報Ｄ１１０６としては、第３の下位階層映像領域１５０３の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など、第３の下位階層映像領域１５０３以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

抽出前上位階層映像１１２１から分割された右下の映像である第４の上位階層の映像Ｄ１１１８は、下位階層の映像Ｄ１１０１のうち、右下の映像領域である第４の下位階層映像領域１５０４から階層間予測を行うことで効率的な符号化が可能であるので、第４の符号化ストリームＤ１１１９においては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを、以下のように、シーケンスパラメータセット、またはスライスヘッダで記述する。

scaled_ref_layer_left_offset = -960
scaled_ref_layer_top_offset = -270
scaled_ref_layer_right_offset = 0
scaled_ref_layer_bottom_offset=0

この記述により、下位階層の映像Ｄ１１０１のうち、右下の映像領域である第４の下位階層映像領域Ｄ１５０４を、解像度比で縦横それぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第４の上位階層の映像Ｄ１１１８の符号化に必要な情報Ｄ１１０７としては、第４の下位階層映像領域１５０４の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など、第４の下位階層映像領域Ｄ１５０４以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

本第８実施形態においては、抽出前上位階層映像Ｄ１１２１の輝度が横３８４０×縦２１６０サンプル数であり、抽出前上位階層映像Ｄ１１２１を縦と横にそれぞれ等分に２分割して計４分割した輝度が横１９２０×縦１０８０サンプル数である各映像を第１の上位階層の映像Ｄ１１０９〜第４の上位階層の映像Ｄ１１１８としたが、本発明における抽出前上位階層映像Ｄ１１２１の輝度のサンプル数や、分割の数、下位階層の映像Ｄ１１０１の輝度のサンプル数は、上記の例に限らないことは言うまでもない。

また、ストリーム多重化部１１２５を備えず、第１の符号化ストリームＤ１１１０、第２の符号化ストリームＤ１１１３、第３の符号化ストリームＤ１１１６、第４の符号化ストリームＤ１１１９を個々に装置外部に出力してもよいし、第１の符号化ストリームＤ１１１０には、下位階層の映像Ｄ１１０１を符号化したストリームの情報が含まれていても良いし、第２の符号化ストリームＤ１１１３には、下位階層の映像Ｄ１１０１を符号化したストリームの情報が含まれていても良いし、第３の符号化ストリームＤ１１１６には、下位階層の映像Ｄ１１０１を符号化したストリームの情報が含まれていても良いし、第４の符号化ストリームＤ１１１９には、下位階層の映像Ｄ１１０１を符号化したストリームの情報が含まれていても良い。

第１の符号化ストリームＤ１１１０と第２の符号化ストリームＤ１１１３と第３の符号化ストリームＤ１１１６と第４の符号化ストリームＤ１１１９の４つの符号化ストリームを出力することで、伝送路の帯域に制限がある場合でも、４つの伝送路に分けて符号化ストリームを送出することができる。

また、第１の上位階層符号化部１１１１からの出力において、下位階層の映像Ｄ１１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層の二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第１の符号化ストリームＤ１１１０から下位階層の映像Ｄ１１０１と第１の上位階層の映像Ｄ１１０９の双方を復号することができる。

また、第２の上位階層符号化部１１１４からの出力において、下位階層の映像Ｄ１１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層の二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第２の符号化ストリームＤ１１１３から下位階層の映像Ｄ１１０１と第２の上位階層の映像Ｄ１１１２の双方を復号することができる。

また、第３の上位階層符号化部１１１７からの出力において、下位階層の映像Ｄ１１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層の二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第３の符号化ストリームＤ１１１６から下位階層の映像Ｄ１１０１と第３の上位階層の映像Ｄ１１１５の双方を復号することができる。

また、第４の上位階層符号化部１１２０からの出力において、下位階層の映像Ｄ１１０１を符号化したストリームを多重化させておくことで、下位階層と上位階層の二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第４の符号化ストリームＤ１１１９から下位階層の映像Ｄ１１０１と第４の上位階層の映像Ｄ１１１８の双方を復号することができる。

Ｉ．第９実施形態
次に、本発明の第９実施形態について説明する。
図２２は、本発明の第９実施形態による階層映像復号化装置の構成を示すブロック図である。図２２において、階層映像復号化装置は、下位階層復号化部２２０３、階層復号化中間部２２０６、第１の上位階層復号化部２２０９、及び第２の上位階層復号化部２２１２からなる。

下位階層復号化部２２０３は、下位階層の映像の符号化結果を含む第１の符号化ストリームＤ２２０１を入力し、少なくとも第１の上位階層の映像と第２の上位階層の映像の復号化に必要な情報Ｄ２２０２を出力する。階層復号化中間部２２０６は、下位階層復号部２２０３から第１の上位階層の映像と第２の上位階層の映像の復号化に必要な情報Ｄ２２０２を入力し、少なくとも第１の上位階層の映像の復号化に必要な情報Ｄ２２０４を第１の上位階層復号化部（第１の出力先）２２０９に出力し、少なくとも第２の上位階層の映像の復号化に必要な情報Ｄ２２０５を第２の上位階層復号化部（第２の出力先）２２１２に出力する。

第１の上位階層復号化部２２０９は、第１の上位階層の映像の符号化結果を含む第２の符号化ストリームＤ２２０７を入力し、かつ、階層復号化中間部２２０６から少なくとも第１の上位階層の映像の復号化に必要な情報Ｄ２２０４を入力し、第２の上位階層の映像を復号化して第１の復号映像Ｄ２２０８を出力する。第２の上位階層復号化部２２１２は、第２の上位階層の映像の符号化結果を含む第３の符号化ストリームＤ２２１０を入力し、かつ、階層復号化中間部２２０６から少なくとも第２の上位階層の映像の復号化に必要な情報Ｄ２２０５を入力し、第２の上位階層の映像を復号化して第２の復号映像Ｄ２２１１を出力する。

ここで、「上位階層の映像の復号化に必要な情報」とは、例えば、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおいては、下位階層の映像のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードである。また、「上位階層の映像の復号化に必要な情報」とは、ＭＰＥＧ−２やＭＰＥＧ−４においては、下位階層の映像のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像である。

本第９実施形態における階層復号化中間部２２０６が第１の上位階層復号化部（第１の出力先）２２０９に出力する情報Ｄ２２０４は、少なくとも第１の上位階層の映像の復号化に必要な情報が含まれていれば十分であり、また、階層復号化中間部２２０６が第２の上位階層復号化部（第２の出力先）２２１２に出力する情報Ｄ２２０５は、少なくとも第２の上位階層の映像の復号化に必要な情報が含まれていれば十分であるが、本発明は、これら最小限の情報に限定されない。

例えば、（Ｅ１）下位階層の映像を符号化したストリームを含む情報を第１の上位階層復号化部（第１の出力先）２２０９、または第２の上位階層復号化部（第２の出力先）２２１２、あるいは第１の上位階層復号化部（第１の出力先）２２０９と第２の上位階層復号化部（第２の出力先）２２１２の双方に出力しても良いし、（Ｅ２）第１の上位階層復号化部（第１の出力先）２２０９に出力する情報と第２の上位階層復号化部（第２の出力先）２２１２に出力する情報とが同一でも良い。

上記（Ｅ１）のように、階層復号化中間部２２０６が下位階層の映像を符号化したストリームを含む情報を第１の上位階層復号化部（第１の出力先）２２０９に出力することで、第１の上位階層復号化部２２０９において下位階層の映像と第１の上位階層の映像との双方を復号することができる。

また、階層復号化中間部２２０６が下位階層の映像を符号化したストリームを含む情報を第２の上位階層復号化部（第２の出力先）２２１２に出力することで、第２の上位階層復号化部２２１２において下位階層の映像と第２の上位階層の映像との双方を復号することができる。

上記（Ｅ２）のように、第１の上位階層復号化部（第１の出力先）２２０９に出力する情報Ｄ２２０４と第２の上位階層復号化部（第２の出力先）２２１２に出力する情報Ｄ２２０５とを同一にすることにより、階層復号化中間部２２０６の実装を簡素化することができる。

階層復号化中間部２２０６から、第１の上位階層復号化部２２０９、または第２の上位階層復号化部２２１２への出力の詳細については、例えば、以下のような方式が考えられる。

第１の方式としては、第１の上位階層の映像の復号化に必要な情報Ｄ２２０４と第２の上位階層の映像の復号化に必要な情報Ｄ２２０５とを、階層復号化中間部２２０６にあるメモリ（図示略）内の別々のアドレスに保持し、階層復号化中間部２２０６は、第１の上位階層復号化部２２０９から要求を受けた後に、第１の上位階層の映像の復号化に必要な情報Ｄ２２０４を、第１の上位階層復号化部２２０９にマクロブロックなど特定画素数領域単位毎に出力し、一方、第２の上位階層復号化部３３１２から要求を受けた後に、第２の上位階層の映像の復号化に必要な情報Ｄ２２０５を、第２の上位階層復号化部２２１２にマクロブロックなど特定画素数領域単位毎に出力する方式がある。

また、第２の方式としては、階層復号化中間部２２０６は、下位階層復号化部２２０３から入力された情報のうち、第１の上位階層の映像の復号化に必要な情報を含む第１の上位階層復号化部２２０９に出力すべき情報Ｄ２２０４があることを、第１の上位階層復号化部２２０９に通知した後に、第１の上位階層復号化部２２０９に出力し、第１の上位階層復号化部２２０９にあるメモリ（図示略）内に保持し、一方、下位階層復号化部２２０３から入力された情報のうち、第２の上位階層の映像の復号化に必要な情報を含む第２の上位階層復号化部２２１２に出力すべき情報Ｄ２２０５があることを、第２の上位階層復号化部２２１２に通知した後に、第２の上位階層復号化部２２１２に出力し、第２の上位階層復号化部２２１２にあるメモリ（図示略）内に保持する方式がある。

階層復号化中間部２２０６が第１の上位階層の映像の復号化に必要な情報であることを判別する方法や、階層復号化中間部２２０６が第１の上位階層の映像の復号化に必要な情報であることを判別する方法については、例えば（Ｆ１）符号化器側であらかじめ判別のために必要な情報（下位階層の映像のうち、第１の上位階層の映像を縮小した領域に該当する部分の位置座標や、下位階層の映像のうち、第２の上位階層の映像を縮小した領域に該当する部分の位置座標）を、第１の符号化ストリームＤ２２０１中に独自シンタックス要素として入れておく、（Ｆ２）本装置の前段においてあらかじめ判別のために必要な情報（下位階層の映像のうち、第１の上位階層の映像を縮小した領域に該当する部分の位置座標や、下位階層の映像のうち、第２の上位階層の映像を縮小した領域に該当する部分の位置座標）を、第１の符号化ストリームＤ２２０１中に独自シンタックス要素として入れておく、（Ｆ３）判別のために必要な情報を既知の映像符号化方式のシンタックス要素（例えば、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ ＧにおけるシーケンスパラメータセットＳＶＣ拡張シンタックスに含まれるseq_scaled_ref_layer_left_offset、seq_scaled_ref_layer_top_offset、seq_scaled_ref_layer_right_offset、seq_scaled_ref_layer_bottom_offset）を流用して第１の符号化ストリームＤ２２０１中に入れておく、（Ｆ４）符号化器側と復号化器側とで別途取り決めを行う、などの方法がある。

階層復号化中間部２２０６から第１の上位階層復号化部２２０９、または第２の上位階層復号化部２２１２への出力の詳細については、上記に限定されるものではなく、例えば、階層復号化中間部２２０６、第１の上位階層復号化部２２０９、または第２の上位階層復号化部２２１２の全てがメモリ（図示略）が備えていても良い。

上述した第９実施形態によれば、「第２の符号化ストリームＤ２２０７」には、下位階層の映像を符号化したストリームの情報が含まれていても良い。このように、第１の上位階層復号化部２２０９への入力において下位階層の映像を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を用いて、第２の符号化ストリームＤ２２０７から下位階層の映像と第２の上位階層の映像との双方を復号することができる。

また、本第９実施形態によれば、「第３の符号化ストリームＤ２２１０」には、下位階層の映像を符号化したストリームの情報が含まれていても良い。このように、第２の上位階層復号化部２２１２への入力において下位階層の映像を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を用いて、第３の符号化ストリームＤ２２１０から下位階層の映像と第２の上位階層の映像との双方を復号することができる。

Ｊ．第１０実施形態
次に、本発明の第１０実施形態について説明する。
図２３は、本発明の第１０実施形態による階層映像復号化装置の構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。本第１０実施形態では、上述した第９実施形態における第３の符号化ストリームＤ２２１０が第１の符号化ストリームＤ２２０１と同一である場合である。図２３において、第１の符号化ストリームＤ２２０１は、下位階層復号化部２２０３と第２の上位階層復号化部２２１２との双方に入力される。

本第１０実施形態は、前述した第１実施形態による階層映像符号化装置が出力する第１の符号化ストリームＤ１０８に下位階層の映像Ｄ１０１を符号化したストリームが含まれており、かつ、第１実施形態による階層映像符号化装置が出力する第２の符号化ストリームＤ１１１に下位階層の映像Ｄ１０１を符号化したストリームが含まれていない場合には、この２つの第１の符号化ストリームＤ１０８、及び第２の符号化ストリームＤ１１１を、本第１０実施形態の階層映像復号化装置に、第１の符号化ストリームＤ２２０１、及び第２の符号化ストリームＤ２２０７として入力することで復号化が可能になる。

Ｋ．第１１実施形態
次に、本発明の第１１実施形態について説明する。
図２４は、本発明の第１１実施形態による階層映像復号化装置の構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。図２４において、本第１１実施形態による階層映像復号化装置における下位階層符号化部２４０３は、更に、下位階層の映像符号化結果を含む第３の復号映像Ｄ２４１４を出力する。

下位階層の映像を復号化する他の装置がない場合には、本第１１実施形態のように、下位階層復号化部２４０３が下位階層の映像を復号化して第３の復号映像Ｄ２４１４を出力することで、本階層映像復号化装置のみで下位階層の映像を復号化することができる。

なお、複数の伝送路に分けて符号化ストリームを入力する場合には、各符号化ストリームに含まれる映像を表示するタイミングを同期・調整する必要があるが、以下の既知の技術によって解決できる。

（Ｇ１）映像信号の付加情報であるタイムコードを符号化器において、ビットストリームのフィールドに埋め込み、復号化器側で、ビットストリームからその値を読み出し、出力映像と共に出力することで、フレーム同期化装置がこの時刻情報を元に各チャネルの同期を取る。

（Ｇ２）各チャネルの符号化前の映像の有効領域内にフレーム時刻情報を示す映像マーカを符号化器側で埋め込み、復号化器側のフレーム同期化装置で、各チャネルのデコーダの出力映像から映像マーカを読み込み、フレーム時刻情報を検出して、その情報を元に各チャネルの同期を取る。

（Ｇ３）符号化器・復号化器において、チャネル間のＳＴＣ（System Time Clock）を共通化し、同一ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）のピクチャを同一タイミングで出力する。

Ｌ．第１２実施形態
次に、本発明の第１２実施形態について説明する。
図２５は、本第１２実施形態による階層映像復号化装置の構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。図２５において、本第１２実施形態による階層映像復号化装置は、図２２の構成に対して、第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とが多重化されている入力多重化ストリームＤ２５１５を入力し、第２の符号化ストリームＤ２２０７を分離して第１の上位階層復号化部２２０９に出力し、第３の符号化ストリームＤ２２１０を分離して第２の上位階層復号化部２２１２に出力するストリーム逆多重化部２５１６を更に備えている。

第４実施形態の階層映像符号化装置が出力する多重化した符号化ストリームＤ４１６を、本第１２実施形態の階層映像復号化装置のストリーム逆多重化部２５１６に入力し、複数のストリームに分離することで、装置全体に入力されるストリームの数を減じて装置実装コストを削減することができる。

具体的な逆多重化については、（Ｈ１）ＭＰＥＧ２システム（ISO/IEC 13818-1、ＡＭＥＮＤＭＥＮＴの記述も含む）のＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、（Ｈ２）ＭＰ４ファイルフォーマット形式（ISO/IEC 14496-14）、（Ｈ３）ＡＶＣファイルフォーマット形式（ISO/IEC 14496-15）など既知の方式を利用する。

なお、本第１２実施形態によるストリーム逆多重化部２５１６は、第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とを分離して出力しているが、本発明は、これら最小限の逆多重化に限定されない。例えば、（Ｇ１）第１０実施形態と組み合わせて、第１の符号化ストリームＤ２２０１と第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とが多重化されている入力多重化ストリームＤ２５１５を、ストリーム逆多重化部２５１６において第１の符号化ストリームＤ２２０７と第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とに分離してストリームを出力しても良いし、（Ｇ２）音声や、ユーザーデータなどの映像以外の情報も分離してストリームをとして出力して良い。

上記（Ｇ１）のように、第１の符号化ストリームＤ２２０１と第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とを多重化したストリームＤ２５１５を入力し、ストリーム逆多重化部２５１６が第１の符号化ストリームＤ２２０１も分離して下位階層復号化部２２０３へ出力することで、装置全体に入力されるストリームの数を更に減じることができ、この入力多重化ストリームＤ２５１５から下位階層の映像と第１の上位階層の映像と第２の上位階層の映像を復号することができる。また、上記（Ｇ２）のように、音声や、ユーザーデータなど映像以外の情報も多重化されているストリームを入力することで、映像以外の情報もストリームに統合して伝送することができる。

Ｍ．第１３実施形態
次に、本発明の第１３実施形態について説明する。
図２６は、本第１３実施形態による階層映像復号化装置に入力される第２の符号化ストリームの構成を示す概念図である。また、図２７は、本第１３実施形態による階層映像復号化装置に入力される第３の符号化ストリームの構成を示す概念図である。

本第１３実施形態による階層映像復号化装置の構成は、前述した第９実施形態の構成（図２２参照）と同様であり、符号化ストリームとしてＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用している。

本第１３実施形態による第１の上位階層復号化部２２０９は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第１の値「１」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第２の符号化ストリームＤ２２０７として入力する。

また、第２の上位階層復号化部２２１２は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第２の符号化ストリームＤ２２０７におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値と同一の値０をｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第３の符号化ストリームＤ２２１０として入力する。

第１の上位階層復号化部２２０９は、図２６に示すように、第１の上位階層に対応するシーケンスパラメータセット２６０１、第１の上位階層に対応するピクチャパラメータセット２６０２、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０３、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０４、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０５の順に第２の符号化ストリームＤ２２０７を入力する。

第２の上位階層符号化部２２１２は、図２７に示すように、第２の上位階層に対応するシーケンスパラメータセット２７０１、第２の上位階層に対応するピクチャパラメータセット２７０２、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０３、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０４、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０５の順に第３の符号化ストリームＤ２２１０を入力する。

本第１３実施形態は、符号化ストリームとしてＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用しているが、本発明は、あくまでＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを「利用」するものであり、必ずしもストリームの全ての構造において必ずしも完全にＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに準拠することを必須の条件としない。

例えば、バッファリング期間ＳＥＩメッセージ（Buffering period SEI message）については、装置に入力されるビットストリームにおいて、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに適合するように第１の上位階層復号化部２２０９や、第２の上位階層復号化部２２１２に入力されても良いし、特に適合していなくても良い。適合していない場合には、独自シンタックス要素を用いたり、符号化器側と復号化器側で別途取り決めを行ったりなどして対応しても良い。

Ｎ．第１４実施形態
次に、本発明の第１４実施形態について説明する。
図２８は、本第１４実施形態による階層映像復号化装置の構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。図２８において、本第１４実施形態による階層映像復号化装置は、ストリーム逆多重化部２８１６を更に備えている。ストリーム逆多重化部２８１６は、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化されている入力多重化ストリーム２８１５を入力する。

また、ストリーム逆多重化部２８１６は、同一のアクセスユニット内で、ベースレイヤを含み、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第１の符号化ストリームＤ２８０１として下位階層復号化部２２０３に出力する。

また、ストリーム逆多重化部２８１６は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを、第２の符号化ストリームＤ２２０７として第１の上位階層復号化部２２０９に出力する。

さらに、ストリーム逆多重化部２８１６は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを、第３の符号化ストリームＤ２２１０として第２の上位階層復号化部２２１２に出力する。

また、下位階層復号化部２２０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第１の符号化ストリームＤ２８０１として入力し、第２の上位階層復号化部２２１２は、第１３実施形態で説明したｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値「１」より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第３の符号化ストリームＤ２２１０として入力する。

図２９は、本第１４実施形態によるストリーム逆多重化部２８１６に入力される入力多重化ストリーム２８１５の構成を示す概念図である。ストリーム逆多重化部２８１６は、下位階層に対応するシーケンスパラメータセット３００１、第１の上位階層に対応するシーケンスパラメータセット２６０１、第２の上位階層に対応するシーケンスパラメータセット２７０１、下位階層に対応するピクチャパラメータセット３００２、第１の上位階層に対応するピクチャパラメータセット２６０２、第２の上位階層に対応するピクチャパラメータセット２７０２、続いて、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００３、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０３、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０３、続いて、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００４、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０４、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０４、更に、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００５、
第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）２６０５、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）２７０５の順に多重化されている入力多重化ストリームＤ２８１５を入力する。

図３０は、本第１４実施形態によるストリーム逆多重化部２８１６が下位階層復号化部２２０３に出力する第１の符号化ストリームＤ２８０１の構成を示す概念図である。図３０において、ストリーム逆多重化部２８１６は、下位階層に対応するシーケンスパラメータセット３００１、下位階層に対応するピクチャパラメータセット３００２、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００４、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３００５の順に第１の符号化ストリームＤ２８０１を出力する。

本第１４実施形態においては、下位階層復号化部２２０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第１の符号化ストリームＤ２８０１として入力し、第１の符号化ストリームＤ２８０１におけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の値は０であり、ｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄは符号化されていない。

しかし、第２の上位階層復号化部２２１２は、第２の符号化ストリームＤ２２０７におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｑｄ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを、第３の符号化ストリームＤ２２１０として入力することが必要であるが、このｒｅｆ＿ｌａｙｅｒ＿ｑｄ＿ｉｄシンタックス要素の値が０である必要はない。

したがって、第１の符号化ストリームＤ２８０１におけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の値が０である必要はないことは容易に類推される。すなわち、下位階層復号化部２２０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第１の符号化ストリームＤ２８０１として入力する必要はなく、第２の符号化ストリームＤ２２０７と第３の符号化ストリームＤ２２１０とが共に第１の符号化ストリームＤ２８０１を下位階層とする上位階層のストリームであれば十分である。

本第１４実施形態は、符号化ストリームとして、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用しているが、本発明はあくまでＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを「利用」するものであり、必ずしもストリームの全ての構造において必ずしも完全にＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに準拠することを必須の条件としない。

例えば、バッファリング期間ＳＥＩメッセージ（Ｂuffering period SEI message）については、装置に入力されるビットストリームにおいてＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇに適合するように第１の上位階層復号化部２２０９や、第２の上位階層復号化部２２１２や、下位階層復号化部２２０３や、ストリーム逆多重化部２８０１６に入力されても良いし、特に適合していなくても良い。適合していない場合には、独自シンタックス要素を用いたり、符号化器側と復号化器側で別途取り決めを行ったりなどして対応しても良い

Ｏ．第１５実施形態
次に、本発明の第１５実施形態について説明する。
図３１は、本第１５実施形態による階層映像復号化装置に入力される符号化ストリームの構成を示す概念図である。なお、本第１５実施形態による階層映像復号化装置の構成は、前述した第１２実施形態の構成（図２５参照）と同様であるので説明を省略する。

本第１５実施形態によるストリーム逆多重化部２５１６は、下位階層に対応するシーケンスパラメータセット３１０１、第１の上位階層に対応するシーケンスパラメータセット３２０１、第２の上位階層に対応するシーケンスパラメータセット３３０１、下位階層に対応するピクチャパラメータセット３１０２、第１の上位階層に対応するピクチャパラメータセット３２０２、第２の上位階層に対応するピクチャパラメータセット３３０２、続いて、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０３、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０３、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０３、続いて、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０４、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０４、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０４、更に、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０５、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０５、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０５の順に多重化されている入力多重化ストリームＤ２５１５を入力する。

図３２は、本第１５実施形態によるストリーム逆多重化部２５１６が出力する第２の符号化ストリームＤ２２０７の構成を示す概念図である。ストリーム逆多重化部２５１６は、図３２に示すように、下位階層に対応するシーケンスパラメータセット３１０１、第１の上位階層に対応するシーケンスパラメータセット３２０１、下位階層に対応するピクチャパラメータセット３１０２、第１の上位階層に対応するピクチャパラメータセット３２０２、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０３、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０４、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０４、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０５、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３２０５の順に多重化されている第２の符号化ストリームＤ２２０７を、第１の上位階層復号化部（第１の出力先）２２０９に出力する。

図３３は、本第１５実施形態によるストリーム逆多重化部２５１６が出力する第３の符号化ストリームＤ２２１０の構成を示す概念図である。ストリーム逆多重化部２５１６は、図３３に示すように、下位階層に対応するシーケンスパラメータセット３１０１、第２の上位階層に対応するシーケンスパラメータセット３３０１、下位階層に対応するピクチャパラメータセット３１０２、第２の上位階層に対応するピクチャパラメータセット３３０２、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０３、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０４、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０４、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）３１０５、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３３０５の順に多重化されている第３の符号化ストリームＤ２２１０を、第２の上位階層復号化部（第２の出力先）２２１２に出力する。

本第１５実施形態によれば、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ における同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームであり、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値とｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値とが同一であり、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値よりｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値のほうが大きい符号化ストリームを入力された場合に、本第１５実施形態による階層映像復号化装置を用いて２つの符号化ストリームを出力することで、出力された符号化ストリームについては、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を用いて、下位階層の映像と上位階層の映像との双方うを復号することができるという利点がある。

Ｐ．第１６実施形態
次に、本発明の第１６実施形態について説明する。
図３４は、本第１３実施形態による階層映像復号化装置の構成を示すブロック図である。図３４において、ストリーム逆多重化部３４２３は、第１の符号化ストリームＤ３４０１と第２の符号化ストリームＤ３４０９と第３の符号化ストリームＤ３４１２と第４の符号化ストリーム３４１５と第５の符号化ストリームＤ３４１８とが多重化されている入力多重化ストリームＤ３４２２を入力する。

また、ストリーム逆多重化部３４２３は、入力多重化ストリームＤ３４２２から、第１の符号化ストリームＤ３４０１を分離して下位階層復号化部３４０３に出力し、第２の符号化ストリームＤ３４０９を分離して第１の上位階層復号化部３４１１に出力し、第３の符号化ストリームＤ３４１２を分離して第２の上位階層復号化部３４１４に出力し、第４の符号化ストリームＤ３４１５を分離して第３の上位階層復号化部３４１７に出力し、第５の符号化ストリームＤ３４１８を分離して第４の上位階層復号化部３４２０に出力する。

下位階層復号化部３４０３は、下位階層の映像の符号化結果を含む第１の符号化ストリームＤ３４０１を入力し、少なくとも第１の上位階層の映像と第２の上位階層の映像と第３の上位階層の映像と第４の上位階層の映像の復号化に必要な情報Ｄ３４０２を出力する。また、下位階層復号化部３４０３は、下位階層の映像を復号化して輝度が横１９２０×縦１０８０サンプル数である第五の復号映像３４２１を出力する。

階層復号化中間部３４０８は、下位階層復号部３４０３から第１の上位階層の映像と第２の上位階層の映像と第３の上位階層の映像と第４の上位階層の映像の復号化に必要な情報Ｄ３４０２を入力し、第１の上位階層の映像の復号化に必要な情報Ｄ３４０４を第２の上位階層復号化部３４１１に出力し、第２の上位階層の映像の復号化に必要な情報Ｄ３４０５を第２の上位階層復号化部３４１４に出力し、第３の上位階層の映像の復号化に必要な情報Ｄ３４０６を第３の上位階層復号化部３４１７に出力し、第４の上位階層の映像の復号化に必要な情報Ｄ３４０７を第４の上位階層復号化部３４２０に出力する。

第１の上位階層復号化部３４１１は、第１の上位階層の映像の符号化結果を含む第２の符号化ストリームＤ３４０９を入力し、階層復号化中間部３４０８から第１の上位階層の映像の復号化に必要な情報D３４０４を入力し、第２の上位階層の映像を復号化して輝度が横１９２０×縦１０８０サンプル数である第１の復号映像D３４１０を出力する。

第２の上位階層復号化部３４１４は、第２の上位階層の映像の符号化結果を含む第３の符号化ストリームＤ３４１２を入力し、階層復号化中間部３４０８から第２の上位階層の映像の復号化に必要な情報Ｄ３４０５を入力し、第２の上位階層の映像を復号化して輝度が横１９２０×縦１０８０サンプル数である第２の復号映像３４１３を出力する。

第３三の上位階層復号化部３４１７は、第３の上位階層の映像の符号化結果を含む第４の符号化ストリームＤ３４１５を入力し、階層復号化中間部３４０８から第３の上位階層の映像の復号化に必要な情報Ｄ３４０６を入力し、第３の上位階層の映像を復号化して輝度が横１９２０×縦１０８０サンプル数である第３の復号映像３４１６を出力する。

第４の上位階層復号化部３４２０は、第４の上位階層の映像の符号化結果を含む第５の符号化ストリームＤ３４１８を入力し、階層復号化中間部３４０８から第４の上位階層の映像の復号化に必要な情報Ｄ３４０７を入力し、第４の上位階層の映像を復号化して輝度が横１９２０×縦１０８０サンプル数である第４の復号映像Ｄ３４１９を出力する。

映像合成部３４２５は、輝度が横１９２０×縦１０８０サンプル数である第１の復号映像Ｄ３４１０を第１の上位階層復号化部３４１１から入力し、輝度が横３８４０×縦２１６０サンプル数である合成後上位階層映像Ｄ３４２４の左上１／４の領域に合成し、
輝度が横１９２０×縦１０８０サンプル数である第２の復号映像Ｄ３４１３を第２の上位階層復号化部３４１４から入力し、輝度が横３８４０×縦２１６０サンプル数である合成後上位階層映像Ｄ３４２４の右上１／４の領域に合成し、輝度が横１９２０×縦１０８０サンプル数である第３の復号映像Ｄ３４１６を第３の上位階層復号化部１１１７から入力し、輝度が横３８４０×縦２１６０サンプル数である合成後上位階層映像Ｄ３４２４の左下１／４の領域に合成し、輝度が横１９２０×縦１０８０サンプル数である第４の復号映像Ｄ３４１９を第４の上位階層復号化部１１２０から入力し、輝度が横３８４０×縦２１６０サンプル数である合成後上位階層映像Ｄ３４２４の右下１／４の領域に合成し、最終的に、輝度が横３８４０×縦２１６０サンプル数である合成後上位階層映像Ｄ３４２４を出力する。

図３５は、本第１６実施形態による第２の符号化ストリームＤ３４０９の構成を示す概念図である。また、図３６は、本第１６実施形態による第３の符号化ストリームＤ３４１２の構成を示す概念図である。また、図３７は、本第１６実施形態による第４の符号化ストリームＤ３４１５の構成を示す概念図である。また、図３８は、本第１６実施形態による第５の符号化ストリームＤ３４１８の構成を示す概念図である。なお、本第１６実施形態では、符号化ストリームとしてＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇを利用している。

第１の上位階層復号化部３４１１は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第１の値「１」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第２の符号化ストリームＤ３４０９として入力する。

第２の上位階層復号化部３４１４は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第２の値「２」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第２の符号化ストリームＤ３４０９におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第３の符号化ストリームＤ３４１２として入力する。

第３の上位階層復号化部３４１７は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第３の値「３」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第２の符号化ストリームＤ３４０９におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第４の符号化ストリームＤ３４１５として入力する。

第４の上位階層復号化部３４２０は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の同じ第４の値「４」に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ第２の符号化ストリームＤ３４０９におけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値「０」をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを第５の符号化ストリームＤ３４１８として入力する。

第１の上位階層復号化部３４１１は、図３５に示すように、第１の上位階層に対応するシーケンスパラメータセット３５０１、第１の上位階層に対応するピクチャパラメータセット３５０２、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３５０３、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３５０４、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３５０５の順に第２の符号化ストリームＤ３４０９を入力する。

第２の上位階層復号化部３４１４は、図３６に示すように、第２の上位階層に対応するシーケンスパラメータセット３６０１、第２の上位階層に対応するピクチャパラメータセット３６０２、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０３、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０４、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０５の順に第３の符号化ストリームＤ３４１２を入力する。

第３の上位階層復号化部３４１７は、図３７に示すように、第３の上位階層に対応するシーケンスパラメータセット３７０１、第３の上位階層に対応するピクチャパラメータセット３７０２、第３の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３７０３、第３の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３７０４、第３の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３７０５の順に第４の符号化ストリームＤ３４１５を入力する。

第４の上位階層復号化部３４２０は、図３８に示すように、第４の上位階層に対応するシーケンスパラメータセット３８０１、第４の上位階層に対応するピクチャパラメータセット３８０２、第４の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３８０３、第４の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３８０４、第４の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３８０５の順に第５の符号化ストリームＤ３４１８を入力する。

下位階層復号化部３４０３は、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第１の符号化ストリームＤ３４０１として入力する。ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化されている入力多重化ストリームＤ３４２２を入力する。

また、ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ベースレイヤを含み、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットとを除去して、ＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第１の符号化ストリームＤ３４０１として下位階層復号化部３４０３に出力する。

また、ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットとを除去して、ＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第２の符号化ストリームＤ３４０９として第２の上位階層復号化部３４１１に出力する。

また、ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットとを除去して、ＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第３の符号化ストリームＤ３４１２として第２の上位階層復号化部３４１４に出力する。

また、ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットとを除去して、ＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第４の符号化ストリームＤ３４１５として第３の上位階層復号化部３４１７に出力する。

さらに、ストリーム逆多重化部３４２３は、同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第４の値「４」に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値「１」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値「２」に関連付けられたＶＣＬ ＮＡＬユニットと、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第３の値「３」に関連付けられたＶＣＬ ＮＡＬユニットとを除去して、ＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを第５の符号化ストリームＤ３４１８として第４の上位階層復号化部３４２０に出力する。

図３９は、本第１６実施形態によるストリーム逆多重化部３４２３に入力される入力多重化ストリーム３４２２の構成を示す概念図である。ストリーム逆多重化部３４２３は、図３９に示すように、下位階層に対応するシーケンスパラメータセット４００１、第１の上位階層に対応するシーケンスパラメータセット３５０１、第２の上位階層に対応するシーケンスパラメータセット３６０１、第３の上位階層に対応するシーケンスパラメータセット３７０１、第４の上位階層に対応するシーケンスパラメータセット３８０１、下位階層に対応するピクチャパラメータセット４００２、第１の上位階層に対応するピクチャパラメータセット３５０２、第２の上位階層に対応するピクチャパラメータセット３６０２、第３の上位階層に対応するピクチャパラメータセット３７０２、第４の上位階層に対応するピクチャパラメータセット３８０２、続いて、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００３、第１の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=1,1 ref_layer_dq_id=0）３５０３、第２の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０３、第３の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）３７０３、第４の上位階層の映像の１番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）３８０３、続いて、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００４、第１の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３５０４、第２の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０４、第３の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）３７０４、第４の上位階層の映像の２番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）３８０４、更に、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００５、第１の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=1,ref_layer_dq_id=0）３５０５、第２の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=2,ref_layer_dq_id=0）３６０５、第３の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=3,ref_layer_dq_id=0）３７０５、第４の上位階層の映像の３番目のアクセスユニットのスライス（dependency_id=4,ref_layer_dq_id=0）３８０５の順に多重化されている入力多重化ストリームＤ３４２２を入力する。

図４０は、本第１６実施形態によるストリーム逆多重化部３４２３が下位階層復号化部３４０３に出力する第１の符号化ストリームＤ３４０１の構成を示す概念図である。ストリーム逆多重化部３４２３は、図４０に示すように、下位階層に対応するシーケンスパラメータセット４００１、下位階層に対応するピクチャパラメータセット４００２、下位階層の映像の１番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００３、下位階層の映像の２番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００４、下位階層の映像の３番目のアクセスユニットのスライス（dependency_id=0,ref_layer_dq_idは符号化されていない）４００５の順に第１の符号化ストリームＤ３４０１を出力する。

図４１は、本第１６実施形態による合成後上位階層映像Ｄ３４２４を示す概念図である。また、図４２は、本第１６実施形態による第１の復号映像Ｄ３４１０〜第４の復号映像Ｄ３４１９の位置関係を示す概念図である。ここで、本第１６実施形態による合成後上位階層映像Ｄ３４２４の解像度は、下位階層の映像である第５の復号映像Ｄ３４２１に対して、縦と横にそれぞれ２倍である。

また、図４３は、本第１６実施形態による下位階層の映像Ｄ４３０１を示す概念図である。また、図４４は、本第１６実施形態による下位階層の映像を縦と横にそれぞれ等分に２領域に分けて計４領域に分けた映像の位置関係を示す概念図である。

合成後上位階層映像Ｄ３４２４から分割された左上の映像である第１の復号映像Ｄ３４１０は、下位階層の映像Ｄ４３０１のうち、左上の映像領域である第１の下位階層映像領域４４０１から階層間予測を行うことで効率的な符号化が可能である。また、合成後上位階層映像Ｄ３４２４から分割された右上の映像である第２の復号映像Ｄ３４１３は、下位階層の映像Ｄ４３０１のうち、右上の映像領域である第２の下位階層映像領域４４０２から階層間予測を行うことで効率的な符号化が可能である。

同様に、合成後上位階層映像Ｄ３４２４から分割された左下の映像である第３の復号映像Ｄ３４１６は、下位階層の映像Ｄ４３０１のうち、左下の映像領域である第３の下位階層映像領域４４０３から階層間予測を行うことで効率的な符号化が可能である。また、合成後上位階層映像Ｄ３４２４から分割された右下の映像である第４の上位階層の映像Ｄ３４１９は、下位階層の映像Ｄ４３０１のうち、右下の映像領域である第４の下位階層映像領域４４０４から階層間予測を行うことで効率的な符号化が可能である。

ここで、「上位階層の映像の復号化に必要な情報」とは、ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおいては、下位階層の映像Ｄ４３０１のうち、当該上位階層の映像を縮小した領域に該当する部分を含む映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードである。上述したように、合成後上位階層映像Ｄ３４２４から分割された左上の映像である第１の復号映像Ｄ３４１０は、下位階層の映像４３０１のうち、左上の映像領域である第１の下位階層映像領域４４０１から階層間予測を行うことで効率的な符号化が可能であるので、第１の符号化ストリームＤ３４０１においては、下位階層のピクチャと上位階層のピクチャとの位置関係を表すシンタックス要素である、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetは、以下のようにシーケンスパラメータセット、またはスライスヘッダで記述されている。

scaled_ref_layer_left_offset=0
scaled_ref_layer_top_offset=0
scaled_ref_layer_right_offset=-960
scaled_ref_layer_bottom_offset=-270

この記述により、下位階層の映像Ｄ４３０１のうち、左上の映像領域である第１の下位階層映像領域４４０１を、解像度比で縦横をそれぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第１の復号映像Ｄ３４１０の復号化に必要な情報３４０４としては、第１の下位階層映像領域４４０１の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など第１の下位階層映像領域４４０１以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

合成後上位階層映像Ｄ３４２４から分割された右上の映像である第２の復号映像Ｄ３４１３は、下位階層の映像Ｄ４３０１のうち、右上の映像領域である第２の下位階層映像領域４４０２から階層間予測を行うことで効率的な符号化が可能であるので、第２の符号化ストリームにおいては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetは、以下のようにシーケンスパラメータセット、またはスライスヘッダで記述されている。

scaled_ref_layer_left_offset=-960
scaled_ref_layer_top_offset=0
scaled_ref_layer_right_offset=0
scaled_ref_layer_bottom_offset=-270

この記述により、下位階層の映像Ｄ４３０１のうち、右上の映像領域である第２の下位階層映像領域４４０２を、解像度比で縦横をそれぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第２の復号映像Ｄ３４１３の復号化に必要な情報３４０５としては、第２の下位階層映像領域４４０２の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など第２の下位階層映像領域４４０２以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

合成後上位階層映像Ｄ３４２４から分割された左下の映像である第３の復号映像Ｄ３４１６は、下位階層の映像Ｄ４３０１のうち、左下の映像領域である第３の下位階層映像領域４４０３から階層間予測を行うことで効率的な符号化が可能であるので、第３の符号化ストリームＤ３４１２においては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetは、以下のようにシーケンスパラメータセット、またはスライスヘッダで記述されている。

scaled_ref_layer_left_offset=0
scaled_ref_layer_top_offset=-270
scaled_ref_layer_right_offset=-960
scaled_ref_layer_bottom_offset=0

この記述により、下位階層の映像Ｄ４３０１のうち、左下の映像領域である第３の下位階層映像領域４４０３を、解像度比で縦横をそれぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第３の復号映像Ｄ３４１６の復号化に必要な情報Ｄ３４０６としては、第３の下位階層映像領域４４０３の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など第３の下位階層映像領域４４０３以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

合成後上位階層映像Ｄ３４２４から分割された右下の映像である第４の復号映像Ｄ３４９は、下位階層映像４３０１のうち、右下の映像領域である第４の下位階層映像領域４４０４から階層間予測を行うことで効率的な符号化が可能であるので、第４の符号化ストリームＤ３４１９においては、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetは、以下のようにシーケンスパラメータセット、またはスライスヘッダで記述されている。

scaled_ref_layer_left_offset=-960
scaled_ref_layer_top_offset=-270
scaled_ref_layer_right_offset=0
scaled_ref_layer_bottom_offset=0

この記述により、下位階層の映像Ｄ４３０１のうち、右下の映像領域である第４の下位階層映像領域４４０４を、解像度比で縦横をそれぞれ２倍で再サンプリングを行った映像を階層間予測に用いることができる。ここで、第４の復号映像Ｄ３４１９の復号化に必要な情報Ｄ３４０７としては、第４の下位階層映像領域４４０４の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含めば十分であるが、符号化効率向上などの目的のため、境界付近など第４の下位階層映像領域４４０４以外の下位階層映像領域の復号画像、予測誤差信号、動きベクトル、マクロブロックの符号化モードを含んでも良い。

本第１６実施形態においては、合成後上位階層映像Ｄ３４２４の輝度が横３８４０×縦２１６０サンプル数であり、合成後上位階層映像Ｄ３４２４を縦と横にそれぞれ等分に２分割して計４分割した輝度が横１９２０×縦１０８０サンプル数である各映像を第１の復号映像Ｄ３４１０〜第四の復号映像Ｄ３４１９としたが、本発明における合成後上位階層映像Ｄ３４２４の輝度のサンプル数や、分割の数、下位階層映像の輝度のサンプル数は、上記の例に限らないことは言うまでもない。

また、ストリーム逆多重化部３４２３を備えず、第２の符号化ストリームＤ３４０９、第３の符号化ストリームＤ３４１２、第４の符号化ストリームＤ３４１５、第５の符号化ストリームＤ３４１８が個々に装置に入力されても良いし、第２の符号化ストリームＤ３４０９には、下位階層の映像Ｄ４３０１を符号化したストリームの情報が含まれていても良いし、第３の符号化ストリームＤ３４１２には、下位階層の映像Ｄ４３０１を符号化したストリームの情報が含まれていても良いし、第４の符号化ストリームＤ３４１５には、下位階層の映像Ｄ４３０１を符号化したストリームの情報が含まれていても良いし、第５の符号化ストリームＤ３４１８には、下位階層の映像Ｄ４３０１を符号化したストリームの情報が含まれていても良い。

また、第２の符号化ストリームＤ３４０９と第３の符号化ストリームＤ３４１２と第４の符号化ストリームＤ３４１５と第５の符号化ストリームＤ３４８の４つの符号化ストリームを入力することで、伝送路の帯域に制限がある場合でも、４つの伝送路に分けて符号化ストリームを入力することができる。

また、第１の上位階層復号部３４１１への入力において、下位階層の映像Ｄ４３０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第２の符号化ストリームＤ３４０９から下位階層の映像と第１の上位階層の映像との双方を復号することができる。

また、第２の上位階層復号部３４１４への入力において、下位階層の映像Ｄ４３０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第３の符号化ストリームＤ３４１２から下位階層の映像と第２の上位階層の映像との双方を復号することができる。

また、第３の上位階層復号部３４１７への入力において、下位階層の映像Ｄ４３０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第４の符号化ストリームＤ３４１５から下位階層の映像と第３の上位階層の映像との双方を復号することができる。

同様に、第４の上位階層復号部３４２０への入力において、下位階層の映像Ｄ４３０１を符号化したストリームを多重化させておくことで、下位階層と上位階層との二階層分の復号化器で構成される通常の階層映像復号化器を利用して、第５の符号化ストリームＤ３４１８から下位階層の映像と第４の上位階層の映像との双方を復号することができる。

上述した第１乃至第１６実施形態によれば、階層映像符号化においては、上位階層の映像の解像度が下位階層の映像の解像度より大きい場合であっても、第１の上位階層符号化部と第２の上位階層符号化部に分かれて映像符号化するため、上位階層を映像符号化するために必要な演算量が下位階層を映像符号化するために必要な演算量よりも増大しても、階層映像符号化器全体の性能が上位階層の符号化器の性能の上限で制限されることなく、映像符号化を行うことができる。

また、同じ下位階層の映像を参照する複数の上位階層の映像がある場合でも、単一の下位階層符号化部で下位階層の符号化を行うため、下位階層と上位階層の二階層分の符号化器で構成される通常の階層映像符号化器を２つ用いた場合に比べて、下位階層の映像符号化器が冗長になることはなく、出力されるストリームも下位階層のストリーム１つ分余分にすることなく、映像符号化を行うことができる。

また、階層映像復号化においては、上位階層の映像の解像度が下位階層の映像の解像度より大きい場合であっても、第１の上位階層復号化部と第２の上位階層復号化部に分かれて映像復号化するため、上位階層を映像復号化するために必要な演算量が下位階層を映像復号化するために必要な演算量よりも増大しても、階層映像復号化器全体の性能が上位階層の復号化器の性能の上限で制限されることなく、映像復号化を行うことができる。

また、同じ下位階層の映像を参照する複数の上位階層の映像がある場合でも、単一の下位階層復号化部で下位階層の復号化を行うため、下位階層と上位階層の二階層分の復号化器で構成される通常の階層映像復号化器を２つ用いた場合に比べて、下位階層の映像復号化器が冗長になることはなく、入力されるストリームも下位階層のストリーム１つ分余分にすることなく、映像復号化を行うことができる。

１０３ 下位階層符号化部
１０６ 階層符号化中間部
１０９ 第１の上位階層符号化部
１１２ 第２の上位階層符号化部
２１４ 映像抽出部
３０３ 下位階層符号化部
４１７ ストリーム多重化部
５１９ 第１の映像縮小部
５２１ 第２の映像縮小部
５２２ 下位階層映像合成部
８０３ 下位階層符号化部
８１７ ストリーム多重化部
１１０３ 下位階層符号化部
１１０８ 階層符号化中間部
１１１１ 第１の上位階層符号化部
１１１４ 第２の上位階層符号化部
１１１７ 第３の上位階層符号化部
１１２０ 第４の上位階層符号化部
１１２２ 映像抽出部
１１２５ ストリーム多重化部
１５０１ 第１の下位階層映像領域
１５０２ 第２の下位階層映像領域
１５０３ 第３の下位階層映像領域
１５０４ 第４の下位階層映像領域
２２０３ 下位階層復号化部
２２０６ 階層復号化中間部
２２０９ 第１の上位階層復号化部
２２１２ 第２の上位階層復号化部
２４０３ 下位階層復号化部
２５１６ ストリーム逆多重化部
２８１６ ストリーム逆多重化部
３４０３ 下位階層復号化部
３４０８ 階層復号化中間部
３４１１ 第１の上位階層復号化部
３４１４ 第２の上位階層復号化部
３４１７ 第３の上位階層復号化部
３４２０ 第４の上位階層復号化部
３４２３ ストリーム逆多重化部
３４２５ 映像合成部

Claims (20)

1. 映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、
   下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化部と、
   前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間部と、
   前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、
   前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部と
   を備え、
   前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含む
   ことを特徴とする映像符号化装置。
2. 映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、
   下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化部と、
   前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間部と、
   前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、
   前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部と
   前記第１の上位階層の映像を入力し、前記第１の上位階層の映像を縮小した第１の縮小映像を出力する第１の映像縮小部と、
   前記第２の上位階層の映像を入力し、前記第２の上位階層の映像を縮小した第２の縮小映像を出力する第２の映像縮小部と、
   前記第１の映像縮小部から第１の縮小映像を入力し、前記第２の映像縮小部から第２の縮小映像を入力し、前記第１の縮小映像と前記第２の縮小映像とを含む映像を、前記下位階層の映像として前記下位階層符号化部に出力する下位階層映像合成部と
   備えることを特徴とする映像符号化装置。
3. 抽出前上位階層映像を入力し、前記抽出前上位階層映像から第１の部分領域を抽出して前記第１の上位階層の映像として前記第１の上位階層符号化部に出力し、前記抽出前上位階層映像から第２の部分領域を抽出して第２の上位階層の映像として前記第２の上位階層符号化部に出力する映像抽出部を更に備えることを特徴とする請求項１又は請求項２に記載の映像符号化装置。
4. 前記下位階層符号化部は、下位階層の映像を符号化した映像符号化結果を含む第３の符号化ストリームを出力することを特徴とする請求項１又は請求項２に記載の映像符号化装置。
5. 前記第１の上位階層符号化部が出力する前記第１の符号化ストリームと、前記第２の上位階層符号化部が出力する前記第２の符号化ストリームとを多重化し、多重化した符号化ストリームを出力するストリーム多重化部を更に備えることを特徴とする請求項１又は請求項２に記載の映像符号化装置。
6. 前記第１の上位階層符号化部は、
   ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第１の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを第１の符号化ストリームとして出力し、
   前記第２の上位階層符号化部は、
   ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ前記第１の符号化ストリームにおけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｄｑ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを前記第２の符号化ストリームとして出力する
   ことを特徴とする請求項１又は請求項２に記載の映像符号化装置。
7. 前記下位階層符号化部は、
   ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを第３の符号化ストリームとして出力し、
   前記第２の上位階層符号化部は、前記ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第２の符号化ストリームとして出力し、
   前記第１の符号化ストリームと、前記第２の符号化ストリームと、前記第３の符号化ストリームとを入力し、同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを出力するストリーム多重化部を更に備えることを特徴とする請求項６に記載の映像符号化装置。
8. 映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化装置であって、
   下位階層の映像に対して画素数の縦と横とがそれぞれ２倍である抽出前上位階層映像を入力し、前記抽出前上位階層映像を縦と横とにそれぞれ等分に２分割して計４分割し、前記抽出前上位階層映像から分割された左上の映像領域である第１の部分領域を抽出して第１の上位階層の映像として出力し、前記抽出前上位階層映像から分割された右上の映像領域である第２の部分領域を抽出して第２の上位階層の映像として出力し、前記抽出前上位階層映像から分割された左下の映像領域である第３の部分領域を抽出して第３の上位階層の映像として出力し、前記抽出前上位階層映像から分割された右下の映像領域である第４の部分領域を抽出して第４の上位階層の映像として出力する映像抽出部と、
   前記下位階層の映像を入力して符号化し、少なくとも、前記第１の上位階層の映像と前記第２の上位階層の映像と前記第３の上位階層の映像と前記第４の上位階層の映像との符号化に必要な第１の情報を生成するとともに、前記下位階層の映像を符号化した映像符号化結果を含む第５の符号化ストリームを出力する下位階層符号化部と、
   前記下位階層符号化部によって生成された前記第１の情報に基づいて、少なくとも前記第１の上位階層の映像の符号化に必要な第２の情報と、少なくとも前記第２の上位階層の映像の符号化に必要な第３の情報と、少なくとも前記第３の上位階層の映像の符号化に必要な第４の情報と少なくとも前記第４の上位階層の映像の符号化に必要な第５の情報とを生成する階層符号化中間部と、
   前記第１の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化部と、
   前記第２の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化部と、
   前記第３の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第４の情報に基づいて、前記第３の上位階層の映像を符号化して第３の符号化ストリームを出力する第３の上位階層符号化部と、
   前記第４の上位階層の映像を入力し、かつ、前記階層符号化中間部によって生成された前記第５の情報に基づいて、前記第４の上位階層の映像を符号化して第４の符号化ストリームを出力する第４の上位階層符号化部と、
   前記第１の上位階層符号化部が出力する前記第１の符号化ストリームと、前記第２の上位階層符号化部が出力する前記第２の符号化ストリームと、前記第３の上位階層符号化部が出力する前記第３の符号化ストリームと、前記第４の上位階層符号化部が出力する前記第４の符号化ストリームと、前記下位階層符号化部が出力する前記第５の符号化ストリームを多重化し、多重化した符号化ストリームを出力するストリーム多重化部と
   を備えることを特徴とする映像符号化装置。
9. 複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化装置であって、
   下位階層の映像の符号化結果を含む第１の符号化ストリームを入力し、少なくとも、第１の上位階層の映像と第２の上位階層の映像との復号化に必要な第１の情報を生成する下位階層復号化部と、
   前記下位階層復号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報とを生成する階層復号化中間部と、
   前記第１の上位階層の映像の符号化結果を含む第２の符号化ストリームを入力し、かつ、前記階層復号化中間部によって生成された前記第２の情報に基づいて、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化部と、
   前記第２の上位階層の映像の符号化結果を含む第３の符号化ストリームを入力し、かつ、前記階層復号化中間部によって生成された前記第３の情報に基づいて、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化部と
   を備え、
   前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含む
   ことを特徴とする映像復号化装置。
10. 前記第１の符号化ストリームと前記第３の符号化ストリームとが同一である
    ことを特徴とする請求項９に記載の映像復号化装置。
11. 前記下位階層復号化部は、
    前記下位階層の映像を復号化して第３の復号映像を出力する
    ことを特徴とする請求項９に記載の映像復号化装置。
12. 少なくとも、前記第２の符号化ストリームと、前記第３の符号化ストリームとが多重化されている入力多重化ストリームを入力し、該入力多重化ストリームから前記第２の符号化ストリームを分離して前記第１の上位階層復号化部に出力し、前記第３の符号化ストリームを分離して前記第２の上位階層復号化部に出力するストリーム逆多重化部を更に備えることを特徴とする請求項９に記載の映像復号化装置。
13. 前記第１の上位階層復号化部は、
    ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第１の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第２の符号化ストリームとして入力し、
    前記第２の上位階層復号化部は、
    ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の同じ第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットであり、かつ前記第２の符号化ストリームにおけるＶＣＬ ＮＡＬユニットのサブセット中に含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値と同一の値をｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素として含むＶＣＬ ＮＡＬユニットのサブセットを前記第３の符号化ストリームとして入力する
    ことを特徴とする請求項９に記載の映像復号化装置。
14. 前記下位階層復号化部は、
    ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇにおけるベースレイヤを前記第１の符号化ストリームとして入力し、
    前記第２の上位階層復号化部は、
    前記ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値より大きな値である、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたアクセスユニット内のＶＣＬ ＮＡＬユニットのサブセットを前記第３の符号化ストリームとして入力し、
    同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを入力し、
    同一のアクセスユニット内で、ベースレイヤを含み、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットとを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第１の符号化ストリームとして前記下位階層復号化部に出力し、
    同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第２の符号化ストリームとして前記第１の上位階層復号化部に出力し、
    同一のアクセスユニット内で、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットを含み、かつベースレイヤとｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットを除去してＶＣＬ ＮＡＬユニットを再配置した符号化ストリームを前記第３の符号化ストリームとして前記第２の上位階層復号化部に出力するストリーム逆多重化部を更に備えることを特徴とする請求項１３に記載の映像復号化装置。
15. 前記ストリーム逆多重化部は、
    ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｎｎｅｘ Ｇ における同一のアクセスユニット内で、ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニット、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームであり、かつ
    ｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値とｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットに含まれているｒｅｆ＿ｌａｙｅｒ＿ｉｄシンタックス要素の値が同一であり、かつｄｅｐｅｎｄｅｎｃｙ＿ｉｄシンタックス要素の第１の値よりｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値のほうが大きい符号化ストリームを入力し、
    ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第１の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを、前記第２の符号化ストリームとして前記第１の上位階層復号化部に出力し、
    ベースレイヤ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ シンタックス要素の第２の値に関連付けられたＶＣＬ ＮＡＬユニットの順にＶＣＬ ＮＡＬユニットを配置して多重化した符号化ストリームを、前記第３の符号化ストリームとして前記第２の上位階層復号化部に出力する
    ことを特徴とする請求項１４に記載の映像復号化装置。
16. 複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化装置であって、
    入力多重化ストリームを入力し、前記入力多重化ストリームから、少なくとも下位階層の映像の符号化結果を含む第１の符号化ストリームと、少なくとも第１の上位階層の映像の符号化結果を含む第２の符号化ストリームと、少なくとも第２の上位階層の映像の符号化結果を含む第３の符号化ストリームと、少なくとも第３の上位階層の映像の符号化結果を含む第４の符号化ストリームと、少なくとも第４の上位階層の映像の符号化結果を含む第５の符号化ストリームとを分離して出力するストリーム逆多重化部と、
    前記ストリーム逆多重化部が出力する前記第１の符号化ストリームを入力し、少なくとも、前記第１の上位階層の映像と前記第２の上位階層の映像と前記第３の上位階層の映像と前記前記第４の上位階層の映像との復号化に必要な第１の情報を生成するとともに、前記第１の符号化ストリームから、前記下位階層の映像を復号化して第５の復号映像を出力する下位階層復号化部と、
    前記下位階層復号化部によって生成された前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報と、前記第３の上位階層の映像の復号化に必要な第４の情報と、前記第４の上位階層の映像の復号化に必要な第５の情報とを生成する階層復号化中間部と、
    前記階層復号化中間部によって生成された前記第２の情報に基づいて、前記第２の符号化ストリームから、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化部と、
    前記階層復号化中間部によって生成された前記第３の情報に基づいて、前記第３の符号化ストリームから、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化部と、
    前記階層復号化中間部によって生成された前記第４の情報に基づいて、前記第４の符号化ストリームから、前記第３の上位階層の映像を復号化して第３の復号映像を出力する第３の上位階層復号化部と、
    前記階層復号化中間部によって生成された前記第５の情報に基づいて、前記第５の符号化ストリームから、前記第４の上位階層の映像を復号化して第４の復号映像を出力する第４の上位階層復号化部と、
    前記第１の上位階層復号化部が出力する前記第１の復号映像と、前記第２の上位階層復号化部が出力する前記第２の復号映像と、前記第３の上位階層復号化部が出力する前記第３の復号映像と、前記第４の上位階層復号化部が出力する前記第４の復号映像とを多重化し、多重化した合成後上位階層映像を出力する映像合成部と
    を備え、
    前記合成後上位階層映像の画素数は、前記第５の復号映像に対して縦と横にそれぞれ２倍であり、
    前記第１の復号映像、前記第２の復号映像、前記第３の復号映像、及び前記第４の復号映像は、前記合成後上位階層映像を縦と横にそれぞれ等分に２分割して計４分割した各映像であり、
    前記映像合成部は、前記第１の復号映像を前記合成後上位階層映像の左上１／４の領域に合成し、前記第２の復号映像を前記合成後上位階層映像の右上１／４の領域に合成し、前記第３の復号映像を前記合成後上位階層映像の左下１／４の領域に合成し、前記第４の復号映像を前記合成後上位階層映像の右下１／４の領域に合成する
    ことを特徴とする映像復号化装置。
17. 映像信号を粗い情報から細かい情報へと階層的に符号化する映像符号化方法であって、
    下位階層の映像を入力して符号化し、少なくとも第１の上位階層の映像と第２の上位階層の映像との符号化に必要な第１の情報を生成する下位階層符号化ステップと、
    前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の符号化に必要な第２の情報と、前記第２の上位階層の映像の符号化に必要な第３の情報とを生成する階層符号化中間ステップと、
    前記第１の上位階層の映像を入力し、かつ、前記第２の情報に基づいて、前記第１の上位階層の映像を符号化して第１の符号化ストリームを出力する第１の上位階層符号化ステップと、
    前記第２の上位階層の映像を入力し、かつ、前記第３の情報に基づいて、前記第２の上位階層の映像を符号化して第２の符号化ストリームを出力する第２の上位階層符号化ステップと
    を含み、
    前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含む
    ことを特徴とする映像符号化方法。
18. 複数の階層毎の符号化結果を含む多重化された符号化ストリームから階層毎の復号映像を復号化する映像復号化方法であって、
    下位階層の映像の符号化結果を含む第１の符号化ストリームを入力し、少なくとも、第１の上位階層の映像と第２の上位階層の映像との復号化に必要な第１の情報を生成する下位階層復号化ステップと、
    前記第１の情報に基づいて、少なくとも、前記第１の上位階層の映像の復号化に必要な第２の情報と、前記第２の上位階層の映像の復号化に必要な第３の情報とを生成する階層復号化中間ステップと、
    前記第１の上位階層の映像の符号化結果を含む第２の符号化ストリームを入力し、かつ、前記第２の情報に基づいて、前記第１の上位階層の映像を復号化して第１の復号映像を出力する第１の上位階層復号化ステップと、
    前記第２の上位階層の映像の符号化結果を含む第３の符号化ストリームを入力し、かつ、前記第３の情報に基づいて、前記第２の上位階層の映像を復号化して第２の復号映像を出力する第２の上位階層復号化ステップと
    を含み、
    前記第２の情報及び前記第３の情報のいずれか一方またはその両方が前記下位階層の映像を符号化したストリームの情報を含む
    ことを特徴とする映像復号化方法。
19. 請求項１から請求項８のいずれか一項に記載の映像符号化装置としてコンピュータを機能させるためのプログラム。
20. 請求項９から請求項１６のいずれか一項に記載の映像復号化装置としてコンピュータを機能させるためのプログラム。

Images