JP2019110566A - 符号化装置および符号化方法 - Google Patents

Abstract

【課題】タイルごとに時間方向に独立して符号化を行うことができる符号化装置及び方法を提供する。【解決手段】符号化装置５０は、符号化対象のカレント画像のピクチャをタイルに分割する分割部５３と、タイルの分割方法がカレント画像を含むシーケンス内で一定であるとき、タイルごとに、タイル内で検出された動きベクトルに基づいて、コロケーテッドなタイル内にある参照画像に対して動き補償処理を行うことにより、予測画像を生成し、予測画像を用いてカレント画像を符号化し、符号化データを生成する符号化部５４−１至５４−Ｎと、動きベクトルがタイル内で検出された場合、参照画像をコロケーテッドなタイル内に制限することを示すタイル分割可能情報を設定する設定部５５とを備える。【選択図】図３

Description

本技術は、符号化装置および符号化方法に関し、特に、タイルごとに時間方向に独立して符号化を行うことができるようにした符号化装置および符号化方法に関する。

現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。

HEVC規格では、ピクチャを、タイル、または、スライスといった単位に分割して符号化することができる。このような単位に分割して符号化された符号化ストリームを復号する場合、CABAC(Context-based Adaptive Binary Arithmetic Coding)に関する情報、イントラ予測モード、量子化値などを導出する処理において、分割単位の間で相関がない。

しかしながら、インター予測において動きベクトルの制約がないため、参照画像として、異なる時刻の異なるタイルの復号画像を用いることができる。そのため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

具体的には、例えば、図１に示すように、POC（Picture Order Count）がｔであるフレーム＃ｔとPOCがｔ-１であるフレーム＃ｔ−１が４つのタイルに分割されてインター予測される場合、フレーム＃ｔのCU（Coding Unit）について、フレーム＃ｔ−１の全４タイル内の復号画像を参照画像の候補とすることができる。

従って、例えば、フレーム＃ｔのタイルに固有のＩＤ（以下、タイルＩＤという）が１であるタイル＃１のCU１１が、フレーム＃ｔ−１のタイルＩＤが２であるタイル＃２内の復号画像１２が参照画像とされる場合がある。即ち、動きベクトル１３として、CU１１を始点とし、復号画像１２に対応するフレーム＃ｔの領域１２Ａを終点とするベクトルが検出される場合がある。このような場合、CU１１のタイル＃１とは別のタイル＃２の復号画像１２を参照する必要があるため、タイルごとに時間方向に独立して符号化や復号を行うことができない。

よって、復号装置は、全タイルの復号画像を保持する復号用の共有ＤＰＢ（Decoded Picture Buffer）を有する必要がある。

図２は、このような復号装置の構成の一例を示すブロック図である。

図２の復号装置３０は、復号部３１−１乃至３１−Ｎ、ＤＰＢ３２−１乃至３２−Ｎ、および共有ＤＰＢ３３により構成される。

復号装置３０には、Ｎ個（Ｎは任意の正の数）のタイルに分割され、タイル単位で符号化された符号化ストリームが入力され、各タイルの符号化データが、それぞれ、復号部３１−１乃至３１−Ｎに供給される。

復号部３１−１乃至３１−Ｎは、それぞれ、各タイルの符号化データを、共有ＤＰＢ３３に記憶されている所定のフレームの全タイルの復号画像のうちの所定の画像を、参照画像として用いて復号する。

具体的には、復号部３１−１は、タイルＩＤが１であるタイル＃１の符号化データを、参照画像を用いて復号し、その結果得られるタイル＃１の復号画像をＤＰＢ３２−１に供給する。同様に、復号部３１−２乃至３１−Ｎは、それぞれ、タイルＩＤが２であるタイル＃２、タイルＩＤが３であるタイル＃３、・・・、タイルＩＤがＮであるタイル＃Ｎの符号化データを、参照画像を用いて復号する。そして、復号部３１−２乃至３１−Ｎは、それぞれ、復号の結果得られるタイル＃２、タイル＃３、・・・、タイル＃Ｎの復号画像を、ＤＰＢ３２−２、ＤＰＢ３２−３，・・・、ＤＰＢ３２−Ｎに供給する。

ＤＰＢ３２−１乃至３２−Ｎは、ぞれぞれ、復号部３１−１乃至３１−Ｎのいずれかから供給される復号画像を記憶する。ＤＰＢ３２−１乃至３２−Ｎは、記憶している復号画像を共有ＤＰＢ３３に供給し、記憶させる。

共有ＤＰＢ３３は、ＤＰＢ３２−１乃至３２−Ｎから供給される同時刻のタイル＃１乃至タイル＃Ｎの復号画像を、１フレームの復号画像として記憶する。共有ＤＰＢ３３は、記憶しているフレーム単位の復号画像を復号結果として出力する。

また、図示は省略するが、符号化装置においても復号装置３０と同様に、インター予測のために共用のＤＰＢを設ける必要がある。

Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H10003 ver21,2012.2.17

以上のように、HEVC規格では、インター予測において動きベクトルの制約がないため、参照画像として、異なる時刻の異なるタイルの復号画像を用いることができる。従って、タイルごとに時間方向に独立して符号化や復号を行うことができない。

本技術は、このような状況に鑑みてなされたものであり、タイルごとに時間方向に独立して符号化を行うことができることができるようにするものである。

本技術の一側面の符号化装置は、符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部とを備える符号化装置である。

本技術の一側面の符号化方法は、本技術の一側面の符号化装置に対応する。

本技術の一側面においては、符号化対象のカレント画像のピクチャがタイルに分割されて符号化される場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像がコロケーテッドなタイル内に制限され、前記参照画像に対して動き補償処理が行われることにより、予測画像が生成され、生成された前記予測画像が用いられて前記カレント画像が符号化され、符号化ストリームが生成される。

なお、本技術の一側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。

本技術によれば、タイルごとに時間方向に独立して符号化を行うことができる。

本技術によれば、装置の高コスト化を防止することができる。

従来のインター予測の参照画像を説明する図である。 従来の復号装置の構成の一例を示すブロック図である。 本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。 図３の符号化部の構成例を示すブロック図である。 タイルを説明する図である。 動きベクトルを検出する際の制約を説明する図である。 インター予測の参照画像を説明する図である。 SPSのシンタックスの例を示す図である。 SPSのシンタックスの例を示す図である。 PPSのシンタックスの例を示す図である。 VUIのシンタックスの例を示す図である。 符号化ストリーム生成処理を説明するフローチャートである。 図１２の符号化処理を説明するフローチャートである。 図１２の符号化処理を説明するフローチャートである。 本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。 図１５の復号部の第１実施の形態の構成例を示すブロック図である。 図１５の復号装置の処理の概要を説明する図である。 図１５の復号装置の符号化ストリーム復号処理を説明するフローチャートである。 図１６の復号処理を説明するフローチャートである。 本技術を適用した符号化装置の第２実施の形態の符号化対象の画像の例を示す図である。 ２Ｄ画像の復号装置の一実施の形態の構成例を示すブロック図である。 図２１の復号装置の符号化ストリーム復号処理を説明するフローチャートである。 本技術を適用したテレビジョン会議システムの一実施の形態の構成例を示すブロック図である。 VUIのシンタックスの他の例を示す図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の構成例を示す図である。 本技術を適用した多視点画像復号装置の構成例を示す図である。 階層画像符号化方式の例を示す図である。 スペーシャルなスケーラブル符号化の例を説明する図である。 テンポラルなスケーラブル符号化の例を説明する図である。 信号雑音比のスケーラブル符号化の例を説明する図である。 本技術を適用した階層画像符号化装置の構成例を示す図である。 本技術を適用した階層画像復号装置の構成例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本技術を適用したテレビジョン装置の概略構成例を示す図である。 本技術を適用した携帯電話機の概略構成例を示す図である。 本技術を適用した記録再生装置の概略構成例を示す図である。 本技術を適用した撮像装置の概略構成例を示す図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。

＜第１実施の形態＞
（符号化装置の第１実施の形態の構成例）
図３は、本技術を適用した符号化装置の第１実施の形態の構成例を示すブロック図である。

図３の符号化装置５０は、A/D変換部５１、画面並べ替えバッファ５２、分割部５３、符号化部５４−１乃至５４−Ｎ、設定部５５、および伝送部５６により構成される。符号化装置５０は、入力信号として入力されたフレーム単位の画像を、タイルごとにHEVC方式に準じた方式で圧縮符号化する。

具体的には、符号化装置５０のA/D変換部５１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ５２に出力して記憶させる。画面並べ替えバッファ５２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、分割部５３に供給する。

分割部５３は、ユーザが図示せぬ入力部などを操作することによりシーケンス単位で指定したタイルの分割位置と分割数Ｎを示す情報(以下、タイル分割情報という)に基づいて、画面並べ替えバッファ５２から供給される画像をＮ個のタイルに分割する。分割部５３は、Ｎ個のタイルの画像を、符号化対象の画像として、それぞれ、符号化部５４−１乃至５４−Ｎに供給する。

符号化部５４−１乃至５４−Ｎは、分割部５３から供給される所定のタイルの画像を、時間方向に独立して、HEVC方式に準じた方式で圧縮符号化する。符号化部５４−１乃至５４−Ｎは、圧縮符号化の結果得られる各タイルの符号化データを設定部５５に供給する。なお、以下では、特に区別する必要がない場合、符号化部５４−１乃至５４−Ｎをまとめて符号化部５４という。

設定部５５は、タイル分割情報に基づいて、符号化部５４−１乃至５４−Ｎから供給される各タイルの符号化データを合成する。また、設定部５５は、タイル分割情報に基づいて、SPS（Sequence Parameter Set），PPS（Picture Parameter Set），VUI(Video Usability Information),APS（Adaptation Parameter Set）などを設定する。設定部５５は、合成された符号化データにSPS,PPS,VUI,APSなどを付加することにより符号化ストリームを生成し、伝送部５６に供給する。

伝送部５６は、設定部５５から供給される符号化ストリームを後述する復号装置に伝送する。

（符号化部の構成例）
図４は、図３の符号化部５４の構成例を示すブロック図である。

図４の符号化部５４は、演算部７１、直交変換部７２、量子化部７３、可逆符号化部７４、蓄積バッファ７５、逆量子化部７６、逆直交変換部７７、加算部７８、デブロックフィルタ７９、ＤＰＢ８０、スイッチ８１、イントラ予測部８２、インター予測部８３、予測画像選択部８４、およびレート制御部８５により構成される。

符号化部５４には、図３の分割部５３から所定のタイルの画像が符号化対象の画像として入力され、演算部７１、イントラ予測部８２、およびインター予測部８３に供給される。

演算部７１は、符号化部として機能し、予測画像選択部８４から供給される予測画像と、符号化対象の画像の差分を演算することにより、符号化対象の画像を符号化する。具体的には、演算部７１は、符号化対象の画像から予測画像を減算することにより、符号化対象の画像を符号化する。演算部７１は、その結果得られる画像を、残差情報として直交変換部７２に出力する。なお、予測画像選択部８４から予測画像が供給されない場合、演算部７１は、符号化対象の画像をそのまま残差情報として直交変換部７２に出力する。

直交変換部７２は、演算部７１からの残差情報に対して直交変換を施し、直交変換の結果得られる係数を量子化部７３に供給する。

量子化部７３は、直交変換部７２から供給される係数を量子化する。量子化された係数は、可逆符号化部７４に入力される。

可逆符号化部７４は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部８２から取得する。または、可逆符号化部７４は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などをインター予測部８３から取得する。

可逆符号化部７４は、量子化部７３から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABACなど）などの可逆符号化を行う。

また、可逆符号化部７４は、イントラ予測部８２から供給されるイントラ予測モード情報を、そのイントラ予測モード情報に対応する予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報を用いて差分符号化する。または、可逆符号化部７４は、動きベクトル生成部として機能し、所定の制約のもと、インター予測部８３から供給される動きベクトルをAMVP(Advanced Motion Vector Prediction)等により予測し、その予測ベクトルと実際の動きベクトルとの差分を、動きベクトル情報として生成する。

具体的には、AMVP等では、動きベクトル情報に対応する予測ブロックと空間方向に隣接する予測ブロック、コロケーテッドブロック（詳細は後述する）、コロケーテッドブロックと空間方向に隣接する予測ブロックなどの動きベクトルが、予測ベクトルとされる。

なお、本明細書において、コロケーテッド（co-located）とは、異なるピクチャ（フレーム、フィールド）において、同じ位置関係にある（同じ場所に位置する）ことを表す。従って、コロケーテッドブロックとは、異なるピクチャ（フレーム、フィールド）において、同じ位置関係にある（同じ場所に位置する）ブロックである。また、コロケーテッド画素とは、異なるピクチャ（フレーム、フィールド）において、同じ位置関係にある（同じ場所に位置する）画素である。

また、本明細書において、隣接（近接（neighboring））するとは、カレントピクチャ（フレーム、フィールド）から参照可能な位置関係にあることを表す。その位置関係としては時間的に直前または直後の関係が好適であるが、本技術の効果を奏する範囲内であれば、これに限定されない。なお、特に区別をする必要がない場合、時間方向の隣接と空間方向の隣接を、まとめて隣接という。時間方向の隣接とは、時間方向で参照可能な位置関係にあることを表す。空間方向の隣接とは、同一ピクチャ内で参照可能な位置関係にあることを表す。

可逆符号化部７４は、予測ベクトルとされる動きベクトルに対応する予測ブロックを、動きベクトル情報に対応する予測ブロックと同一のタイル内の予測ブロックに制限する。これにより、復号装置では、他のタイルの動きベクトルを参照する必要がなくなるため、インター予測符号化された符号化データを、タイルごとに時間方向に独立して復号することができる。

なお、動きベクトル情報としては、マージ情報を用いることもできる。マージ情報とは、動きベクトルについて、他の予測ブロックとマージするか否か、および、マージする場合にはどの予測ブロックとマージするかを示す情報である。マージする予測ブロックの候補としては、例えば、動きベクトル情報に対応する予測ブロックと空間方向に隣接する予測ブロックの他に、コロケーテッドブロック、コロケーテッドブロックに空間方向に隣接する予測ブロックがある。

但し、ここでは、マージする予測ブロックの候補は、動きベクトル情報に対応する予測ブロックと同一タイル内の予測ブロックに制限される。これにより、復号装置では、他のタイルの動きベクトルを参照する必要がなくなるため、インター予測符号化された符号化データを、タイルごとに時間方向に独立して復号することができる。

可逆符号化部７４は、動きベクトル情報としてマージ情報を用いる場合、インター予測部８３から供給される動きベクトルと、マージする予測ブロックの候補のいずれかの動きベクトルが同一であるかどうかを判定する。そして、可逆符号化部７４は、同一であると判定した場合、同一であると判定されたマージする予測ブロックの候補とマージすることを示すマージ情報を動きベクトル情報として生成する。一方、可逆符号化部７４は、同一ではないと判定した場合、マージしないことを示すマージ情報を動きベクトル情報として生成する。

可逆符号化部７４は、差分符号化されたイントラ予測モード情報、または、インター予測モード情報、動きベクトル情報、参照画像を特定する情報などを可逆符号化し、符号化に関する符号化情報とする。可逆符号化部７４は、可逆符号化された係数と符号化情報を、符号化データとして蓄積バッファ７５に供給し、蓄積させる。なお、符号化情報は、可逆符号化された係数のヘッダ情報とされてもよい。

蓄積バッファ７５は、可逆符号化部７４から供給される符号化データを、一時的に記憶する。また、蓄積バッファ７５は、記憶している符号化データを、図３の設定部５５に供給する。

また、量子化部７３より出力された、量子化された係数は、逆量子化部７６にも入力され、逆量子化された後、逆直交変換部７７に供給される。

逆直交変換部７７は、逆量子化部７６から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部７８に供給する。

加算部７８は、逆直交変換部７７から供給される復号対象の画像としての残差情報と、予測画像選択部８４から供給される予測画像を加算して、局部的に復号されたタイル単位の復号画像を得る。なお、予測画像選択部８４から予測画像が供給されない場合、加算部７８は、逆直交変換部７７から供給される残差情報を局部的に復号されたタイル単位の復号画像とする。加算部７８は、局部的に復号されたタイル単位の復号画像をデブロックフィルタ７９に供給するとともに、ＤＰＢ８０に供給して蓄積させる。

デブロックフィルタ７９は、加算部７８から供給される局部的に復号されたタイル単位の復号画像に対して、タイル単位でフィルタ処理（フィルタリング）を施す。フィルタ処理とは、ブロック歪を除去するデブロックフィルタ処理、リンギングを抑制するSAO(Sample adaptive offset)処理、およびクラス分類等を用いたALF（Adaptive loop filter）処理である。デブロックフィルタ７９は、フィルタ処理の結果得られるタイル単位の復号画像をＤＰＢ８０に供給し、蓄積させる。ＤＰＢ８０に蓄積されたタイル単位の復号画像は、参照画像としてスイッチ８１を介してイントラ予測部８２またはインター予測部８３に出力される。

イントラ予測部８２は、ＤＰＢ８０からスイッチ８１を介して読み出されたデブロックフィルタ７９でフィルタリングされていない参照画像を用いて、候補となる全てのイントラ予測モードのイントラ予測を行う。

また、イントラ予測部８２は、分割部５３から供給される符号化対象の画像と、イントラ予測の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部８２は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定し、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部８４に供給する。イントラ予測部８２は、予測画像選択部８４から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部７４に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。

Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。

インター予測部８３は、動き検出部８３Ａと動き補償処理部８３Ｂにより構成され、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き検出部８３Ａは、分割部５３から供給される符号化対象の画像と、ＤＰＢ８０からスイッチ８１を介して読み出される、その画像と時刻の異なる、デブロックフィルタ７９によりフィルタリングされた参照画像とを用いて、符号化対象の画像のタイル内で動き予測を行う。

より詳細には、動き検出部８３Ａは、符号化対象の画像のタイルと同一のタイルの、符号化対象の画像のフレームと異なるフレームのフィルタリングされた参照画像と、符号化対象の画像とを用いて、候補となる全てのインター予測モードの動きベクトルを検出する。動き補償処理部８３Ｂは、動き検出部８３Ａにより検出された動きベクトルに基づいて、デブロックフィルタ７９によりフィルタリングされた参照画像に対して動き補償処理を行うことにより、インター予測を行い、予測画像を生成する。

このとき、インター予測部８３は、符号化対象の画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、インター予測部８３は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部８４に供給する。また、インター予測部８３は、予測画像選択部８４から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部７４に出力する。

予測画像選択部８４は、イントラ予測部８２およびインター予測部８３から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部８４は、最適予測モードの予測画像を、演算部７１および加算部７８に供給する。また、予測画像選択部８４は、最適予測モードの予測画像の選択をイントラ予測部８２またはインター予測部８３に通知する。

レート制御部８５は、蓄積バッファ７５に蓄積された符号化データに基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部７３の量子化動作のレートを制御する。

（タイルの説明）
図５は、タイルを説明する図である。

図５に示すように、１ピクチャ（フレーム）は、複数のタイルに分割して符号化することができる。図５の例では、１ピクチャが４つのタイルに分割されている。各タイルには、ラスタスキャン順に、タイルＩＤが０から付与される。また、タイル内のLCU（Largest Coding Unit）は、ラスタスキャン順に符号化される。

また、１ピクチャは、複数のスライスに分割することもできる。タイルとスライスの境界は同一であっても異なっていてもよい。図５の例では、タイルＩＤが０であるタイル＃０とタイルＩＤが１であるタイル＃１は、それぞれ、２つのスライスにより構成される。また、タイルＩＤが３であるタイル＃３とタイルＩＤが４であるタイル＃４は、１つのスライスを構成する。但し、本実施の形態では、複数のタイルは、１つのスライスを構成しない。即ち、タイルは、１以上のスライスを含む。これにより、各タイルの符号化データは必ずスライスヘッダを含むため、タイル単位で符号化を行うことができる。また、１タイルが複数のスライスを含む場合、そのタイル内のスライスは、ラスタスキャン順に符号化される。

（動きベクトル検出の制約の説明）
図６は、図４の動き検出部８３Ａが動きベクトルを検出する際の制約を説明する図である。

図６に示すように、動き検出部８３Ａは、タイルＩＤがｉであるタイル＃i内のＣＵの参照画像の候補を、タイル＃ｉ内の画像に制約することにより、タイル内で動き予測を行う。これにより、動きベクトルMV(mvx,mvy)（単位はピクセル）は、以下の式（３）を満たす。

なお、式（３）において、(x,y)は、ＣＵの左上の画素のピクセル単位の座標であり、ｗとｈは、それぞれ、ＣＵの横幅、縦幅のピクセル単位の長さである。また、minX_in_TileID_iは、タイル＃ｉの左上の画素のｘ座標値であり、minY_in_TileID_iは、タイル＃ｉの左上の画素のｙ座標値である。また、maxX_in_TileID_iは、タイル＃iの右下の画素のｘ座標値であり、maxY_in_TileID_iは、タイル＃ｉの右下の画素のｙ座標値である。

以上のような制約が動きベクトルの検出時に設けられることにより、図７に示すように、インター予測時に、時間方向の参照画像として、他のタイルの復号画像を用いる必要がない。

即ち、図７に示すように、POCがtであるフレーム＃ｔとPOCがt-1であるフレーム＃ｔ−１が４つのタイルに分割されている場合、フレーム＃ｔのタイル＃１内のＣＵのインター予測は、フレーム＃ｔ−１のタイル＃１内の画像を参照画像として行われる。タイル＃２乃至タイル＃４のＣＵについても、タイル＃１と同様に、それぞれ、自分のタイル＃２、タイル＃３、タイル＃４内の画像を参照画像としてインター予測が行われる。よって、タイルごとに、時間方向に独立してインター予測を行うことができる。

（SPSの例）
図８と図９は、図３の設定部５５により設定されるSPSのシンタックスの例を示す図である。

図９の１９行目乃至２８行目に示すように、SPSには、シーケンス単位のタイル分割情報が設定される。タイル分割情報としては、２０行目に示すnum_tile_columns_minus1、２１行目に示すnum_tile_rows_minus1、２５行目に示すcolumn_width[i]、２７行目に示すrow_height［i］などがある。

num_tile_columns_minus1は、列方向（水平方向）のタイル数を表し、num_tile_rows_minus1は行方向（垂直方向）のタイル数を表す。また、column_width[i]は、各タイルの水平方向のピクセル単位の長さを表し、row_height［i］は、各タイルの垂直方向のピクセル単位の長さを表す。

また、図９の２９行目に示すように、SPSには、参照画像においてタイルを跨いでフィルタ処理が施されているかどうかを表すデブロックフィルタ情報（フィルタ情報）（loop_filter_across_tiles_enabled_flag）がシーケンス単位で設定される。符号化装置５０のデブロックフィルタ７９は、タイル単位でフィルタ処理を行うので、設定部５５は、デブロックフィルタ情報を偽(0)に設定する。

（PPSの例）
図１０は、図３の設定部５５により設定されるPPSのシンタックスの例を示す図である。

図１０の２１行目に示すように、PPSには、ピクチャ単位でタイル分割情報を制御するかどうかを表すtile_info_present_flagが設定される。設定部５５は、tile_info_present_flagを偽(0)に設定する。即ち、符号化装置５０では、タイルの分割方法がシーケンス内で一定にされ、ピクチャ間で変更されない。

なお、後述するピクチャ単位のタイル分割情報が、同一のシーケンス内のピクチャ間で同一である場合、tile_info_present_flagは正(1)に設定されるようにしてもよい。

また、２３行目乃至３３行目に示すように、PPSには、ピクチャ単位のタイル分割情報が、図９のシーケンス単位のタイル分割情報と同様に設定される。さらに、３５行目に示すように、PPSには、ピクチャ単位のデブロックフィルタ情報が設定される。

（VUIの例）
図１１は、図３の設定部５５により設定されるVUIのシンタックスの例を示す図である。

図１１の４行目に示すように、VUIには、タイル分割可能情報（tile_splittable_flag）が設定される。タイル分割可能情報は、タイル単位で復号可能であるかどうかを示す情報である。符号化装置５０は、動き予測をタイル内で行い、各種の制約を行うことにより、タイル単位で復号可能にするため、設定部５５は、タイル分割可能情報を正（1)に設定する。

なお、１行目のbitstream_restriction_flagが0である場合、復号側は、タイル分割可能情報は偽(0)であるとして、タイル単位で復号可能ではないと認識する。

（符号化装置の処理の説明）
図１２は、図３の符号化装置５０の符号化ストリーム生成処理を説明するフローチャートである。

図１２のステップＳ１１において、A/D変換部５１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ５２に出力して記憶させる。

ステップＳ１２において、画面並べ替えバッファ５２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替え、分割部５３に供給する。

ステップＳ１３において、分割部５３は、タイル分割情報に基づいて、画面並べ替えバッファ５２から供給される画像をＮ個のタイルに分割する。分割部５３は、Ｎ個のタイルの画像を、符号化単位の画像として、それぞれ、符号化部５４−１乃至５４−Ｎに供給する。

ステップＳ１４において、符号化部５４は、分割部５３から供給される所定のタイルの画像を、時間方向に独立して、HEVC方式に準じた方式で圧縮符号化する符号化処理を行う。この符号化処理の詳細は、後述する図１３および図１４を参照して説明する。

ステップＳ１５において、設定部５５は、タイル分割情報に基づいて、符号化部５４−１乃至５４−Ｎから供給される各タイルの符号化データを合成する。

ステップＳ１６において、設定部５５は、VUIのタイル分割可能情報を１に設定する。ステップＳ１７において、設定部５５は、SPSとPPSのデブロックフィルタ情報を０に設定する。また、設定部５５は、タイル分割情報などに基づいて、タイル分割可能情報以外のSPS，PPS，VUI,APSなどの情報を設定する。

このとき、設定部５５は、APSに含まれる、隣接する画像のSAO処理におけるパラメータを用いてSAO処理を行うかどうかを示すsao_repeat_row_flagとsao_merge_up_flagを、隣接する画像が異なるタイルの画像である場合、偽(0)に設定する。また、設定部５５は、APSに含まれる、隣接する画像のALF処理におけるパラメータを用いてALF処理を行うかどうかを示すalf_repeat_row _flag,alf_merge_up_flagを、隣接する画像が異なるタイルの画像である場合偽(0)に設定する。これにより、異なるタイル間でSAO処理とALF処理におけるパラメータが共有されない。従って、タイル単位でフィルタ処理を行い、符号化を行うことができる。

このように、sao_repeat_row_flag,sao_merge_up_flag,alf_repeat_row _flag、およびalf_merge_up_flagは、隣接する画像が異なるタイルの画像である場合偽(0)に設定されるので、フィルタ処理におけるパラメータをタイル間で共有しないことを表すパラメータ共有情報であるといえる。

ステップＳ１８において、設定部５５は、合成された符号化データにSPS,PPS,VUI,APSなどを付加することにより符号化ストリームを生成し、伝送部５６に供給する。

ステップＳ１９において、伝送部５６は、設定部５５から供給される符号化ストリームを後述する復号装置に伝送し、処理を終了する。

（符号化装置の処理の説明）
図１３および図１４は、図１２のステップＳ１４の符号化処理を説明するフローチャートである。この符号化処理は、例えばＣＵ単位で行われる。

ステップＳ３０において、イントラ予測部８２は、ＤＰＢ８０に記憶されている、符号化対象の画像と同一のタイルのフィルタリングされていない画像を参照画像として、候補となる全てのイントラ予測モードのイントラ予測を行うイントラ予測処理を行う。このとき、イントラ予測部８２は、分割部５３から供給される符号化対象の画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部８２は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定し、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部８４に供給する。

また、インター予測部８３は、ＤＰＢ８０に記憶されている、符号化対象の画像と同一のタイルのフィルタリングされた画像を参照画像として、候補となる全てのインター予測モードのタイル内の動き予測と動き補償処理を行う。このとき、インター予測部８３は、分割部５３から供給される符号化対象の画像と、動き補償処理の結果生成される予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、インター予測部８３は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定し、最適インター予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部８４に供給する。

ステップＳ３１において、予測画像選択部８４は、ステップＳ３０の処理によりイントラ予測部８２およびインター予測部８３から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部８４は、最適予測モードの予測画像を、演算部７１および加算部７８に供給する。

ステップＳ３２において、予測画像選択部８４は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ３２で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部８４は、最適インター予測モードで生成された予測画像の選択をインター予測部８３に通知する。これにより、インター予測部８３は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部７４に出力する。

そして、ステップＳ３３において、可逆符号化部７４は、インター予測部８３から供給される動きベクトルをAMVP等により予測し、その予測ベクトルと実際の動きベクトルとの差分を動きベクトル情報として生成する。このとき、AMVPにおいて予測ベクトルとされる動きベクトルに対応する予測ブロックは、動きベクトル情報に対応する予測ブロックと同一のタイル内の予測ブロックに制限される。

ステップＳ３４において、可逆符号化部７４は、インター予測部８３から供給されるインター予測モード情報および参照画像を特定するための情報、並びに動きベクトル情報を可逆符号化し、その結果得られる情報を符号化情報とする。そして、処理はステップＳ３６に進む。

一方、ステップＳ３２で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部８４は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部８２に通知する。これにより、イントラ予測部８２は、イントラ予測モード情報を可逆符号化部７４に供給する。

そして、ステップＳ３５において、可逆符号化部７４は、イントラ予測部８２から供給されるイントラ予測モード情報を差分符号化し、さらに可逆符号化して、その結果得られる情報を符号化情報とする。そして、処理はステップＳ３６に進む。

ステップＳ３６において、演算部７１は、分割部５３から供給される符号化対象の画像から、予測画像選択部８４から供給される予測画像を減算する。演算部７１は、減算の結果得られる画像を、残差情報として直交変換部７２に出力する。

ステップＳ３７において、直交変換部７２は、演算部７１からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部７３に供給する。

ステップＳ３８において、量子化部７３は、直交変換部７２から供給される係数を量子化する。量子化された係数は、可逆符号化部７４と逆量子化部７６に入力される。

ステップＳ３９において、可逆符号化部７４は、量子化部７３から供給される量子化された係数を可逆符号化する。可逆符号化部７４は、その結果得られる情報と、ステップＳ３４またはＳ３５の処理で生成された符号化情報から、符号化データを生成する。

図１４のステップＳ４０において、可逆符号化部７４は、符号化データを蓄積バッファ７５に供給し、蓄積させる。

ステップＳ４１において、蓄積バッファ７５は、蓄積されている符号化データを、設定部５５（図３）に出力する。

ステップＳ４２において、逆量子化部７６は、量子化部７３から供給される量子化された係数を逆量子化する。

ステップＳ４３において、逆直交変換部７７は、逆量子化部７６から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部７８に供給する。

ステップＳ４４において、加算部７８は、逆直交変換部７７から供給される残差情報と、予測画像選択部８４から供給される予測画像を加算し、局部的に復号されたタイル単位の復号画像を得る。加算部７８は、得られたタイル単位の復号画像をデブロックフィルタ７９に供給するとともに、ＤＰＢ８０に供給する。

ステップＳ４５において、デブロックフィルタ７９は、加算部７８から供給される局部的に復号されたタイル単位の復号画像に対して、タイル単位でフィルタリングを行う。デブロックフィルタ７９は、その結果得られるタイル単位の復号画像をＤＰＢ８０に供給する。

ステップＳ４６において、ＤＰＢ８０は、フィルタリング前後のタイル単位の復号画像を蓄積する。具体的には、ＤＰＢ８０は、加算部７８から供給されるタイル単位の復号画像とデブロックフィルタ７９から供給されるタイル単位の復号画像を蓄積する。ＤＰＢ８０に蓄積されたタイル単位の復号画像は、参照画像としてスイッチ８１を介してイントラ予測部８２またはインター予測部８３に出力される。そして、処理は図１２のステップＳ１４に戻り、ステップＳ１５に進む。

なお、図１３および図１４の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き予測・動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

以上のように、符号化装置５０は、符号化対象の画像と、符号化対象の画像と時刻の異なる参照画像とを用いて、タイル内で動き予測を行い、動きベクトルを生成する。従って、タイルごとに時間方向に独立して符号化を行うことができる。

なお、符号化装置５０は、各タイルの画像を符号化するＮ個の符号化部５４を有したが、１つの符号化部を有するようにしてもよい。この場合、符号化部は、タイルごとに復号画像を記憶するＤＰＢを有し、タイルＩＤが小さい順、即ちラスタスキャン順に、タイルごとに、画像を符号化する。

（復号装置の第１実施の形態の構成例）
図１５は、図３の符号化装置５０から伝送されてくる符号化ストリームを復号する、本技術を適用した復号装置の第１実施の形態の構成例を示すブロック図である。

図１５の復号装置９０は、受け取り部９１、抽出部９２、分割部９３、復号部９４−１乃至９４−Ｎ、画面並べ替えバッファ９５、およびD/A変換部９６により構成される。

復号装置９０の受け取り部９１は、符号化装置５０から伝送されてくる符号化ストリームを受け取り、抽出部９２に供給する。

抽出部９２は、符号化ストリームから、SPS,PPS,VUI,APS,符号化データなどを抽出し、分割部９３に供給する。また、抽出部９２は、SPSやPPSに含まれるタイル分割情報を画面並べ替えバッファ９５に供給する。

分割部９３は、抽出部９２から供給されるVUIに含まれるタイル分割可能情報と、SPSやPPSに含まれるタイル分割情報とに基づいて、符号化データをタイル単位に分割する。分割部９３は、その結果得られるＮ個のタイルの符号化データを、タイルごとに、復号部９４−１乃至９４−Ｎに供給する。また、分割部９３は、抽出部９２から供給されるSPS，PPS,APSなどを復号部９４−Ｎに供給する。

復号部９４−１乃至９４−Ｎは、それぞれ、分割部９３から供給されるSPS,PPS,APSなどを参照して、分割部９３から供給される所定のタイルの符号化データを、HEVC方式に準じた方式で復号する。即ち、復号部９４−１乃至９４−Ｎは、SPS,PPS、APSなどを参照して、符号化データをタイルごとに時間方向に独立して復号する。復号部９４−１乃至９４−Ｎは、復号の結果得られる復号画像を画面並べ替えバッファ９５に供給する。なお、以下では、特に区別する必要がない場合、復号部９４−１乃至９４−Ｎをまとめて復号部９４という。

画面並べ替えバッファ９５は、抽出部９２から供給されるタイル分割情報に基づいて、復号部９４−１乃至９４−Ｎから供給される各タイルの復号画像を並べてフレーム単位で記憶することにより、合成する。画面並べ替えバッファ９５は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部９６に供給する。

D/A変換部９６は、画面並べ替えバッファ９５から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

（復号部の構成例）
図１６は、図１５の復号部９４の第１実施の形態の構成例を示すブロック図である。

図１６の復号部９４は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、ＤＰＢ１０７、スイッチ１０８、イントラ予測部１０９、動き補償処理部１１０、およびスイッチ１１１により構成される。

復号部９４の蓄積バッファ１０１は、図１５の分割部９３から供給される所定のタイルの符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。

可逆復号部１０２は、蓄積バッファ１０１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。

また、可逆復号部１０２は、符号化情報としての差分符号化されたイントラ予測モード情報と、現在の予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報とを加算することにより、現在の予測ブロックのイントラ予測モード情報を求める。可逆復号部１０２は、現在のイントラ予測モード情報などをイントラ予測部１０９に供給する。

さらに、可逆復号部１０２は、動きベクトル生成部として機能し、符号化情報としての動きベクトル情報と、同一タイル内の他の予測ブロックの動きベクトルとを加算することにより、現在の予測ブロックの動きベクトルを求める。可逆復号部１０２は、求められた動きベクトル、符号化情報としての参照画像を特定するための情報、インター予測モード情報などを動き補償処理部１１０に供給する。さらに、可逆復号部１０２は、イントラ予測モード情報またはインター予測モード情報をスイッチ１１１に供給する。

逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、ＤＰＢ１０７、スイッチ１０８、イントラ予測部１０９、および、動き補償処理部１１０は、図４の逆量子化部７６、逆直交変換部７７、加算部７８、デブロックフィルタ７９、ＤＰＢ８０、スイッチ８１、イントラ予測部８２、および、インター予測部８３とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

加算部１０５は、復号部として機能し、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１１から供給される予測画像を加算することにより、復号を行う。加算部１０５は、復号の結果得られる復号画像をデブロックフィルタ１０６に供給するとともに、ＤＰＢ１０７に供給する。なお、スイッチ１１１から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像を復号画像として、デブロックフィルタ１０６に供給するとともに、ＤＰＢ１０７に供給して蓄積させる。

デブロックフィルタ１０６は、分割部９３から供給されるSPSやPPSに含まれるデブロックフィルタ情報に基づいて、加算部１０５から供給される復号画像に対して、タイル単位でフィルタリングを施すことにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる復号画像をＤＰＢ１０７に供給し、蓄積させるとともに、図１５の画面並べ替えバッファ９５に供給する。ＤＰＢ１０７に蓄積された所定のタイルの復号画像は、参照画像としてスイッチ１０８を介して読み出され、動き補償処理部１１０またはイントラ予測部１０９に供給される。

イントラ予測部１０９は、ＤＰＢ１０７からスイッチ１０８を介して読み出された、デブロックフィルタ１０６でフィルタリングされていない、復号対象の画像と同一のタイルの参照画像を用いて、イントラ予測モード情報が示す最適イントラ予測モードのイントラ予測を行う。イントラ予測部１０９は、その結果生成される予測画像をスイッチ１１１に供給する。

動き補償処理部１１０は、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、ＤＰＢ１０７からスイッチ１０８を介して、復号対象の画像と異なるフレームの、復号対象の画像と同一のタイルの、デブロックフィルタ１０６でフィルタリングされた参照画像を読み出す。即ち、動き補償処理部１１０は、参照画像を特定するための情報に基づいて、ＤＰＢ１０７からコロケーテッドなタイル内にある参照画像を読み出す。

動き補償処理部１１０は、動きベクトルに基づいて、参照画像に対してインター予測モード情報が示す最適インター予測モードの動き補償処理を行うことにより、最適インター予測モードのインター予測を行う。動き補償処理部１１０は、その結果生成される予測画像をスイッチ１１１に供給する。

スイッチ１１１は、可逆復号部１０２からイントラ予測モード情報が供給された場合、イントラ予測部１０９から供給される予測画像を加算部１０５に供給する。一方、可逆復号部１０２からインター予測モード情報が供給された場合、スイッチ１１１は、動き補償処理部１１０から供給される予測画像を加算部１０５に供給する。

（復号装置の処理の概要の説明）
図１７は、図１５の復号装置９０の処理の概要を説明する図である。

図１７に示すように、復号装置９０には、Ｎ個のタイルに分割されて符号化された符号化ストリームが、符号化装置５０から入力される。なお、この符号化ストリームには、タイル分割可能情報として正(1)が設定されている。

復号装置９０は、符号化ストリームを受け取り、符号化ストリームからSPS,PPS,VUI,APS、符号化データなどを抽出し、SPSやPPSに含まれるタイル分割情報に基づいて、符号化データをタイル単位に分割する。分割によって得られる各タイルの符号化データは、タイルごとに、復号部９４−１乃至９４−Ｎに供給される。具体的には、タイル＃１、タイル＃２、・・・、タイル＃Ｎの符号化データは、それぞれ、復号部９４−１、復号部９４−２、・・・、復号部９４−Ｎに供給される。

復号部９４−１は、復号処理部１２１−１とＤＰＢ１２２−１により構成される。復号処理部１２１−１は、復号部９４−１の蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、ＤＰＢ１０７、スイッチ１０８、イントラ予測部１０９、動き補償処理部１１０、およびスイッチ１１１（図１６）により構成される。復号処理部１２１−１は、タイル＃１の符号化データを復号する。

また、ＤＰＢ１２２−１は、復号部９４−１のＤＰＢ１０７により構成され、復号処理部１２１−１による復号の結果得られるタイル＃１の復号画像が記憶される。ＤＰＢ１２２−１に記憶されるタイル＃１の復号画像は、復号処理部１２１−１の復号に用いられる。

復号部９４−２乃至９４−Ｎは、復号部９４−１と同様に構成される。これにより、ＤＰＢ１２２−２乃至１２２−Ｎには、それぞれ、タイル＃２乃至タイル＃Ｎの復号画像が記憶される。

また、復号処理部１２１−１乃至１２１−Ｎにより得られるタイル＃１乃至タイル＃Ｎの復号画像は、画面並べ替えバッファ９５にも供給され、タイル分割情報に基づいて並べられることにより合成され、フレーム単位で記憶される。

以上のように、各タイルの符号化データは、そのタイルの復号画像を用いて独立に復号することができるので、復号装置９０は、全タイルの復号画像を保持する復号用の共有ＤＰＢを有する必要がない。

（復号装置の処理の説明）
図１８は、図１５の復号装置９０の符号化ストリーム復号処理を説明するフローチャートである。

図１８のステップＳ６１において、復号装置９０の受け取り部９１は、符号化装置５０から伝送されてくる符号化ストリームを受け取り、抽出部９２に供給する。

ステップＳ６２において抽出部９２は、符号化ストリームから、SPS,PPS,VUI,APS、符号化データなどを抽出し、分割部９３に供給する。また、抽出部９２は、SPSやPPSに含まれるタイル分割情報を画面並べ替えバッファ９５に供給する。

ステップＳ６３において、分割部９３は、抽出部９２から供給されるVUIに含まれるタイル分割可能情報が正(1)であるかどうかを判定する。分割部９３は、タイル分割可能情報が正(1)ではない場合、即ちタイル分割可能情報が偽(0)である場合、処理を終了する。

一方、ステップＳ６３で、分割部９３は、タイル分割可能情報が正(1)であると判定された場合、ステップＳ６４において、分割部９３、SPSやPPSに含まれるタイル分割情報に基づいて、符号化データをタイル単位に分割する。

ステップＳ６５において、分割部９３は、分割されたＮ個の各タイルの符号化データを、それぞれ、復号部９４−１乃至９４−Ｎに供給する。また、分割部９３は、抽出部９２から供給されるSPS，PPSなどを復号部９４−Ｎに供給する。

ステップＳ６６において、復号部９４は、分割部９３から供給されるSPS,PPSなどを参照して、分割部９３から供給される所定のタイルの符号化データを、HEVC方式に準じた方式で復号する復号処理を行う。この復号処理の詳細は、後述する図１９を参照して説明する。

ステップＳ６７において、画面並べ替えバッファ９５は、抽出部９２から供給されるタイル分割情報に基づいて、復号部９４−１乃至９４−Ｎから供給される各タイルの復号画像を並べてフレーム単位で記憶することにより、合成する。

ステップＳ６８において、画面並べ替えバッファ９５は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部９６に供給する。

ステップＳ６９において、D/A変換部９６は、画面並べ替えバッファ９５から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

図１９は、図１８のステップＳ６６の復号処理を説明するフローチャートである。

図１９のステップＳ１００において、復号部９４の蓄積バッファ１０１は、図１５の分割部９３から所定のタイルの符号化データを受け取り、蓄積する。蓄積バッファ１０１は、蓄積されている符号化データを可逆復号部１０２に供給する。なお、以下のステップＳ１０１乃至Ｓ１１０の処理は、例えばＣＵ単位で行われる。

ステップＳ１０１において、可逆復号部１０２は、蓄積バッファ１０１からの符号化データを可逆復号し、量子化された係数と符号化情報を得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。

また、可逆復号部１０２は、符号化情報としての差分符号化されたイントラ予測モード情報と、現在の予測ブロックと隣接する同一タイル内の予測ブロックのイントラ予測モード情報とを加算することにより、現在の予測ブロックのイントラ予測モード情報を求める。可逆復号部１０２は、現在の予測ブロックのイントラ予測モード情報をイントラ予測部１０９とスイッチ１１１に供給する。

ステップＳ１０２において、可逆復号部１０２は、符号化情報としての動きベクトル情報と、同一タイル内の他の予測ブロックの動きベクトルとを加算することにより、現在の予測ブロックの動きベクトルを生成する。可逆復号部１０２は、生成された動きベクトル、符号化情報としての参照画像を特定するための情報、インター予測モード情報などを動き補償処理部１１０に供給する。また、可逆復号部１０２は、インター予測モード情報をスイッチ１１１に供給する。

ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

ステップＳ１０４において、動き補償処理部１１０は、可逆復号部１０２からインター予測モード情報が供給されたかどうかを判定する。ステップＳ１０４でインター予測モード情報が供給されたと判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、動き補償処理部１１０は、可逆復号部１０２から供給される動きベクトル、インター予測モード情報、および参照画像を特定するための情報に基づいて、デブロックフィルタ１０６でフィルタリングされた、復号対象の画像と同一のタイルの参照画像を用いて動き補償処理を行う。動き補償処理部１１０は、その結果生成される予測画像を、スイッチ１１１を介して加算部１０５に供給し、処理をステップＳ１０７に進める。

一方、ステップＳ１０４でインター予測モード情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部１０９に供給された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、イントラ予測部１０９は、ＤＰＢ１０７からスイッチ１０８を介して読み出されたデブロックフィルタ１０６でフィルタリングされていない、復号対象の画像と同一のタイルの参照画像を用いて、イントラ予測モード情報のイントラ予測を行うイントラ予測処理を行う。イントラ予測部１０９は、イントラ予測処理の結果生成される予測画像を、スイッチ１１１を介して加算部１０５に供給し、処理をステップＳ１０７に進める。

ステップＳ１０７において、逆直交変換部１０４は、逆量子化部１０３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

ステップＳ１０８において、加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１１から供給される予測画像を加算することにより、復号を行う。加算部１０５は、その結果得られる復号画像をデブロックフィルタ１０６に供給するとともに、ＤＰＢ１０７に供給する。

ステップＳ１０９において、デブロックフィルタ１０６は、分割部９３から供給されるSPSやPPSに含まれるデブロックフィルタ情報に基づいて、加算部１０５から供給される復号画像に対して、タイル単位でフィルタリングを行う。デブロックフィルタ１０６は、フィルタリング後の復号画像をＤＰＢ１０７と画面並べ替えバッファ９５(図１５)に供給する。

ステップＳ１１０において、ＤＰＢ１０７は、加算部１０５から供給されるフィルタリング前の復号画像と、デブロックフィルタ１０６から供給されるフィルタリング後の復号画像を蓄積する。ＤＰＢ１０７に蓄積された復号画像は、参照画像としてスイッチ１０８を介して動き補償処理部１１０またはイントラ予測部１０９に供給される。そして、処理は、図１８のステップＳ６６に戻り、ステップＳ６７に進む。

以上のように、復号装置９０は、タイル分割可能情報と動きベクトル情報とに基づいて、タイルごとに、復号対象の画像と異なる時刻の、復号対象の画像と同一のタイル内にある参照画像を用いて動き補償処理を行う。従って、タイルごとに時間方向に独立して復号を行うことができる。その結果、復号装置９０は、例えば、Ｎ個のタイルのうちの所定のタイルのみを高速に再生することができる。

なお、復号装置９０は、各タイルの画像を復号するＮ個の復号部９４を有したが、１つの復号部９４を有するようにしてもよい。この場合、復号部は、タイルごとに復号画像を記憶するＤＰＢを有し、タイルＩＤが小さい順、即ちラスタスキャン順に、タイルごとに、画像を復号する。

＜第２実施の形態＞
（符号化対象の画像の例）
図２０は、本技術を適用した符号化装置の第２実施の形態の符号化対象の画像の例を示す図である。

図２０に示すように、符号化対象の画像は、３Ｄ表示に用いられる画像である３Ｄ画像として、左目用の画像（以下、Ｌ画像という）を画面の左半分に配置し、右目用の画像（以下、Ｒ画像という）を画面の右半分に配置した画像である。

そして、符号化対象の画像は、図２０に示すように、Ｌ画像とＲ画像が異なるタイルとなるように、タイル分割される。これにより、Ｌ画像のタイルは、タイル＃０となり、Ｒ画像のタイルは、タイル＃１となる。

なお、３Ｄ画像のＬ画像とＲ画像は、それぞれ、画面の上半分と下半分に配置されるようにしてもよい。

（符号化装置の第２実施の形態の構成例）
本技術を適用した符号化装置の第２実施の形態は、Ｎが２である符号化装置５０である。この符号化装置は、Ｌ画像とＲ画像を独立して符号化し、その結果得られる符号化ストリームを伝送する。

（２Ｄ画像の復号装置の一実施の形態の構成例）
図２１は、符号化装置の第２実施の形態で符号化された３Ｄ画像の符号化ストリームを復号する２Ｄ画像の復号装置の一実施の形態の構成例を示すブロック図である。

図２１に示す構成のうち、図１５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の復号装置１４０の構成は、分割部９３の代わりにタイル抽出部１４１が設けられている点、画面並べ替えバッファ９５の代わりに画面並べ替えバッファ１４２が設けられている点が図１５の構成と異なる。

タイル抽出部１４１は、抽出部９２から供給されるVUIに含まれるタイル分割可能情報と、SPSやPPSに含まれるタイル分割情報とに基づいて、符号化データをタイル単位に分割する。タイル抽出部１４１は、２個のタイルの符号化データのうちの、タイル＃１の符号化データを復号部９４−１に供給する。ここでは、Ｌ画像を用いて２Ｄ表示が行われるものとするが、Ｒ画像を用いて２Ｄ表示が行われるようにしてもよい。この場合、タイル＃１の符号化データではなく、タイル＃２の符号化データが復号部９４−１に供給される。

画面並べ替えバッファ１４２は、復号部９４−１から供給されるタイル＃１の復号画像をフレーム単位で記憶する。画面並べ替えバッファ１４２は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部９６に供給する。

（２Ｄ画像の復号装置の処理の説明）
図２２は、図２１の復号装置１４０の符号化ストリーム復号処理を説明するフローチャートである。

図２２のステップＳ１３１乃至Ｓ１３４の処理は、図１８のステップＳ６１乃至Ｓ６４の処理と同様であるので、説明は省略する。

ステップＳ１３５において、タイル抽出部１４１は、分割された２個のタイルの符号化データのうちのタイル＃１の符号化データを、復号部９４−１に供給する。ステップＳ１３６において、復号部９４−１は、図１９の復号処理を行う。

ステップＳ１３７において、復号部９４−１から供給されるタイル＃１の復号画像をフレーム単位で記憶する。

ステップＳ１３８とＳ１３９の処理は、図１８のステップＳ６８とＳ６９の処理と同様であるので、説明は省略する。

以上のように、符号化ストリームが、Ｌ画像とＲ画像が異なるタイルとなるようにタイル分割されて符号化された符号化ストリームである場合、Ｌ画像とＲ画像を独立して復号することができる。従って、復号装置１４０は、復号対象の符号化データのうちのタイル＃１のＬ画像の符号化データのみを復号することができる。その結果、２Ｄ画像を高速再生することが可能になる。また、復号装置１４０は、ＤＰＢの容量を削減したり、復号処理時の消費電力を削減したりすることができる。

同様に、符号化ストリームが、画面内の中心領域と、それ以外の領域でタイル分割されて符号化された符号化ストリームである場合、注目されている中心領域のみを高速に再生することができる。

（３Ｄ画像の復号装置の構成例）
図２０に示した３Ｄ画像の符号化ストリームを復号する３Ｄ画像の復号装置は、Ｎが２である図１５の復号装置である。この３Ｄ画像の復号装置は、Ｌ画像とＲ画像の符号化データを独立して復号し、合成することにより３Ｄ画像を得る。なお、３Ｄ画像の復号装置は、復号の結果得られるＬ画像とＲ画像を合成せずに出力するようにしてもよい。

また、第２実施の形態では、Ｌ画像とＲ画像が、それぞれ、１タイルに分割されたが、複数タイルに分割されるようにしてもよい。即ち、タイルは、Ｌ画像とＲ画像の両方を含まないように分割されれば、どのように分割されてもよい。

＜第３実施の形態＞
（テレビジョン会議システムの構成例）
図２３は、本技術を適用したテレビジョン会議システムの一実施の形態の構成例を示すブロック図である。

図２３のテレビジョン会議システム１６０は、撮影装置１６１−１乃至１６１−Ｍ、符号化装置１６２−１乃至１６２−Ｍ、合成装置１６３、復号装置１６４−１乃至１６４−Ｍ、および表示装置１６５−１乃至１６５−Ｍにより構成される。テレビジョン会議システム１６０は、異なる地点で会議に参加するＭ人の画像を撮影し、符号化して合成し、復号して表示する。

具体的には、テレビジョン会議システム１６０の撮影装置１６１−１乃至１６１−Ｍは、それぞれ、会議に参加するＭ人の各地点に配置される。撮影装置１６１−１乃至１６１−Ｍは、それぞれ、会議に参加する人の画像を撮影し、符号化装置１６２−１乃至１６２−Ｍに供給する。

符号化装置１６２−１乃至１６２−Ｍは、それぞれ、図３の符号化装置５０と同様に構成される。符号化装置１６２−１乃至１６２−Ｍは、撮影装置１６１から供給される画像を、タイルごとに独立して、HEVC方式に準じた方式で圧縮符号化する。符号化装置１６２−１乃至１６２−Ｍは、それぞれ、圧縮符号化の結果得られる符号化ストリームを合成装置１６３に伝送する。

合成装置１６３は、符号化装置１６２−１乃至１６２−Ｍから伝送されてくる符号化ストリームを受け取る。合成装置１６３は、合成ストリームのうちの符号化データを、それぞれ、異なるタイルの符号化データとして合成する。合成装置１６３は、合成の結果得られる符号化データのうちの、各タイルの符号化データの位置と分割数としてＭを示すタイル分割情報を生成する。合成装置１６３は、タイル分割情報とデブロックフィルタ情報としての偽(0)とを含むSPSを設定する。また、合成装置１６３は、動き制限情報としての偽(0)を含むVUI、デブロックフィルタ情報としての偽(0)を含むPPS、およびAPSを設定する。合成装置１６３は、SPS,PPS,VUI,APSなどを、合成の結果得られる符号化データに付加することにより、合成ストリームを生成する。合成装置１６３は、合成ストリームを復号装置１６４−１乃至１６４−Ｍに伝送する。

復号装置１６４−１乃至１６４−Ｍは、それぞれ、図１５の復号装置９０と同様に構成される。復号装置１６４−１乃至１６４−Ｍは、それぞれ、合成装置１６３から伝送されてくる合成ストリームを受け取る。復号装置１６４−１乃至１６４−Ｍは、それぞれ、合成ストリームをタイルごとに独立して復号し、その結果得られる復号画像を表示装置１６５−１乃至１６５−Ｍに供給する。

表示装置１６５−１乃至１６５−Ｍは、それぞれ、会議に参加するＭ人の各地点に配置される。表示装置１６５−１乃至１６５−Ｍは、復号装置１６４−１乃至１６４−Ｍから供給される復号画像を表示する。

なお、テレビジョン会議システム１６０では、表示装置１６５−１乃至１６５−Ｍが、それぞれ、会議に参加するＭ人の各地点に配置されたが、表示装置は、会議に参加するＭ人の一部の人の地点に配置されるようにしてもよい。また、復号画像は、会議に参加してない人の表示装置に表示されるようにしてもよい。

以上のように、テレビジョン会議システム１６０では、符号化装置１６２−１乃至１６２−Ｍが、タイルごとに独立して符号化を行う。従って、インター予測における動きベクトルは、常に、予測ブロックを含むタイル内の画像を参照画像として指すベクトルとなる。

よって、合成装置１６３が、符号化装置１６２−１乃至１６２−Ｍから供給される符号化ビットストリームに含まれる符号化データを、１画面の符号化データの一部としてそのまま合成しても、復号時に、合成後の符号化データのうちの自分以外の符号化装置の符号化データの復号画像が参照されない。その結果、正常に合成後の符号化データを復号することができる。従って、合成装置１６３は、符号化装置１６２−１乃至１６２−Ｍから供給される符号化ビットストリームを、VCL（Video Coding Layer）以下のレイヤの変更を行わずに容易に合成することができる。

このことは、会議に新たな人が参加したり、会議の参加者が途中退出したりすることにより、合成する符号化ビットストリームの数が動的に変化するテレビジョン会議システムにおいて特に有用である。

また、合成ストリームに含まれるＭ個の符号化データは、それぞれ、自分以外の符号化データの復号画像を参照しないため、合成ストリームは、各符号化データを含む符号化ストリームに再度分割することができる。その結果、合成ストリームに関する処理を容易に行うことができる。

なお、上述した説明では、タイルごとに独立して符号化および復号が行われたが、スライスごとに独立して符号化および復号が行われるようにしてもよい。

また、上述した説明では、タイル分割可能情報は、ピクチャを構成する全タイルに対して設定されたが、タイルごとに設定されるようにしてもよい。

＜VUIの他の例＞
図２４は、タイルごとにタイル分割可能情報が設定される場合のVUIのシンタックスの他の例を示す図である。

タイルごとにタイル分割可能情報が設定される場合、図２４の第５乃至第７行目に示すように、VUIには、行ごとに、行方向（水平方向）に並ぶ各タイルのタイル分割可能情報（tile_splittable_flag）が設定される。

これにより、ピクチャを構成するタイルのうち、所定のタイルのみをタイル単位で符号化および復号することができる。例えば、タイル数が４つであり、タイル＃１のタイル分割可能情報が正(1)であり、残りのタイル＃２乃至タイル＃４のタイル分割可能情報が偽(0)である場合、タイル＃１のみを独立して復号することができる。

なお、１行目のbitstream_restriction_flagが0である場合、復号側は、全てのタイルのタイル分割可能情報が偽(0)であるとして、全てのタイルがタイル単位で復号可能ではないと認識する。

＜第４実施の形態＞
（多視点画像符号化・多視点画像復号への適用）
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２５は、多視点画像符号化方式の一例を示す。

図２５に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの画像を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの画像を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューは、ベースビューの画像を利用するようにしても良いし、他のノンベースビューの画像を利用するようにしてもよい。

図２５のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述した第１乃至第３実施の形態の方法を適用するようにしてもよい。このようにすることにより、タイルごとに時間方向に独立して符号化や復号を行うことができる。

さらに、各ビューの符号化・復号において、上述した第１乃至第３実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS,VUI,APSのシンタクス要素等を、各ビューの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量（符号量）を低減することができる（つまり、符号化効率の低減を抑制することができる）。

（多視点画像符号化装置）
図２６は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２６に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、符号化装置５０（図３）や符号化装置１６２−１乃至１６２−Ｍ(図２３）を適用することができる。つまり、各ビューに対する符号化において、タイルごとに時間方向に独立して符号化を行うことができる。また、符号化部６０１および符号化部６０２は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタクス要素等）を用いて、符号化を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

（多視点画像復号装置）
図２７は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２７に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、復号装置９０（図１５）、復号装置１４０（図２１）、または復号装置１６４−１乃至１６４−Ｍ(図２３）を適用することができる。つまり、各ビューに対する復号において、タイルごとに時間方向に独立して復号を行うことができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタクス要素等）を用いて、復号を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

＜第５実施の形態＞
（階層画像符号化・階層画像復号への適用）
上述した一連の処理は、階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）に適用することができる。図２８は、階層画像符号化方式の一例を示す。

階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号（スケーラブル復号）は、その階層画像符号化に対応する復号である。

図２８に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

図２８の例のような階層画像を符号化・復号する場合、各レイヤの画像を符号化・復号するが、この各レイヤの符号化・復号に対して、上述した第１乃至第３実施の形態の方法を適用するようにしてもよい。このようにすることにより、タイルごとに時間方向に独立して符号化や復号を行うことができる。

さらに、各レイヤの符号化・復号において、上述した第１乃至第３実施の形態の方法で使用されるフラグやパラメータを共有するようにしてもよい。より具体的には、例えば、SPS,PPS,VUI,APSのシンタクス要素等を、各レイヤの符号化・復号において共有するようにしてもよい。もちろん、これら以外の必要な情報も、各レイヤの符号化・復号において共有するようにしてもよい。

このようにすることにより、冗長な情報の伝送を抑制し、伝送する情報量（符号量）を低減することができる（つまり、符号化効率の低減を抑制することができる）。

（スケーラブルなパラメータ）
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラビリティ（scalability）機能を有するパラメータは、任意である。例えば、図２９に示されるような空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。つまり、この場合、図２９に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤと合成することにより元の空間解像度が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図３０に示されるような、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３０に示されるように、各ピクチャが、元の動画像より低フレームレートのベースレイヤと、ベースレイヤと合成することにより元のフレームレートが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、この場合、図３１に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤと合成することにより元のSNRが得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。

スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、スケーラビリティ性を持たせるパラメータとして、ビット深度を用いることもできる（bit-depth scalability）。このビット深度スケーラビリティ（bit-depth scalability）の場合、レイヤ毎にビット深度が異なる。この場合、例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるようにすることができる。

また、スケーラビリティ性を持たせるパラメータとして、クロマフォーマットを用いることもできる（chroma scalability）。このクロマスケーラビリティ（chroma scalability）の場合、レイヤ毎にクロマフォーマットが異なる。この場合、例えば、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるようにすることができる。

（階層画像符号化装置）
図３２は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３２に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、符号化装置５０（図３）や符号化装置１６２−１乃至１６２−Ｍ(図２３）を適用することができる。つまり、各レイヤに対する符号化において、タイルごとに時間方向に独立して符号化を行うことができる。また、符号化部６２１および符号化部６２２は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタクス要素等）を用いて、イントラ予測のフィルタ処理の制御等を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

（階層画像復号装置）
図３３は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３３に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、復号装置９０（図１５）、復号装置１４０（図２１）、または復号装置１６４−１乃至１６４−Ｍ(図２３）を適用することができる。つまり、各レイヤに対する復号において、タイルごとに時間方向に独立して復号を行うことができる。また、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータ（例えば、画像間の処理に関するシンタクス要素等）を用いて、復号を行うことができる（すなわち、フラグやパラメータを共有することができる）ので、符号化効率の低減を抑制することができる。

＜第６実施の形態＞
（本技術を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、入力部８０６、出力部８０７、記憶部８０８、通信部８０９、及びドライブ８１０が接続されている。

入力部８０６は、キーボード、マウス、マイクロホンなどよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記憶部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインタフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８０８に記憶されているプログラムを、入出力インタフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インタフェース８０５を介して、記憶部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記憶部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第７実施の形態＞
（テレビジョン装置の構成例）
図３５は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。

チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。

デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。

映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。

表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。

音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。

外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。

制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。

制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。

なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。

このように構成されたテレビジョン装置では、デコーダ９０４に本願の復号装置（復号方法）の機能が設けられる。このため、タイルごとに時間方向に独立して復号を行うことができる。

＜第８実施の形態＞
（携帯電話機の構成例）
図３６は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。

また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。

携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。

また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。

なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。

データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。

多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。

このように構成された携帯電話装置では、画像処理部９２７に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、タイルごとに時間方向に独立して符号化および復号を行うことができる。

＜第９実施の形態＞
（記録再生装置の構成例）
図３７は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。

記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。

チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。

外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。

エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。

ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。

ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。

セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。

デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。

ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。

制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。

制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された記録再生装置では、デコーダ９４７に本願の復号装置（復号方法）の機能が設けられる。このため、タイルごとに時間方向に独立して復号を行うことができる。

＜第１０実施の形態＞
（撮像装置の構成例）
図３８は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。

光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。

カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。

画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。

ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。

外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。

メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。

また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。

このように構成された撮像装置では、画像データ処理部９６４に本願の符号化装置および復号装置（符号化方法および復号方法）の機能が設けられる。このため、タイルごとに独立して符号化および復号を行うことができる。

＜スケーラブル符号化の応用例＞
（第１のシステム）
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図３９に示される例のように、伝送するデータの選択のために利用される。

図３９に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

（第２のシステム）
また、スケーラブル符号化は、例えば、図４０に示される例のように、複数の通信媒体を介する伝送のために利用される。

図４０に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

（第３のシステム）
また、スケーラブル符号化は、例えば、図４１に示される例のように、符号化データの記憶に利用される。

図４１に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、以下のような構成もとることができる。

＜１＞ 符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、
前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部と
を備える符号化装置。
＜２＞ 前記符号化ストリームは、前記参照画像を前記コロケーテッドなタイル内に制限することを示すタイル制限情報を含む
＜１＞に記載の符号化装置。
＜３＞ 前記タイル制限情報を設定する設定部
をさらに備える
＜２＞に記載の符号化装置。
＜４＞ 前記符号化部により生成された符号化ストリームを伝送する伝送部と
をさらに備える
＜１＞乃至＜３＞のいずれかに記載の符号化装置。
＜５＞ 前記カレント画像と隣接する画像のうちの、前記カレント画像と同一の前記タイル内にある画像の動きベクトルと、前記カレント画像の動きベクトルとに基づいて、動きベクトル情報を生成する動きベクトル生成部
をさらに備える
＜１＞乃至＜４＞のいずれかに記載の符号化装置。
＜６＞ 前記参照画像に対して前記タイル単位でフィルタ処理を施すフィルタ部
をさらに備え、
前記動き補償処理部は、前記タイル内で検出された前記動きベクトルに基づいて、前記フィルタ部により前記フィルタ処理が施された前記参照画像に対して動き補償処理を行い、
前記設定部は、前記参照画像において前記タイルを跨いでフィルタ処理が施されていないことを表すフィルタ情報を設定する
＜３＞に記載の符号化装置。
＜７＞ 前記フィルタ部は、そのタイル内にある画像のパラメータを用いて、前記参照画像に対して前記フィルタ処理を施し、
前記設定部は、前記パラメータをタイル間で共有しないことを表すパラメータ共有情報を設定する
＜６＞に記載の符号化装置。
＜８＞ 前記タイルは、１以上のスライスを含む
＜１＞乃至＜７＞のいずれかに記載の符号化装置。
＜９＞ 前記設定部は、前記タイルの分割方法を示すタイル分割情報を設定する
＜３＞に記載の符号化装置。
＜１０＞ 前記タイル分割情報は、前記設定部によってPPS（Picture Parameter Set）に設定される
＜９＞に記載の符号化装置。
＜１１＞ 符号化装置が、
符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理ステップと、
前記動き補償処理ステップの処理により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化ステップと
を含む符号化方法。

５０ 符号化装置， ５５ 設定部， ５６ 伝送部， ７１ 演算部， ７４ 可逆符号化部， ７９ デブロックフィルタ， ８３Ａ 動き検出部， ８３Ｂ 動き補償処理部， ９０ 復号装置， ９１ 受け取り部， １０２ 可逆復号部， １０５ 加算部， １０６ デブロックフィルタ， １１０ 動き補償処理部， １４０ 復号装置， １６２−１乃至１６２−Ｍ 符号化装置， １６４−１乃至１６４−Ｍ 復号装置

Claims (11)

1. 符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理部と、
   前記動き補償処理部により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化部と
   を備える符号化装置。
2. 前記符号化ストリームは、前記参照画像を前記コロケーテッドなタイル内に制限することを示すタイル制限情報を含む
   請求項１に記載の符号化装置。
3. 前記タイル制限情報を設定する設定部
   をさらに備える
   請求項２に記載の符号化装置。
4. 前記符号化部により生成された符号化ストリームを伝送する伝送部と
   をさらに備える
   請求項１に記載の符号化装置。
5. 前記カレント画像と隣接する画像のうちの、前記カレント画像と同一の前記タイル内にある画像の動きベクトルと、前記カレント画像の動きベクトルとに基づいて、動きベクトル情報を生成する動きベクトル生成部
   をさらに備える
   請求項１に記載の符号化装置。
6. 前記参照画像に対して前記タイル単位でフィルタ処理を施すフィルタ部
   をさらに備え、
   前記動き補償処理部は、前記タイル内で検出された前記動きベクトルに基づいて、前記フィルタ部により前記フィルタ処理が施された前記参照画像に対して動き補償処理を行い、
   前記設定部は、前記参照画像において前記タイルを跨いでフィルタ処理が施されていないことを表すフィルタ情報を設定する
   請求項３に記載の符号化装置。
7. 前記フィルタ部は、そのタイル内にある画像のパラメータを用いて、前記参照画像に対して前記フィルタ処理を施し、
   前記設定部は、前記パラメータをタイル間で共有しないことを表すパラメータ共有情報を設定する
   請求項６に記載の符号化装置。
8. 前記タイルは、１以上のスライスを含む
   請求項１に記載の符号化装置。
9. 前記設定部は、前記タイルの分割方法を示すタイル分割情報を設定する
   請求項３に記載の符号化装置。
10. 前記タイル分割情報は、前記設定部によってPPS（Picture Parameter Set）に設定される
    請求項９に記載の符号化装置。
11. 符号化装置が、
    符号化対象のカレント画像のピクチャをタイルに分割して符号化する場合に、前記タイルの分割方法が前記カレント画像を含むシーケンス内で一定であるとき、前記タイル内で検出された動きベクトルに基づいて、参照画像をコロケーテッドなタイル内に制限し、前記参照画像に対して動き補償処理を行うことにより、予測画像を生成する動き補償処理ステップと、
    前記動き補償処理ステップの処理により生成された前記予測画像を用いて前記カレント画像を符号化し、符号化ストリームを生成する符号化ステップと
    を含む符号化方法。

Images