JPWO2017169722A1

JPWO2017169722A1 - 画像処理装置および方法

Info

Publication number: JPWO2017169722A1
Application number: JP2018508958A
Authority: JP
Inventors: 遊仲田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-03-28
Filing date: 2017-03-14
Publication date: 2019-02-07
Also published as: WO2017169722A1; US10630989B2; US20190052885A1

Abstract

本開示は、特殊再生を行う際のパフォーマンスを向上させることができるようにする画像処理装置および方法に関する。間引き情報判定部２０４は、符号化ストリームのピクチャ毎のシンタクスを復号し、復号されたシンタクス（SEIのuserdata）から間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するピクチャが間引き対象であるか否かを判定する。スライス復号部は、前記間引き情報判定部によりスライスが間引き対象であると判定された場合、前記スライスの復号を禁止する。本開示は、例えば、復号を行う画像処理装置に適用することができる。

Description

本開示は画像処理装置および方法に関し、特に、特殊再生を行う際のパフォーマンスを向上させるようにした画像処理装置および方法に関する。

動画像の圧縮手法として、MPEG(Moving Picture Experts Group)、H．264及びMPEG-4 Part10（Advanced Video Coding、以下 AVCと記す）、HEVC(High Efficiency Video Coding)が広く利用されている。

これらの圧縮手法を用いて、サムネイル再生やN倍速の早送り再生、(Nは整数でなくてもよい)などの特殊再生を行う場合、AU(Access Unit)を復号した後に表示するピクチャを選択することで間引いた処理が行われる。

間引く対象のAUは、復号後に表示順への並べ替えを行った後に決まるため、復号前には対象のAUが間引き対象かは判別が困難であった。さらに、復号対象のAUが後の復号の際に参照されるAUの場合、画の乱れを防ぐために必ず復号を行う必要がある。

一般に復号順と表示順は異なるために、復号時点では間引き対象か否かを確定させることは困難であり、従来、この参照される周期と、間引きの周期が同じ場合に限り、参照されないAUの復号を行わないことで、復号前に間引くことが可能であった。

一方で、参照されるピクチャの周期と間引きの周期が異なる場合には、表示順を確定させるために必要なシンタクスの復号後に一定の計算を行うことで、表示順を確定させてから間引く必要があった。例えば、特許文献１には、再生速度に基づいてデコーダから出力されるピクチャを選択する手法が提案されている。

特開２００６−１５７８６８号公報

以上のように、間引き再生などの特殊再生を行う場合において、不必要なピクチャをデコードしなくてはならず、それが、パフォーマンスの低下や遅延、メモリの使用量の増大に繋がっていた。

本開示は、このような状況に鑑みてなされたものであり、特殊再生を行う際のパフォーマンスを向上させることができるものである。

本開示の第１の側面の画像処理装置は、符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定する間引き判定部と、前記間引き判定部によりスライスが間引き対象であると判定された場合、前記スライスの復号を禁止する復号部とを備える。

前記間引き情報は、前記符号化ストリームのuserdataに含まれている。

前記間引き情報は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに含まれている。

前記間引き情報は、前記符号化ストリームの生成時にuserdataに挿入されている。

前記符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部とをさらに備え、前記間引き判定部は、前記表示順確定部により確定された表示順に基づいて、前記スライスデータが間引き対象であるか否かを判定することができる。

本開示の第１の側面の画像処理方法は、画像処理装置が、符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定し、前記スライスが間引き対象であると判定された場合、前記スライスの復号を禁止する。

本開示の第２の側面の画像処理装置は、特殊再生を行う際の間引きに関する情報である間引き情報を生成する間引き情報生成部と、画像データを符号化し、符号化ストリームを生成する符号化部と、前記間引き情報生成部により生成された間引き情報を、前記符号化部により生成された符号化ストリームに挿入する情報挿入部とを備える。

前記情報挿入部は、前記符号化ストリームのuserdataに、前記間引き情報生成部により生成された間引き情報を挿入することができる。

前記情報挿入部は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに、前記間引き情報生成部により生成された間引き情報を挿入することができる。

前記間引き情報生成部は、GOP（Group Of Picture）構造に基づいて、前記間引き情報を生成することができる。

本開示の第２の側面の画像処理方法は、画像処理装置が、特殊再生を行う際の間引きに関する情報である間引き情報を生成し、画像データを符号化し、符号化ストリームを生成し、生成された間引き情報を、生成された符号化ストリームに挿入する。

本開示の第３の側面の画像処理装置は、符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部と、前記表示順確定部により確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定する間引き判定部と、前記間引き判定部によりスライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する復号部とを備える。

前記時間情報は、POC（Picture Order Count）情報である。

本開示の第３の側面の画像処理方法は、画像処理装置が、符号化ストリームを構成するスライスデータのうちスライスヘッダを復号し、復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定し、確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定し、前記スライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する。

本開示の第１の側面においては、符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かが判定される。そして、前記スライスが間引き対象であると判定された場合、前記スライスの復号が禁止される。

本開示の第２の側面においては、特殊再生を行う際の間引きに関する情報である間引き情報が生成され、画像データが符号化されて、符号化ストリームが生成される。そして、生成された間引き情報が、生成された符号化ストリームに挿入される。

本開示の第３の側面においては、符号化ストリームを構成するスライスデータのうちスライスヘッダが復号され、復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順が確定され、確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かが判定される。そして、前記スライスデータが間引き対象であると判定された場合、前記スライスデータの復号が禁止される。

本開示によれば、特殊再生を行う際のパフォーマンスを向上させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの構成例を示す図である。復号順に並んだ動画像データの例を示す図である。復号順で間引き周期が２乃至５における表示の必要性の有無を示す図である。表示順で間引き周期が２乃至５における表示の必要性の有無を示す図である。間引き可否情報をLSB詰め5bit分に着目した例を示す図である。符号化装置の構成例を示すブロック図である。コーディングユニットの構成例を説明する図である。スライス符号化部の構成例を示すブロック図である。図６の符号化装置の符号化処理について説明するフローチャートである。図９のステップＳ１５におけるスライスデータの符号化処理を説明するフローチャートである。符号化装置の他の構成例を示すブロック図である。図１１の符号化装置１１の符号化処理を説明するフローチャートである。復号装置の構成例を示すブロック図である。図１３のスライス復号部の構成例を示すブロック図である。図１３の復号装置の復号処理について説明するフローチャートである。図１５のステップＳ２０５のスライスデータの復号について説明するフローチャートである。本技術の復号順について説明する図である。復号装置の構成例を示すブロック図である。図１８の復号装置による復号処理を説明するフローチャートである。多視点画像符号化方式の例を示す図である。本開示を適用した多視点画像符号化装置の構成例を示す図である。本開示を適用した多視点画像復号装置の構成例を示す図である。階層画像符号化方式の例を示す図である。本開示を適用した階層画像符号化装置の構成例を示す図である。本開示を適用した階層画像復号装置の構成例を示す図である。コンピュータのハードウエアの構成例を示すブロック図である。本開示を適用したテレビジョン装置の概略構成例を示す図である。本開示を適用した携帯電話機の概略構成例を示す図である。本開示を適用した記録再生装置の概略構成例を示す図である。本開示を適用した撮像装置の概略構成例を示す図である。本開示を適用したビデオセットの概略的な構成の一例を示している。本開示を適用したビデオプロセッサの概略的な構成の一例を示している。本開示を適用したビデオプロセッサの概略的な構成の他の例を示している。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理システム）
２．第２の実施の形態（復号装置）
３．第３の実施の形態（多視点画像符号化・復号システム）
４．第４の実施の形態（階層画像符号化・復号システム）
５．第５の実施の形態（コンピュータ）
６．第６の実施の形態（応用例）
７．第７の実施の形態（その他の例）

＜１．第１の実施の形態＞
（画像処理システム）
図１は、本技術の画像処理システムの構成例を示す図である。

図１の例の画像処理システム１においては、サムネイル再生やN倍速の早送り再生、(Nは整数でなくてもよい)などの特殊再生を行う場合、AU(Access Unit)を復号した後に表示するピクチャを選択することで間引いた間引き処理が行われる。画像処理システム１においては、その間引き再生時に、復号の必要の有無が判定され、判定結果に応じて復号が行われる。

画像処理システム１は、符号化装置１１および復号装置１２を含むように構成されている。例えば、画像処理システム１においては、符号化方式として、MPEG(Moving Picture Experts Group)、H．264及びMPEG-4 Part10（Advanced Video Coding、以下AVCと記す）、HEVC(High Efficiency Video Coding)などが用いられる。

符号化装置１１は、原画像を取り込む。符号化装置１１は、取り込まれた原画像を符号化して、動画像データを生成する。その際、符号化装置１１は、必要に応じて、間引き再生時に復号の必要の可否を示す間引き可否情報をuserdataに挿入する。特に、符号化方式がHEVCの場合、間引き可否情報は、SEI(Supplemental Enhancement Information)のuserdataに挿入される。

復号装置１２は、符号化装置１１により符号化された動画像データを受ける。復号装置１２は、間引き再生時に、入力された動画像データから間引き可否情報を読み出し、間引き可否情報に基づいて、動画像データの復号を行い、表示データを生成する。

（本技術の概要）
図２は、復号順に並んだ動画像データの例を示している。

まず、図２に示されるように、I,P,B,B,P,B,B,…というような、参照ピクチャの周期が３で、表示前に並び替え(reorder)が必要になる復号順の動画像データを例に説明する。

通常の復号装置においては、ピクチャ（スライス）の復号を終え、表示順に並べ替えた後に、間引きの周期を加味することで、当該ピクチャが間引き対象であるか否かを知ることができる。

図３および図４は、図２の例において、復号順、表示順のそれぞれで、間引き周期が２乃至５のそれぞれの場合についての表示の必要性の有無を示す図である。なお、図３および図４の例において、Disp.の数字は、表示順番を示し、Ref.の丸印は、参照ピクチャであることを示している。また、２乃至４の間引き周期において、丸印は、表示するピクチャを示し、バツ印は、表示しないピクチャ(AU)を示す。さらに、図４の表示順の例において、ハッチ付のバツは、復号前に間引き可能なピクチャ(AU)であることを示している。

図３に示されるように、復号順では、間引きの周期に規則性がなく、この時点では間引き対象を判別することが困難である。他方、図４に示されるように、表示順に並べ替えた後であれば、間引き対象か否かの判定は容易である。しかしながら、この時点では、すべてのAUの復号が終了しており、結果として、復号する必要がなかったAUまで復号していることになる。

図４の例においては、バツ印のAUは間引き対象であり、その中でもハッチが付されているバツ印のAUは、参照もされておらず、表示対象でもないため、結果的に復号が不要であることがわかる。

これに対して、本技術を用いることで、復号する前に復号の必要性を判定し、復号の必要があるAUのみの復号を行うことができるようになる。

具体的には、動画像データの符号化の際に、userdataに、間引き再生時に復号の必要の可否を示すN bitの間引き可否情報を持たせる。これにより、n枚毎に間引いて再生する場合（間引き周期n）には、間引き可否情報のbit(n-1)のみを参照すれば、当該AUの復号の必要性を知ることができる。なお、この情報は、間引き再生であれば、16bitあればよい。

図５は、間引き周期n=2,3,4,5の場合について、間引き可否情報の16bitのうち、LSB詰め5bit分に着目した例を示す図である。この場合、例えば、B2の間引き可否情報は、「…11110」となり、bit1,2,3,4が立っているため、2,3,4,5枚で間引いた再生の場合に復号が不要であることがわかる。

また、例えば、B9の間引き可否情報を見ると、「…10100」となっており、bit2,4のみが立っているため、3枚間引きと5枚間引きの際に復号が不要であることがわかる。

なお、理解のため、例では、Bピクチャを間引き対象としているが、必ずしもBピクチャのみが対象というわけではなく、参照されないPピクチャに対しても本技術を適用することができる。

（符号化装置の構成例）
図６は、図１の符号化装置の構成例を示すブロック図である。図６の例においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。

符号化装置１１は、取り込み部２１、リオーダ部２２、間引き情報生成部２３、シンタクス符号化部２４、スライス符号化部２５、ユーザデータ挿入部２６、および伝送部２７を含むように構成されている。

取り込み部２１は、原画像を取り込み、取り込んだ原画像を、リオーダ部２２に出力する。リオーダ部２２は、M値に応じたリオーダ（並べ替え）を行う。すなわち、リオーダ部２２は、表示の順番のフレームの画像を、M値に応じて、符号化のための順番に並べ替える。リオーダ部２２は、リオーダ後の原画像とリオーダの情報を、シンタクス符号化部２４に出力する。また、リオーダ部２２は、リオーダの情報を、間引き情報生成部２３に供給する。

間引き情報生成部２３は、リオーダにより確定された参照関係に基づいて、間引き可否情報（以下、単に間引き情報とも称する）を生成する。すなわち、間引き情報生成部２３は、間引き可否情報を含むuserdataを生成し、生成された間引き可否情報を含むuserdataを、ユーザデータ挿入部２６に供給する。

シンタクス符号化部２４は、上位シンタクス、例えば、SPS(Sequence Parameter Set),PPS(Picture Parameter Set)，SEIの符号化を行い、符号化された上位シンタクスと原画像を、スライス符号化部２５に出力する。スライス符号化部２５は、原画像のスライスデータを、例えば、HEVCにより符号化する。スライス符号化部２５は、符号化された上位シンタクスとスライスデータとからなる符号化ストリームを生成し、ユーザデータ挿入部２６に出力する。

ユーザデータ挿入部２６は、符号化ストリームにおける符号化された上位シンタクスのSEIに、間引き可否情報を含むuserdataを挿入し、その後、符号化された上位シンタクスとスライスデータ（符号化ストリーム）である動画像データを伝送部２７に出力する。伝送部２７は、動画像データを、復号装置１２へ送信する。

（符号化単位の説明）
図７は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。

HEVC方式では、4000画素×2000画素のUHD（Ultra High Definition）などのような大きな画枠の画像も対象としているため、符号化単位のサイズを16画素×16画素に固定することは最適ではない。従って、HEVC方式では、符号化単位としてCUが定義されている。

CUは、AVC方式におけるマクロブロックと同様の役割を果たす。具体的には、CUはPUに分割されたり、TUに分割されたりする。

但し、CUのサイズは、シーケンスごとに可変の２のべき乗画素で表される正方形である。具体的には、CUは、最大のサイズのCUであるLCUを、最小のサイズのCUであるSCU(Smallest Coding Unit)より小さくならないように、任意の回数だけ水平方向および垂直方向に２分割することにより設定される。即ち、LCUを、SCUになるまで、上の階層のサイズが下の階層のサイズの1/4となるように階層化したときの任意の階層のサイズがCUのサイズである。

例えば、図７では、LCUのサイズが128であり、SCUのサイズが8である。従って、LCUの階層深度（Depth）は0乃至4となり、階層深度数は5となる。即ち、CUに対応する分割数は0乃至4のいずれかである。

なお、LCUとSCUのサイズを指定する情報は、SPSに含められる。また、CUに対応する分割数は、各階層においてさらに分割するかどうかを表すsplit_flagにより指定される。

TUのサイズは、CUのsplit_flagと同様に、split_transform_flagを用いて指定することができる。インター予測時およびイントラ予測時のTUの最大分割数は、それぞれ、max_transform_hierarchy_depth_inter,max_transform_hierarchy_depth_intraとして、SPSにより指定される。

また、本明細書において、CTU（Coding Tree Unit）は、LCUのCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCUは、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。

（モード選択）
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、JM(Joint Model)と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア(http://iphome.hhi.de/suehring/tml/index.htm において公開されている)に実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

（スライス符号化部の構成例）
図８は、スライス符号化部２５の構成例を示すブロック図である。

図８のスライス符号化部２５は、バッファ１１１、演算部１１２、直交変換部１１３、量子化部１１４、符号化部１１５、蓄積バッファ１１６、逆量子化部１１７、逆直交変換部１１８、および加算部１１９を有する。また、スライス符号化部２５は、フィルタ１２０、フレームメモリ１２１、イントラ予測部１２２、インター予測部１２３、予測画像選択部１２４、およびレート制御部１２５を有する。

符号化対象として入力されたフレーム単位の画像が図示せぬA/D変換部によりA/D変換され、変換後のデジタル信号である画像が、バッファ１１１に出力される。

バッファ１１１は、フレーム単位の画像を一旦記憶し、演算部１１２、イントラ予測部１２２、およびインター予測部１２３に供給する。

演算部１１２は、バッファ１１１から供給される画像から、予測画像選択部１２４から供給される予測画像を減算することにより符号化を行う。演算部１１２は、その結果得られる画像を、残差情報(差分)として直交変換部１１３に出力する。なお、予測画像選択部１２４から予測画像が供給されない場合、演算部１１２は、バッファ１１１から読み出された画像をそのまま残差情報として直交変換部１１３に出力する。

直交変換部１１３は、TU単位で、演算部１１２からの残差情報に対して直交変換処理を行う。直交変換部１１３は、直交変換処理後の直交変換処理結果を量子化部１１４に供給する。

量子化部１１４は、直交変換部１１３から供給される直交変換処理結果を量子化する。量子化部１１４は、量子化の結果得られる量子化値を符号化部１１５に供給する。

符号化部１１５は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１２２から取得する。また、符号化部１１５は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などをインター予測部１２３から取得する。また、符号化部１１５は、フィルタ１２０からオフセットフィルタに関するオフセットフィルタ情報を取得する。

符号化部１１５は、量子化部１１４から供給される量子化値に対して、可変長符号化や算術符号化などの可逆符号化を行う。

また、符号化部１１５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報などを、符号化に関する符号化情報として可逆符号化する。符号化部１１５は、可逆符号化された符号化情報と量子化値を、符号化データとして蓄積バッファ１１６に供給し、蓄積させる。

なお、可逆符号化された符号化情報は、可逆符号化された量子化値のヘッダ情報（例えばスライスヘッダ）とされてもよい。

蓄積バッファ１１６は、符号化部１１５から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１１６は、記憶している符号化データを、符号化ストリームとして、図６のユーザデータ挿入部２６に供給する。

また、量子化部１１４より出力された量子化値は、逆量子化部１１７にも入力される。逆量子化部１１７は、量子化値を逆量子化する。逆量子化部１１７は、逆量化の結果得られる直交変換処理結果を逆直交変換部１１８に供給する。

逆直交変換部１１８は、TU単位で、逆量子化部１１７から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換の方式としては、例えば、IDCT(逆離散コサイン変換)とIDST(逆離散サイン変換)がある。逆直交変換部１１８は、逆直交変換処理の結果得られる残差情報を加算部１１９に供給する。

加算部１１９は、逆直交変換部１１８から供給される残差情報と、予測画像選択部１２４から供給される予測画像を加算し、復号を行う。加算部１１９は、復号された画像をイントラ予測部１２２とフィルタ１２０に供給する。

フィルタ１２０は、加算部１１９から供給される復号された画像に対して、フィルタ処理を行う。具体的には、フィルタ１２０は、デブロックフィルタ処理と適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を順に行う。フィルタ１２０は、フィルタ処理後の符号化済みのピクチャをフレームメモリ１２１に供給する。また、フィルタ１２０は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として符号化部１１５に供給する。

フレームメモリ１２１は、フィルタ１２０から供給される画像を蓄積する。一方、フレームメモリ１２１に蓄積されたフィルタ処理が行われた画像は、参照画像としてインター予測部１２３に出力される。

イントラ予測部１２２は、PU単位で、加算部１１９からの周辺画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。イントラ予測部１２２は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部１２２は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部１２４に供給する。イントラ予測部１２２は、予測画像選択部１２４から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を符号化部１１５に供給する。なお、イントラ予測モードとはPUのサイズ、予測方向などを表すモードである。

インター予測部１２３は、インター予測モードの動き予測・補償処理を行う。具体的には、インター予測部１２３は、バッファ１１１から供給される画像と、フレームメモリ１２１から読み出される参照画像に基づいて、インター予測モードの動きベクトルをPU単位で検出する。そして、インター予測部１２３は、その動きベクトルに基づいてPU単位で参照画像に補償処理を施し、予測画像を生成する。

このとき、インター予測部１２３は、バッファ１１１から供給される画像と予測画像とに基づいて、すべてのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、インター予測部１２３は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部１２４に供給する。また、インター予測部１２３は、予測画像選択部１２４から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを符号化部１１５に出力する。なお、インター予測モードとは、PUのサイズなどを表すモードである。

予測画像選択部１２４は、イントラ予測部１２２およびインター予測部１２３から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部１２４は、最適予測モードの予測画像を、演算部１１２および加算部１１９に供給する。また、予測画像選択部１２４は、最適予測モードの予測画像の選択をイントラ予測部１２２またはインター予測部１２３に通知する。

レート制御部１２５は、蓄積バッファ１１６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１４の量子化動作のレートを制御する。

（符号化装置の動作）
次に、図９のフローチャートを参照して、符号化装置１１の符号化処理について説明する。

ステップＳ１１において、取り込み部２１は、図示せぬ前段から原画像を取り込む。取り込み部２１は、取り込まれた原画像を、リオーダ部２２に出力する。ステップＳ１２において、リオーダ部２２は、M値に応じたリオーダを行い、リオーダ後の原画像とリオーダの情報を、シンタクス符号化部２４に出力する。また、リオーダ部２２は、リオーダの情報を、間引き情報生成部２３に供給する。

ステップＳ１３において、間引き情報生成部２３は、リオーダにより確定された参照関係に基づいて、間引き可否情報を含むuserdataを生成する。間引き情報生成部２３は、生成された間引き可否情報を含むuserdataを、ユーザデータ挿入部２６に供給する。

ステップＳ１４において、シンタクス符号化部２４は、上位シンタクス、例えば、SPS(Sequence Parameter Set),PPS(Picture Parameter Set)，SEIの符号化を行い、符号化された上位シンタクスと原画像を、スライス符号化部２５に出力する。

ステップＳ１５において、スライス符号化部２５は、原画像のスライスデータを、例えば、HEVCにより符号化し、符号化ストリームを生成する。なお、このスライスデータの符号化処理の詳細は、図１０を参照して後述される。ステップＳ１５によりスライスデータが符号化されるので、スライス符号化部２５は、符号化された上位シンタクスとスライスデータ（符号化ストリーム）とをユーザデータ挿入部２６に出力する。

ステップＳ１６において、ユーザデータ挿入部２６は、符号化された上位シンタクスのSEIに、間引き可否情報を含むuserdataを挿入する。その後、符号化された上位シンタクスとスライスデータを、動画像データとして伝送部２７に出力する。伝送部２７は、動画像データを、復号装置１２へ送信する。

なお、図９の例において、間引き可否情報の生成と、userdataの挿入は、それぞれ、ステップＳ１３およびＳ１６であるが、リオーダによる参照関係の確定後であればどのタイミングに行われてもよい。符号化によるbit発生量には依存しないので、挿入処理自体はいつでも可能である。

次に、図１０のフローチャートを参照して、図９のステップＳ１５におけるスライスデータの符号化処理について説明する。

ステップＳ１０１において、バッファ１１１は、フレーム単位の画像を一旦記憶し、演算部１１２、イントラ予測部１２２、およびインター予測部１２３に供給する。

ステップＳ１０２において、イントラ予測部１２２およびインター予測部１２３は、それぞれ予測処理を行う。すなわち、イントラ予測部１２２は、PU単位で、すべてのイントラ予測モードのイントラ予測処理を行う。すなわち、イントラ予測部１２２は、演算部１１９からの画像と、イントラ予測処理の結果生成される予測画像とに基づいて、すべてのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１２２は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部１２２は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部１２４に供給する。

インター予測部１２３は、PU単位で、すべてのインター予測モードの動き予測・補償処理を行う。また、インター予測部１２３は、バッファ１１１から供給される画像と予測画像とに基づいて、すべてのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、インター予測部１２３は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部１２４に供給する。

予測画像選択部１２４は、イントラ予測部１２２およびインター予測部１２３から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部１２４は、最適予測モードの予測画像を、演算部１１２および加算部１１９に供給する。

なお、最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部１２４は、最適インター予測モードで生成された予測画像の選択をインター予測部１２３に通知する。そして、インター予測部１２３は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を符号化部１１５に供給する。一方、最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部１２４は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部１２２に通知する。そして、イントラ予測部１２２は、イントラ予測モード情報を符号化部１１５に供給する。

ステップＳ１０３において、演算部１１２は、バッファ１１１から供給される画像から、予測画像選択部１２４から供給される予測画像を減算することにより符号化を行う。演算部１１２は、その結果得られる画像を、残差情報として直交変換部１１３に出力する。

ステップＳ１０４において、直交変換部１１３は、TU単位で、残差情報に対して直交変換処理を行う。直交変換部１１３は、直交変換処理後の直交変換処理結果を量子化部１１４に供給する。

ステップＳ１０５において、量子化部１１４は、直交変換部１１３から供給される直交変換処理結果を量子化する。量子化部１１４は、量子化の結果得られる量子化値を符号化部１１５と逆量子化部１１７に供給する。

ステップＳ１０６において、逆量子化部１１７は、量子化部１１４からの量子化値に対して逆量子化を行う。逆量子化部１１７は、逆量化の結果得られる直交変換処理結果を逆直交変換部１１８に供給する。

ステップＳ１０７において、逆直交変換部１１８は、TU単位で、逆量子化部１１７から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部１１８は、逆直交変換処理の結果得られる残差情報を加算部１１９に供給する。

ステップＳ１０８において、加算部１１９は、逆直交変換部１１８から供給される残差情報と、予測画像選択部１２４から供給される予測画像を加算し、復号を行う。加算部１１９は、復号された画像をフィルタ１２０とイントラ予測部１２２に供給する。

ステップＳ１０９において、フィルタ１２０は、加算部１１９から供給される復号された画像に対して、デブロッキングフィルタ処理を行う。

ステップＳ１１０において、フィルタ１２０は、デブロッキングフィルタ後の画像に対して、適応オフセットフィルタ処理を行う。フィルタ１２０は、その結果得られる画像をフレームメモリ１２１に供給する。また、フィルタ１２０は、LCUごとに、オフセットフィルタ情報を符号化部１１５に供給する。

フレームメモリ１２１は、フィルタ１２０から供給される画像を蓄積する。フレームメモリ１２１に蓄積されたフィルタ処理が行われた画像は、参照画像としてインター予測部１２３に出力される。

ステップＳ１１１において、符号化部１１５は、符号化を行う。すなわち、符号化部１１５は、量子化部１１４から供給される量子化値を符号化し、符号化データを生成する。なお、また、符号化部１１５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報なども、符号化情報として符号化する。

ステップＳ１１２において、蓄積バッファ１１６は、符号化部１１５から供給される符号化データを、一時的に蓄積する。また、蓄積バッファ１１６は、記憶している符号化データを、符号化ストリームとして、図６のユーザデータ挿入部２６に供給する。

ステップＳ１１３において、レート制御部１２５は、蓄積バッファ１１６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１４の量子化動作のレートを制御する。

（符号化装置の構成例）
図１１は、符号化装置１１の他の構成例を示すブロック図である。

図１１の符号化装置１１は、取り込み部２１、リオーダ部２２、間引き情報生成部２３、シンタクス符号化部２４、スライス符号化部２５、ユーザデータ挿入部２６、および伝送部２７を備える点は、図６の符号化装置１１と共通している。

図１１の符号化装置１１は、GOP（Group Of Picture）構造決定部１５１が追加された点が図６の符号化装置１１と異なっている。

すなわち、取り込み部２１は、取り込んだ原画像を、GOP構造決定部１５１に出力する。GOP構造決定部１５１は、リオーダのためのGOP構造を確定し、確定したGOP構造の情報と原画像を、リオーダ部２２に供給する。また、GOP構造決定部１５１は、確定したGOP構造の情報を、間引き情報生成部２３に供給する。

リオーダ部２２は、表示の順番のフレームの画像を、GOP構造決定部１５１により確定されたGOP構造とM値に応じて、符号化のための順番に並べ替える。リオーダ部２２は、リオーダ後の原画像とリオーダの情報を、シンタクス符号化部２４に出力する。

間引き情報生成部２３は、GOP構造決定部１５１により確定されたGOP構造に基づいて、間引き可否情報を生成する。すなわち、間引き情報生成部２３は、間引き可否情報を含むuserdataを生成し、生成された間引き可否情報を含むuserdataを、ユーザデータ挿入部２６に供給する。

（符号化装置の動作）
次に、図１２のフローチャートを参照して、図１１の符号化装置１１の符号化処理について説明する。

ステップＳ１５１において、取り込み部２１は、図示せぬ前段から原画像を取り込む。取り込み部２１は、取り込まれた原画像を、GOP構造決定部１５１に出力する。ステップＳ１５２において、リオーダのためのGOP構造を確定し、確定したGOP構造の情報と原画像を、リオーダ部２２に供給する。また、GOP構造決定部１５１は、確定したGOP構造の情報を、間引き情報生成部２３に供給する。

ステップＳ１５３において、間引き情報生成部２３は、GOP構造決定部１５１により確定されたGOP構造に基づいて、間引き可否情報を生成する。すなわち、間引き情報生成部２３は、間引き可否情報を含むuserdataを生成し、生成された間引き可否情報を含むuserdataを、ユーザデータ挿入部２６に供給する。

ステップＳ１５４において、間引き情報生成部２３は、GOP構造決定部１５１により確定されたGOP構造に基づいて、間引き可否情報を生成する。すなわち、間引き情報生成部２３は、間引き可否情報を含むuserdataを生成し、生成された間引き可否情報を含むuserdataを、ユーザデータ挿入部２６に供給する。

なお、以降のステップＳ１５５乃至Ｓ１５７の処理は、上述した図９のステップＳ１４乃至Ｓ１６の処理と基本的に同様な処理であるので、その説明は省略される。

図１２の例の場合も、間引き可否情報の生成と、userdataの挿入は、それぞれ、ステップＳ１３およびＳ１６であるが、リオーダによる参照関係の確定後、より詳細には、リオーダのためのGOP構造確定後であればどのタイミングに行われてもよい。符号化によるbit発生量には依存しないので、挿入処理自体はいつでも可能である。

（復号装置の構成例）
図１３は、復号装置１２の構成例を示すブロック図である。

復号装置１２は、受け取り部２０１、シーケンス復号部２０２、ピクチャ復号部２０３、間引き情報判定部２０４、およびスライス復号部２０５を含むように構成されている。

受け取り部２０１は、例えば、符号化装置１１からの動画像データを受け取り、受け取られた動画像データを、シーケンス復号部２０２に供給する。シーケンス復号部２０２は、動画像データのシーケンス毎のパラメータ（例えば、SPS）を復号し、復号されたシーケンス毎のパラメータと動画像データとを、ピクチャ復号部２０３に供給する。

ピクチャ復号部２０３は、動画像データのピクチャ毎のパラメータ（例えば、PPS(Picture Parameter Set)，SEI）を復号し、復号されたピクチャ毎のパラメータとシーケンス毎のパラメータと動画像データとをスライス復号部２０５に供給する。その際、ピクチャ復号部２０３は、SEIにおいて、userdataがあって、そのuserdataに、間引き可否情報があるか否かを判定する。ピクチャ復号部２０３は、間引き可否情報があると判定した場合、その間引き可否情報を取得し、間引き情報判定部２０４に供給する。

間引き情報判定部２０４は、間引き可否情報を参照して、処理対象のAUが、間引き対象であるか否かを判定する。

処理対象のAUが間引き対象ではないと判定された場合、間引き情報判定部２０４は、スライス復号部２０５を制御し、対応するスライスデータの復号を行わせる。処理対象のAUが間引き対象であると判定された場合、間引き情報判定部２０４は、次のピクチャの処理に移行させる。すなわち、間引き対象のピクチャは、復号が禁止される。

SEIにおいて、userdataがない、または、userdataに間引き可否情報がないと判定された場合、ピクチャ復号部２０３は、スライス復号部２０５に対して、対応するスライスデータの復号を行わせる。

スライス復号部２０５は、間引き情報判定部２０４の制御のもと、ピクチャ復号部２０３からの動画像データを復号し、復号の結果得られる表示データを、後段の例えば、LCDなどの表示装置に出力させる。

（スライス復号部の構成例）
図１４は、図１３のスライス復号部２０５の構成例を示すブロック図である。

図１４のスライス復号部２０５は、蓄積バッファ２１１、復号部２１２、逆量子化部２１３、逆直交変換部２１４、加算部２１５、フィルタ２１６、および画面並べ替えバッファ２１７を有する。また、スライス復号部２０５は、フレームメモリ２１８、イントラ予測部２１９、インター予測部２２０、および予測画像選択部２２１を有する。

スライス復号部２０５の蓄積バッファ２１１は、図１３のピクチャ復号部２０３から動画像データを受け取り、蓄積する。蓄積バッファ２１１は、蓄積されている動画像データを復号部２１２に供給する。

復号部２１２は、蓄積バッファ２１１からの動画像データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化値と符号化情報を得る。復号部２１２は、量子化値を逆量子化部２１３に供給する。

また、復号部２１２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部２１９に供給する。復号部２１２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などをインター予測部２２０に供給する。

さらに、復号部２１２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報を予測画像選択部２２１に供給する。復号部２１２は、符号化情報としてのオフセットフィルタ情報をフィルタ２１６に供給する。

逆量子化部２１３、逆直交変換部２１４、加算部２１５、フィルタ２１６、フレームメモリ２１８、イントラ予測部２１９、およびインター予測部２２０は、図１８の逆量子化部１１７、逆直交変換部１１８、加算部１１９、フィルタ１２０、フレームメモリ１２１、イントラ予測部１２２、およびインター予測部１２３とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部２１３は、図８の逆量子化部１１７と同様に構成される。逆量子化部２１３は、TU単位で、復号部２１２からの量子化値を逆量子化する。逆量子化部２１３は、その結果得られる直交変換処理結果を逆直交変換部２１４に供給する。

逆直交変換部２１４は、図８の逆直交変換部１１８と同様に構成される。逆直交変換部２１４は、逆量子化部２１３から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部２１４は、逆直交変換処理の結果得られる残差情報を加算部２１５に供給する。

加算部２１５は、逆直交変換部２１４から供給される残差情報と、予測画像選択部２２１から供給される予測画像を加算することにより、復号を行う。加算部２１５は、復号された画像をフィルタ２１６とイントラ予測部２１９に供給する。

フィルタ２１６は、加算部２１５から供給される画像に対して適応デブロックフィルタ処理を行う。フィルタ２１６は、その結果得られる画像に対して、LCUごとに、復号部２１２からのオフセットフィルタ情報が表すオフセットを用いて、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ２１６は、適応オフセットフィルタ処理後の画像を、フレームメモリ２１８および画面並べ替えバッファ２１７に供給する。

画面並べ替えバッファ２１７は、フィルタ２１６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ２１７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、例えば、必要に応じて、フレーム単位の画像をD/A変換を行い、後段に出力する。

フレームメモリ２１８は、フィルタ２１６から供給される画像を蓄積する。フレームメモリ２１８に蓄積されたフィルタ処理が行われた画像は、参照画像として、インター予測部２２０に供給される。

イントラ予測部２１９は、加算部２１５から読み出された周辺画像を用いて、復号部２１２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２１９は、その結果生成される予測画像を予測画像選択部２２１に供給する。

インター予測部２２０は、フレームメモリ２１８から、復号部２１２から供給される参照画像を特定する情報により特定される参照画像を読み出す。インター予測部２２０は、復号部２１２から供給される動きベクトルと参照画像を用いて、復号部２１２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。インター予測部２２０は、その結果生成される予測画像を予測画像選択部２２１に供給する。

予測画像選択部２２１は、復号部２１２からイントラ予測モード情報が供給された場合、イントラ予測部２１９から供給される予測画像を加算部２１５に供給する。一方、復号部２１２からインター予測モード情報が供給された場合、予測画像選択部２２１は、インター予測部２２０から供給される予測画像を加算部２１５に供給する。

（復号装置の動作）
次に、図１５のフローチャートを参照して、復号装置１２の復号処理について説明する。

受け取り部２０１は、例えば、符号化装置１１からの動画像データを受け取り、受け取られた動画像データを、シーケンス復号部２０２に供給する。

ステップＳ２０１において、シーケンス復号部２０２は、動画像データのシーケンス毎のパラメータ（例えば、SPS）を復号し、復号されたシーケンス毎のパラメータと動画像データとを、ピクチャ復号部２０３に供給する。

ステップＳ２０２において、ピクチャ復号部２０３は、動画像データのピクチャ毎のパラメータ（例えば、PPS(Picture Parameter Set)，SEI）を復号し、復号されたピクチャ毎のパラメータとシーケンス毎のパラメータと動画像データとをスライス復号部２０５に供給する。

ステップＳ２０３において、ピクチャ復号部２０３は、SEIにおいて、userdataがあり、間引き可否情報を含むか否かを判定する。ステップＳ２０３において、userdataがあり、間引き可否情報を含むと判定された場合、処理は、ステップＳ２０４に進む。ピクチャ復号部２０３は、その間引き可否情報を取得し、間引き情報判定部２０４に供給する。

ステップＳ２０４において、間引き情報判定部２０４は、間引き可否情報を参照して、現在処理中のAUが間引き対象であるか否かを判定する。ステップＳ２０４において、間引き対象であると判定された場合、処理は、ステップＳ２０２に戻り、次のピクチャの処理となる。すなわち、間引き対象であると判定されたスライスは、復号が禁止される。

ステップＳ２０４において、間引き対象ではないと判定された場合、処理は、ステップＳ２０５に進む。また、ステップＳ２０３において、userdataがない、または、userdataがあっても、間引き可否情報を含まないと判定された場合、処理は、ステップＳ２０５に進む。

ステップＳ２０５において、スライス復号部２０５は、間引き情報判定部２０４の制御のもと、ピクチャ復号部２０３からの動画像データを復号する。なお、この復号処理の詳細は、次の図１６を参照して後述される。ステップＳ２０５による復号の結果得られる表示データは、後段の例えば、LCDなどの表示装置に出力される。

次に、図１６のフローチャートを参照して、図１５のステップＳ２０５のスライスデータの復号について説明する。

ステップＳ２２１において、スライス復号部２０５の蓄積バッファ２１１（図１４）は、図１３のピクチャ復号部２０３からフレーム単位の符号化データを受け取り、蓄積する。蓄積バッファ２１１は、蓄積されている符号化データを復号部２１２に供給する。

ステップＳ２２２において、復号部２１２は、蓄積バッファ２１１からの符号化データを復号し、量子化値と符号化情報を得る。復号部２１２は、量子化値を逆量子化部２１３に供給する。

ステップＳ２２３において、逆量子化部２１３は、復号部２１２から供給される量子化値を逆量子化する。逆量子化部２１３は、逆量子化の結果得られる直交変換処理結果を逆直交変換部２１４に供給する。

ステップＳ２２４において、逆直交変換部２１４は、逆量子化部２１３からの直交変換処理結果に対して逆直交変換処理を行う。

ステップＳ２２５において、イントラ予測部２１９またはインター予測部２２０は、予測画像を生成する。すなわち、復号部２１２からインター予測モード情報が供給されたと判定された場合、インター予測部２２０は、復号部２１２から供給される参照画像特定情報に基づいて参照画像を読み出し、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行い、予測画像を生成する。インター予測部２２０は、その結果生成される予測画像を、予測画像選択部２２１を介して加算部２１５に供給し、処理をステップＳ２２６に進める。

一方、イントラ予測モード情報がイントラ予測部２１９に供給された場合、イントラ予測部２１９は、加算部２１５からの周辺画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部２１９は、イントラ予測処理の結果生成される予測画像を、予測画像選択部２２１を介して加算部２１５に供給し、処理をステップＳ２２６に進める。

ステップＳ２２６において、加算部２１５は、逆直交変換部２１４から供給される残差情報と、予測画像選択部２２１から供給される予測画像を加算することにより、復号を行う。加算部２１５は、復号された画像をフィルタ２１６とイントラ予測部２１９に供給する。

ステップＳ２２７において、フィルタ２１６は、加算部２１５から供給される画像に対してデブロッキングフィルタ処理を行い、その結果得られる画像に対して、復号部２１２から供給されるオフセットフィルタ情報に基づいて、LCUごとに適応オフセットフィルタ処理を行う。フィルタ２１６は、適応オフセットフィルタ処理後の画像を、フレームメモリ２１８および画面並べ替えバッファ２１７に供給する。

ステップＳ２２８において、フレームメモリ２１８は、加算部２１５から供給される画像と、フィルタ２１６から供給される画像を蓄積する。フレームメモリ２１８に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ１４２を介してインター予測部２２０に供給される。

ステップＳ２２７において、画面並べ替えバッファ２１７は、フィルタ２１６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、フレーム単位の画像をD/A変換し、後段の例えば、LCDに出力する。

以上のように、本技術においては、符号化側で、userdataに、間引き可否情報を挿入するようにしたので、復号側で、復号する前に間引き対象であるかどうかを知ることができ、動画像データの復号を最小限で済ませることができる。この結果、他の処理を行うことができるので、パフォーマンスを向上させることができる。

なお、本技術は、符号化時にuserdataに間引きに関する情報を挿入するものである。通常の動画像データに対しては、上述したが、これに加えて、マルチビュー符号化の場合は、ペアのAUの間引き可否情報の挿入を行い、階層符号化の場合には、上位階層のAUの間引き情報の挿入を行うことで、さまざまなストリームに対して、その効果を実現することができる。マルチビュー符号化や階層符号化の場合には、上述した16bitよりも大きな情報量が必要になる。

また、上記説明においては、間引き可否情報をuserdataに挿入する例を説明したが、userdataに限らず、AUの復号前に間引きをするかどうかを判断できる場所であれば、どこでもよい。

＜２．第２の実施の形態＞
（本技術の概要）
次に、すでに符号化されている動画像データに対し、復号する順序を工夫することで、動画像データの復号を最小限で済ませる例について説明する。

すなわち、図１７に示されるように、AUは、SPS,PPS,スライスデータの順に構成されている。そこで、DPB枚分のAUのSPS乃至スライスヘッダまでをスライス本体よりも先行して復号し、POC（Picture Order Count）値(時間情報)を算出し、表示順を確定させることで、スライス本体の復号を行うことなく、間引き対象か否かの判定を先行して行う。これにより、その後は、間引き対象ではないスライスのみの復号を行うだけでよく、動画像データの復号を最小限で済ませることができる。

（復号装置の構成例）
図１８は、復号装置１２の構成例を示すブロック図である。

図１８の復号装置１２は、受け取り部２０１、スライス復号部２０５を備える点が、図１３の復号装置１２と共通している。

図１８の復号装置１２は、シーケンス復号部２０２およびピクチャ復号部２０３が、シンタクス復号部２５１およびスライスヘッダ復号部２５２に入れ替わった点、間引き情報判定部２０４が、間引き情報判定部２５４に入れ替わった点、並びに、表示順確定部２５３が追加された点が、図１３の復号装置１２と異なっている。

すなわち、受け取り部２０１は、例えば、符号化装置１１からの動画像データを受け取り、受け取られた動画像データを、シンタクス復号部２５１に供給する。シーケンス復号部２５１は、動画像データの上位シンタクスのパラメータ（例えば、SPS,PPS,SEIなど）を復号し、復号された上位シンタクスのパラメータと動画像データとを、スライスヘッダ復号部２５２に供給する。

スライスヘッダ復号部２５２は、動画像データのスライスヘッダ（例えば、SPS,PPS，SEI）を復号し、復号された上位シンタクスのパラメータと、復号されたスライスヘッダと、動画像データとを表示順確定部２５３およびスライス復号部２０５に供給する。

表示順確定部２５３は、スライスヘッダにあるPOC値がMaxDPB分揃うまで待機しており、POC値がMaxDPB分揃ったと判定された場合、MaxDPB分のPOC値を昇順に並べ替えることで、表示順を確定する。表示順確定部２５３は、確定された表示順を、間引き情報判定部２５４に供給する。

間引き情報判定部２５４は、先頭のAUから順に、指定された間引き数から当該AUが間引き対象であるか否かの判定を行う。間引き情報判定部２５４は、間引きの対象であれば、スライス復号部２０５に対して復号を禁止し、次のAUの間引き判定を行う。一方、間引きの対象でなければ、間引き情報判定部２５４は、スライス復号部２０５に対してスライスの復号を行わせる。

スライス復号部２０５は、間引き情報判定部２５４の制御のもと、スライスヘッダ復号部２５２からの動画像データを復号し、復号の結果得られる表示データを、後段の例えば、LCDなどの表示装置に出力させる。

なお、1AU分のスライス復号した後には、スライスヘッダ復号部２５２においては、スライスヘッダの復号を行っていない次のAUのスライスヘッダの復号を行うことで、常にMaxDPB分のPOC値が計算される。また、先行して復号したシンタクス情報は、スライスの復号の際に利用する場合があるので、例えば、スライス復号部２０５に保持される。

（復号装置の動作）
次に、図１９のフローチャートを参照して、図１８の復号装置１２による復号処理について説明する。

受け取り部２０１は、例えば、符号化装置１１からの動画像データを受け取り、受け取られた動画像データを、シンタクス復号部２５１に供給する。シンタクス復号部２５１は、ステップＳ２５１において、動画像データの上位シンタクスのパラメータ（例えば、SPS,PPS,SEIなど）を復号し、復号された上位シンタクスのパラメータと動画像データとを、スライスヘッダ復号部２５２に供給する。

スライスヘッダ復号部２５２は、ステップＳ２５２において、動画像データのスライスヘッダ（例えば、SPS,PPS，SEI）を復号し、復号された上位シンタクスのパラメータと、復号されたスライスヘッダと、動画像データとをスライスヘッダ復号部２５２および表示順確定部２５３に供給する。

表示順確定部２５３は、ステップＳ２５３において、スライスヘッダにあるPOC値がMaxDPB分揃ったか否かを判定する。ステップＳ２５３において、POC値がMaxDPB分揃ったと判定された場合、処理は、ステップＳ２５４に進み、表示順確定部２５３は、MaxDPB分のPOC値を昇順に並べ替えることで、表示順を確定する。ステップＳ２５３において、POC値がMaxDPB分揃っていないと判定された場合、処理は、ステップＳ２５１に進み、それ以降の処理が繰り返される。

表示順確定部２５３は、確定された表示順を、間引き情報判定部２５４に供給する。

間引き情報判定部２５４は、先頭のAUから順に、指定された間引き数から当該AUが間引き対象であるか否かの判定を行う。間引き情報判定部２５４は、ステップＳ２５５において、間引き判定対象が残っているか否かを判定する。

ステップＳ２５５において、間引き判定対象が残っていないと判定された場合、処理は、ステップＳ２５１に戻り、それ以降の処理が繰り返される。

ステップＳ２５５において、間引き判定対象が残っていると判定された場合、処理は、ステップＳ２５６に進む。間引き情報判定部２５４は、ステップＳ２５６において、先頭のAUから順に、指定された間引き数から当該AUが間引き対象であるか否かを判定する。

ステップＳ２５６において、当該AUが間引き対象であると判定された場合、スライス復号部２０５に対して復号が禁止され、ステップＳ２５５に戻り、次のAUに対してそれ以降の処理が繰り返される。

ステップＳ２５６において、当該AUが間引き対象ではないと判定された場合、処理は、ステップＳ２５７に進む。ステップＳ２５７において、間引き情報判定部２５４は、スライス復号部２０５に対してスライスの復号を行わせる。ステップＳ２５７のスライス復号処理は、図１６を参照して上述したスライス復号処理と基本的に同様であるので、その説明は省略される。

本技術は、AUすべてを復号することなく、間引くために必要なシンタクスまでを、十分な枚数分先行して復号することで、間引き対象か否かの判定をスライスデータ本体よりも先行して行うことにより、復号処理の大部分を占めるスライス本体のデータの復号は必要な場合のみに抑えることができるというものである。

このため、マルチビュー符号化の場合には、view_idなどの情報を、階層符号化の場合には、dependency_idなどの情報を追加で判断材料として用いることで、さまざまなストリームに対してその効果を実現することができる。

第１の実施の形態の場合と比較し、第２の実施の形態の場合は、ある程度のシンタクスの復号の必要があるが、再生時の処理の大部分を占めるのは、スライスヘッダより後のデータ（スライス）であるため、第２の実施の形態の場合でも十分に効果がある。

なお、第１の実施の形態による再生ができなかった場合に、第２の実施の形態を行うようにすることも可能である。例えば、復号装置において、第１の実施の形態で上述した間引き可否情報が動画像データから取得できた場合、第１の実施の形態の判定処理が行われる、第１の実施の形態で上述した間引き可否情報が動画像データから取得できなかった場合に、第２の実施の形態で上述したように、スライスヘッダのみをMaxDPB分のPOC値により表示順を確定し、間引き対象を判定していくようにすることもできる。

以上の本技術によれば、サムネイル再生や早送り再生、逆早送り再生を行う場合に、本来復号する必要がなかったAUを復号しなくてすむようになる。

これにより、パフォーマンスの向上、遅延の減少、使用メモリの削減を実現することができる。

動画像の解像度やデータそのものが爆発的に大きくなっている近年、それらの効果は、飛躍的に高まると考えられる。

以上においては、符号化方式としてHEVCに準じた方式を用いるようにした。ただし、本技術はこれに限らず、AVCやMPEG、その他の符号化方式／復号方式を適用することができる。
＜３．第３の実施の形態＞
（多視点画像符号化・復号システムへの適用）
上述した一連の処理は、多視点画像符号化・復号システムに適用することができる。図２０は、多視点画像符号化方式の一例を示す。

図２０に示されるように、多視点画像は、複数の視点（ビュー（view））の画像を含む。この多視点画像の複数のビューは、他のビューの情報を利用せずに自身のビューの画像のみを用いて符号化・復号を行うベースビューと、他のビューの情報を利用して符号化・復号を行うノンベースビューとによりなる。ノンベースビューの符号化・復号は、ベースビューの情報を利用するようにしても良いし、他のノンベースビューの情報を利用するようにしてもよい。

図２０の例のような多視点画像を符号化・復号する場合、多視点画像は、視点毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各視点の符号化データは、それぞれ（すなわち視点毎に）復号される。このような各視点の符号化・復号に対して、以上の各実施の形態において説明した方法を適用してもよい。このようにすることにより、特殊再生を行う際のパフォーマンスを向上させることができる。つまり、多視点画像の場合も同様に、特殊再生を行う際のパフォーマンスを向上させることができる。

（多視点画像符号化・復号システム）
図２１は、上述した多視点画像符号化・復号を行う多視点画像符号化・復号システムの、多視点画像符号化装置を示す図である。図２１に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

図２２は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２２に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

例えば、このような多視点画像符号化・復号システムにおいて、多視点画像符号化装置６００の符号化部６０１および符号化部６０２として、以上の各実施の形態において説明した符号化装置１１を適用してもよい。このようにすることにより、多視点画像の符号化においても、以上の各実施の形態において説明した方法を適用することができる。すなわち、特殊再生を行う際のパフォーマンスを向上させることができる。また例えば、多視点画像復号装置６１０の復号部６１２および復号部６１３として、以上の各実施の形態において説明した復号装置１２を適用してもよい。このようにすることにより、多視点画像の符号化データの復号においても、以上の各実施の形態において説明した方法を適用することができる。すなわち、特殊再生を行う際のパフォーマンスを向上させることができる。

＜４．第４の実施の形態＞
（階層画像符号化・復号システムへの適用）
また、上述した一連の処理は、階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。図２３は、階層画像符号化方式の一例を示す。

階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。

図２３に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。

図２３の例のような階層画像を符号化・復号する場合、階層画像は、レイヤ毎に符号化される。そして、そのようにして得られた符号化データを復号する場合、各レイヤの符号化データは、それぞれ（すなわちレイヤ毎に）復号される。このような各レイヤの符号化・復号に対して、以上の各実施の形態において説明した方法を適用してもよい。このようにすることにより、特殊再生を行う際のパフォーマンスを向上させることができる。つまり、階層画像の場合も同様に、特殊再生を行う際のパフォーマンスを向上させることができる。

（スケーラブルなパラメータ）
このような階層画像符号化・階層画像復号（スケーラブル符号化・スケーラブル復号）において、スケーラビリティ（scalability）機能を有するパラメータは、任意である。例えば、空間解像度をそのパラメータとしてもよい（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に画像の解像度が異なる。

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、時間解像度を適用しても良い（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。

さらに、このようなスケーラビリティ性を持たせるパラメータとして、例えば、信号雑音比（SNR（Signal to Noise ratio））を適用しても良い（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。

スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が８ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。

また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。

図２４は、上述した階層画像符号化・復号を行う階層画像符号化・復号システムの、階層画像符号化装置を示す図である。図２４に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

図２５は、上述した階層画像復号を行う階層画像復号装置を示す図である。図２５に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

例えば、このような階層画像符号化・復号システムにおいて、階層画像符号化装置６２０の符号化部６２１および符号化部６２２として、以上の各実施の形態において説明した符号化装置１１を適用してもよい。このようにすることにより、階層画像の符号化においても、以上の各実施の形態において説明した方法を適用することができる。すなわち、特殊再生を行う際のパフォーマンスを向上させることができる。また例えば、階層画像復号装置６３０の復号部６３２および復号部６３３として、以上の各実施の形態において説明した復号装置１２を適用してもよい。このようにすることにより、階層画像の符号化データの復号においても、以上の各実施の形態において説明した方法を適用することができる。すなわち、特殊再生を行う際のパフォーマンスを向上させることができる。

＜５．第５の実施の形態＞
（コンピュータ）
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。

その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。

＜６．第６の実施の形態＞
（本技術の応用）
上述した実施形態に係る符号化装置１１や復号装置１２は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（第１の応用例：テレビジョン受像機）
図２７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した復号装置１２の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、特殊再生を行う際のパフォーマンスを向上させることができる。

また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、特殊再生を行う際のパフォーマンスを向上させることができる。

（第２の応用例：携帯電話機）
図２８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、特殊再生を行う際のパフォーマンスを向上させることができる。

また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した復号装置１２の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、特殊再生を行う際のパフォーマンスを向上させることができる。

（第３の応用例：記録再生装置）
図２９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD部９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像および音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、以上の各実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置９４０は、特殊再生を行う際のパフォーマンスを向上させることができる。

また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した復号装置１２の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、特殊再生を行う際のパフォーマンスを向上させることができる。

（第４の応用例：撮像装置）
図３０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD部９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した符号化装置１１の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、特殊再生を行う際のパフォーマンスを向上させることができる。

また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した復号装置１２の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、特殊再生を行う際のパフォーマンスを向上させることができる。

＜７．第７の実施の形態＞
（その他の応用例）
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。つまり、このような複数の符号化データ間で、符号化や復号に関する情報を共有することもできる。

また、以上においては、本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

（ビデオセット）
本技術をセットとして実施する場合の例について、図３１を参照して説明する。図３１は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図３１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図３１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図３１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図３１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図３１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

＜ビデオプロセッサの構成例＞
図３２は、本技術を適用したビデオプロセッサ１３３２（図３１）の概略的な構成の一例を示している。

この例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図３２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した符号化装置１１の機能若しくは復号装置１２の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１９を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、符号化装置１１の機能若しくは復号装置１２の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

＜ビデオプロセッサの他の構成例＞
図３３は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図３３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図３３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図３３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。

図３３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した符号化装置１１の機能若しくは復号装置１２の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１９を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、符号化装置１１の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１９を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１９を参照して上述した各実施の形態と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２７）、携帯電話機９２０（図２８）、記録再生装置９４０（図２９）、撮像装置９６０（図３６）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図１９を参照して上述した各実施の形態と同様の効果を得ることができる。

＜その他＞
なお、本明細書では、各種情報が、符号化データ（ビットストリーム）に多重化されて、符号化側から復号側へ伝送される例について説明したが、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、例えば、符号化データに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、この符号化データ（画像）に関連付けられた情報は、符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、この符号化データ（画像）に関連付けられた情報は、符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。さらに、画像とその画像に対応する情報とが、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１）符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定する間引き判定部と、
前記間引き判定部によりスライスが間引き対象であると判定された場合、前記スライスの復号を禁止する復号部と
を備える画像処理装置。
（２）前記間引き情報は、前記符号化ストリームのuserdataに含まれている
前記（１）に記載の画像処理装置。
（３）前記間引き情報は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに含まれている
前記（１）または（２）に記載の画像処理装置。
（４）前記間引き情報は、前記符号化ストリームの生成時にuserdataに挿入されている
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、
前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部と
をさらに備え、
前記間引き判定部は、前記表示順確定部により確定された表示順に基づいて、前記スライスデータが間引き対象であるか否かを判定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）画像処理装置が、
符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定し、前記スライスが間引き対象であると判定された場合、前記スライスの復号を禁止する
画像処理方法。
（７）特殊再生を行う際の間引きに関する情報である間引き情報を生成する間引き情報生成部と、
画像データを符号化し、符号化ストリームを生成する符号化部と、
前記間引き情報生成部により生成された間引き情報を、前記符号化部により生成された符号化ストリームに挿入する間引き情報挿入部と
を備える画像処理装置。
（８）前記情報挿入部は、前記符号化ストリームのuserdataに、前記間引き情報生成部により生成された間引き情報を挿入する
前記（７）に記載の画像処理装置。
（９）前記情報挿入部は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに、前記間引き情報生成部により生成された間引き情報を挿入する
前記（７）または（８）に記載の画像処理装置。
（１０）前記間引き情報生成部は、GOP（Group Of Picture）構造に基づいて、前記間引き情報を生成する
前記（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）画像処理装置が、
特殊再生を行う際の間引きに関する情報である間引き情報を生成し、
画像データを符号化し、符号化ストリームを生成し、
生成された間引き情報を、生成された符号化ストリームに挿入する
画像処理方法。
（１２）符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、
前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部と、
前記表示順確定部により確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定する間引き判定部と、
前記間引き判定部によりスライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する復号部と
を備える画像処理装置。
（１３）前記時間情報は、POC（Picture Order Count）情報である
前記（１２）に記載の画像処理装置。
（１４）画像処理装置が、
符号化ストリームを構成するスライスデータのうちスライスヘッダを復号し、
復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定し、
確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定し、
前記スライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する
画像処理方法。

１画像処理システム，１１符号化装置，１２復号装置，２１取り込み部，２２リオーダ部，２３間引き情報生成部，２４シンタクス符号化部，２５スライス符号化部，２６ユーザデータ挿入部，２７伝送部，１５１ GOP構造決定部，２０１受け取り部，２０２シーケンス復号部，２０３ピクチャ復号部，２０４間引き情報判定部，２０５スライス復号部，２５１シンタクス復号部，２５２スライスヘッダ復号部，２５３表示順確定部，２５４間引き情報判定部

Claims

符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定する間引き判定部と、
前記間引き判定部によりスライスが間引き対象であると判定された場合、前記スライスの復号を禁止する復号部と
を備える画像処理装置。
前記間引き情報は、前記符号化ストリームのuserdataに含まれている
請求項１に記載の画像処理装置。
前記間引き情報は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに含まれている
請求項２に記載の画像処理装置。
前記間引き情報は、前記符号化ストリームの生成時にuserdataに挿入されている
請求項１に記載の画像処理装置。
前記符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、
前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部と
をさらに備え、
前記間引き判定部は、前記表示順確定部により確定された表示順に基づいて、前記スライスデータが間引き対象であるか否かを判定する
請求項１に記載の画像処理装置。
画像処理装置が、
符号化ストリームから、特殊再生を行う際の間引きに関する情報である間引き情報に基づいて、前記符号化ストリームを構成するスライスが間引き対象であるか否かを判定し、前記スライスが間引き対象であると判定された場合、前記スライスの復号を禁止する
画像処理方法。
特殊再生を行う際の間引きに関する情報である間引き情報を生成する間引き情報生成部と、
画像データを符号化し、符号化ストリームを生成する符号化部と、
前記間引き情報生成部により生成された間引き情報を、前記符号化部により生成された符号化ストリームに挿入する間引き情報挿入部と
を備える画像処理装置。
前記情報挿入部は、前記符号化ストリームのuserdataに、前記間引き情報生成部により生成された間引き情報を挿入する
請求項７に記載の画像処理装置。
前記情報挿入部は、前記符号化ストリームのSEI(Supplemental Enhancement Information)のuserdataに、前記間引き情報生成部により生成された間引き情報を挿入する
請求項８に記載の画像処理装置。
前記間引き情報生成部は、GOP（Group Of Picture）構造に基づいて、前記間引き情報を生成する
請求項７に記載の画像処理装置。
画像処理装置が、
特殊再生を行う際の間引きに関する情報である間引き情報を生成し、
画像データを符号化し、符号化ストリームを生成し、
生成された間引き情報を、生成された符号化ストリームに挿入する
画像処理方法。
符号化ストリームを構成するスライスデータのうちスライスヘッダを復号するヘッダ復号部と、
前記ヘッダ復号部により復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定する表示順確定部と、
前記表示順確定部により確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定する間引き判定部と、
前記間引き判定部によりスライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する復号部と
を備える画像処理装置。
前記時間情報は、POC（Picture Order Count）情報である
請求項１２に記載の画像処理装置。
画像処理装置が、
符号化ストリームを構成するスライスデータのうちスライスヘッダを復号し、
復号された所定数のスライスヘッダから取得される時間情報に基づいて表示順を確定し、
確定された表示順に基づいて、前記スライスデータが、特殊再生を行う際の間引き対象であるか否かを判定し、
前記スライスデータが間引き対象であると判定された場合、前記スライスデータの復号を禁止する
画像処理方法。