JPWO2014050676A1

JPWO2014050676A1 - 画像処理装置および方法

Info

Publication number: JPWO2014050676A1
Application number: JP2014538425A
Authority: JP
Inventors: 健治近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-09-28
Filing date: 2013-09-19
Publication date: 2016-08-22
Also published as: US9591329B2; US20150189327A1; CN104662901A; WO2014050676A1; CN104662901B

Abstract

本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定する設定部と、前記設定部により設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する復号部とを備える。本開示は、例えば、画像処理装置に適用することができる。

Description

本開示は画像処理装置および方法に関し、特に、量子化誤差の増大を抑制することができるようにした画像処理装置および方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

さらに、このH．264/AVCの拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が２００５年２月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。

そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。

ところで、非特許文献１に記載のHEVC規格では、”Intra Transform Skipping”という手法が採用されている（例えば、非特許文献２参照）。

すなわち、まず、PPS（Picture Parameter Set：ピクチャパラメータセット）に、Transform Skip（トランスフォームスキップ。直交変換スキップとも称する）を、当該ピクチャに適用することが可能であるかどうかに関するフラグ（flag）が伝送される。直交変換スキップは、直交変換処理・逆直交変換処理をスキップ（省略）することを示す。

その値が１である時、直交変換スキップを、4x4直交変換ブロック（TU）に適用することが可能である。そのブロック毎に、直交変換スキップのオン／オフ（on/off）に関するフラグ（flag）が伝送される。直交変換スキップが適用されるブロックについて、エントロピ符号化、量子化、ループフィルタ等の処理に変更はない。

つまり、直交変換スキップが適用されるブロックにおいては、直交変換・逆直交変換が行われずに符号化や復号が行われる。例えば、直交変換前差分値が、量子化され、可逆符号化される。このようにして得られた符号化データを復号する場合は、当然、逆直交変換処理が不要になる。

この直交変換スキップは、特に、CG画やキャプション等のスクリーンコンテンツにおける画質を改善する効果がある。

Benjamin Bross， Woo-Jin Han， Jens-Rainer Ohm， Gary J. Sullivan， Thomas Wiegand， "High efficiency video coding (HEVC) text specification draft 6"， JCTVC-H1003 ver21， Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG117th Meeting: Geneva， CH， 21-30 November， 2011 Cuiling Lan， Jizheng Xu， Gary J. Sullivan， Feng Wu， "Intra transform skipping"， JCTVC-I0408， Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 119th Meeting: Geneva， CH， 27 April - 7 May 2012

しかしながら、直交変換処理がスキップされた場合と直交変換処理が行われる場合とでは量子化される係数が異なるものの、従来の方法では、この直交変換スキップの、量子化への影響は考慮されていなかった。そのため、量子化処理に用いられるスケーリングリストが適切でなく、量子化誤差が不要に増大してしまう恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、量子化誤差の増大を抑制することができるようにするものである。

本技術の一側面は、画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定する設定部と、前記設定部により設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する復号部とを備える画像処理装置である。

前記カスタムスケーリングリストは、イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップよりも小さいようにすることができる。

前記カスタムスケーリングリストは、前記イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも小さく設定されるか、若しくは、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、前記デフォルトカスタムスケーリングリストの場合の値よりも大きく設定されるようにすることができる。

前記カスタムスケーリングリストの、前記イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップは、それぞれが対応する画素の前記イントラ予測において参照される可能性の高さに応じた値を有するようにすることができる。

前記設定部は、カレントブロックが直交変換処理をスキップされていないブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定することができる。

前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、前記設定部は、カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定することができる。

前記直交変換処理のスキップに関する情報を受け取る受け取り部と、前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックが前記直交変換処理をスキップされたブロックであるか否かを判定する判定部とをさらに備え、前記設定部は、前記判定部により前記カレントブロックが前記直交変換処理をスキップされたブロックであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定することができる。

前記判定部は、前記直交変換処理のスキップに関する情報に含まれる、ピクチャ内において前記直交変換処理のスキップを許可するかを指定するスキップ許可情報の値が偽である場合、前記ピクチャ内における前記直交変換処理のスキップを禁止することができる。

前記判定部は、カレントブロックのスライスタイプをさらに判定し、前記設定部は、前記判定部により、前記カレントブロックが前記直交変換処理をスキップされたブロックであり、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定することができる。

本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定し、設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号することができる。

本技術の他の側面は、画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定する設定部と、前記設定部により設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する符号化部とを備える画像処理装置である。

前記設定部は、前記カレントブロックの直交変換処理がスキップされない場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定することができる。

前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、前記設定部は、前記カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定することができる。

前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックの直交変換処理がスキップされるか否かを判定する判定部をさらに備え、前記設定部は、前記判定部により前記カレントブロックの直交変換処理がスキップされると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定することができる。

前記判定部は、カレントブロックのスライスタイプをさらに判定し、前記設定部は、前記判定部により、前記カレントブロックの直交変換処理がスキップされ、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定することができる。

本技術の他の側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定し、設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する画像処理方法である。

本技術の一側面においては、画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、直交変換処理をスキップされたブロック用のカスタムスケーリングリストが設定され、設定されたスケーリングリストを用いる逆量子化処理を含む復号処理が行われ、符号化データが復号される。

本技術の他の側面においては、画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、カレントブロックに対する量子化処理に用いるスケーリングリストとして、直交変換処理がスキップされるブロック用のカスタムスケーリングリストが設定され、設定されたスケーリングリストを用いる量子化処理を含む符号化処理が行われ、画像データが符号化される。

本開示によれば、画像を符号化・復号することができる。特に、量子化誤差の増大を抑制することができる。

コーディングユニットの構成例を説明する図である。イントラ予測の参照画素の例を説明する図である。デフォルトスケーリングリストの例を説明する図である。デフォルトスケーリングリストの他の例を説明する図である。カスタムスケーリングリストの例を説明する図である。カスタムスケーリングリストの他の例を説明する図である。カスタムスケーリングリストの、さらに他の例を説明する図である。画像符号化装置の主な構成例を示すブロック図である。量子化制御部の主な構成例を示すブロック図である。符号化処理の流れの例を説明するフローチャートである。量子化制御処理の流れの例を説明するフローチャートである。画像復号装置の主な構成例を示すブロック図である。逆量子化制御部の主な構成例を示すブロック図である。復号処理の流れの例を説明するフローチャートである。逆量子化制御処理の流れの例を説明するフローチャートである。カスタムスケーリングリストの、さらに他の例を説明する図である。カスタムスケーリングリストの、さらに他の例を説明する図である。量子化制御部の主な構成例を示すブロック図である。量子化制御処理の流れの例を説明するフローチャートである。逆量子化制御部の主な構成例を示すブロック図である。逆量子化制御処理の流れの例を説明するフローチャートである。多視点画像符号化方式の例を示す図である。本技術を適用した多視点画像符号化装置の主な構成例を示す図である。本技術を適用した多視点画像復号装置の主な構成例を示す図である。階層画像符号化方式の例を示す図である。本技術を適用した階層画像符号化装置の主な構成例を示す図である。本技術を適用した階層画像復号装置の主な構成例を示す図である。コンピュータの主な構成例を示すブロック図である。テレビジョン装置の概略的な構成の一例を示すブロック図である。携帯電話機の概略的な構成の一例を示すブロック図である。記録再生装置の概略的な構成の一例を示すブロック図である。撮像装置の概略的な構成の一例を示すブロック図である。スケーラブル符号化利用の一例を示すブロック図である。スケーラブル符号化利用の他の例を示すブロック図である。スケーラブル符号化利用のさらに他の例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（画像符号化装置）
４．第４の実施の形態（画像復号装置）
５．第５の実施の形態（多視点画像符号化・多視点画像復号装置）
６．第６の実施の形態（階層画像符号化・階層画像復号装置）
７．第７の実施の形態（コンピュータ）
８．応用例
９．スケーラブル符号化の応用例

＜０．概要＞
［符号化方式］
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。

［コーディングユニット］
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対して最適ではない。

これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。

よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。

［モード選択］
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。

Cost(Mode∈Ω) = D + λ＊R ・・・（１）

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。

Cost(Mode∈Ω) = D + QP2Quant(QP) ＊ HeaderBit ・・・（２）

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

［イントラ予測］
ところで、従来、符号化や復号における予測画像の生成方法の１つに、画面内の他の画素を用いて予測を行うイントラ予測がある。

イントラ予測では、イントラ予測モードとして複数のモードが用意されており、処理対象であるカレントブロック周辺の、そのモードに応じた位置の画素が参照され、その画素値を用いてカレントブロックの予測が行われる。このイントラ予測に使用される画素を参照画素とも称する。なお、参照画素には、過去に処理された符号化済みの画素が採用される。

参照画素の位置の例を図２に示す、図２において、白地の四角がカレントブロックの画素（予測対象画素）を示し、その周辺の、斜線模様の四角で示される符号化済みの画素が参照画素を示す。つまり、この斜線模様の四角で示される画素の内の、イントラ予測モードに対応する画素の画素値を用いてカレントブロックの予測が行われる。

［量子化］
ところで、AVCやHEVCのような符号化方式の場合、符号化効率の向上を図るために、直交変換された係数が量子化される。そして、得られた量子化係数が可逆符号化される。したがって、復号処理においては、可逆復号により符号化データから得られた量子化係数が逆量子化される。

この量子化・逆量子化は、例えば直交変換処理単位ブロック（例えばTU）毎に、所定のスケーリングリストを用いて行われる。スケーリングリストは、そのブロックの各画素に対応する量子化ステップを集めた情報である。この量子化・逆量子化には、例えば、予め用意されたデフォルトスケーリングリストが使用される。

４画素×４画素サイズのデフォルトスケーリングリストの例を図３および図４に示す。図３の例の場合、４×４の全ての量子化ステップの値が互いに同一である。また、図４の例の場合、４×４の量子化ステップの内、右下の量子化ステップの値が比較的大きな値を持つ。HEVCやAVCのような符号化においては、画素値は、直交変換されて量子化される。つまり、量子化は直交変換係数に対して行われる。したがって、図４の例のデフォルトスケーリングリスの場合、カレントブロック内のより高周波成分（直交変換係数）の符号量を低減させるように、より大きな量子化ステップで量子化が行われるようになされている。

［直交変換スキップ］
ところで、HEVC規格では、非特許文献２において提案されている"Intra Transform Skipping"の手法が採用されている。直交変換スキップ（Transform Skip）とは、直交変換処理や逆直交変換処理を省略（スキップ）する手法である。

一般的には、画像データ（差分画像データ）に対して、ブロック毎に直交変換処理を行って、ブロック内の空間領域の情報を周波数領域の情報に変換することにより、ブロック内の係数を低域に集中させ、偏りを大きくすることができる。これにより、符号化効率が向上する。

しかしながら、ブロック内の絵柄によっては、そのような偏りが生じにくい場合も考えられる。例えば、CG画やキャプション等人工的な画像の場合、自然画に比べて、グラデーションや強いエッジが発生し易い。そのため、高域成分が生じ易く、直交変換処理を行っても偏りが生じにくい。そこで、そのようなブロックに対しては、直交変換処理のスキップを認めるようにすることにより、さらなる符号化効率の向上を図ることができる。

［カスタムスケーリングリスト］
以上のような直交変換スキップを適用すると、直交変換係数の代わりに直交変換前画素値が量子化されることになる。しかしながら、従来の量子化・逆量子化においては、このような直交変換スキップへの対応は考慮されていなかった。そのため、直交変換前画素値に対しても、直交変換係数に対する場合と同様のスケーリングリストを用いて、量子化・逆量子化が行われていた。

しかしながら、このスケーリングリストは、直交変換係数に対するものであるので、直交変換前画素値に対して最適化されたものではなく、そのため、量子化誤差が不要に増大してしまう恐れがあった。

そこで、画像データの符号化において、カレントブロックの直交変換処理・逆直交変換処理がスキップされる場合、カレントブロックに対する量子化処理に用いるスケーリングリストとして、直交変換前画素値の量子化・逆量子化に対してより適したカスタムスケーリングリストを設定するようにする。

直交変換前画素値の量子化・逆量子化において、直交変換係数の量子化・逆量子化に対して適した従来のデフォルトスケーリングリストの代わりに、このようなカスタムスケーリングリストを用いることにより、量子化誤差の増大を抑制することができる。

特に、イントラ予測においては、カレントブロックの周辺の参照画素が、予測画像の複数の画素の生成に利用される。そのため、参照画素の画素値に含まれる量子化誤差は、イントラ予測によって、予測画像のより多くの画素に拡散する恐れがあった。そのためイントラ予測の予測精度が大幅に低減し、符号化効率が低減し、符号化や復号による画質劣化が増大する恐れがあった。

そこで、カスタムスケーリングリストにおいて、量子化ステップの値が、量子化誤差によりイントラ予測の予測精度が低減しないように、すなわち、ブロック内のイントラ予測において参照される可能性のある画素の画素値に含まれる量子化誤差が小さくなるように設定されるようにしてもよい。

なお、スケーリングリストの全ての量子化ステップの値小さくすると符号量が不要に増大するので、符号化効率が低減する恐れがある。そこで、カスタムスケーリングリストにおいては、イントラ予測において参照される可能性のある画素に対応する量子化ステップの値が、イントラ予測において参照される可能性の無い画素に対応する量子化ステップの値よりも小さく設定されるようにする。

このようにすることにより、直交変換処理・逆直交変換処理がスキップされるブロックにおいては、デフォルトスケーリングリストを用いて量子化・逆量子化を行う場合よりも、カスタムスケーリングリストを用いて量子化・逆量子化を行う方が、予測画像に含まれる量子化誤差を低減させ、符号化効率を向上させ、符号化や復号による画質の劣化を低減させることができる。

このカスタムスケーリングリストの例を図５に示す。図５に示されるカスタムスケーリングリストは、デフォルトスケーリングリストの図３の例に対応するものであるとする。つまり、図５の例のカスタムスケーリングリストにおいては、斜線模様で示される、イントラ予測において参照される可能性のある画素に対応する量子化ステップ（ブロックの右端と下端の量子化ステップ）が、デフォルトスケーリングリストの場合よりも小さく設定されている。また、白地で示されるその他の量子化ステップ（イントラ予測において参照される可能性の無い画素に対応する量子化ステップ）は、デフォルトスケーリングリストのままとされている。

このように、イントラ予測において参照される可能性のある画素に対応する量子化ステップの値のみを小さくすることにより、予測画像に含まれる量子化誤差を低減させるとともに、符号量の不要な増大を抑制することができ、符号化効率の低減をより抑制することができる。

なお、図４の例のデフォルトスケーリングリストに対して、図５のカスタムスケーリングリストを用いるようにしてももちろんよい。つまり、カスタムスケーリングリストにおいて、イントラ予測において参照される可能性の無い画素に対応する量子化ステップの値は、図５の例のように均一でなくてもよい。

同様に、カスタムスケーリングリストにおいて、イントラ予測において参照される可能性のある画素に対応する量子化ステップの値も、図５の例のように均一でなくてもよい。

例えば、イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップが、それぞれが対応する画素のイントラ予測において参照される可能性の高さに応じた値を有するようにしてもよい。

このカスタムスケーリングリストの例を図６に示す。図６に示されるカスタムスケーリングリストは、右下隅の量子化ステップの値が、さらに小さく設定されている。この量子化ステップに対応する画素は、このブロックの右や下のブロック等、多くのブロックのイントラ予測において参照される可能性がある。つまり、他の量子化ステップに比べて、参照される可能性が高いと言える。

このような参照される可能性が高い画素に対応する量子化ステップの値を、（その可能性の高さに応じて）さらに小さくすることにより、より効率よく、予測画像に含まれる量子化誤差を低減させることができる。したがって、符号量の不要な増大を抑制しながら、符号化効率の低減をさらに抑制することができる。

なお、このようなカスタムスケーリングリストにおいて重要なことは、イントラ予測において参照される可能性のある画素に対応する量子化ステップが、イントラ予測において参照される可能性の無い画素に対応する量子化ステップに比べて値が小さいということであり、具体的な値は、任意であり、実際の符号量等に応じて適切な値を設定すればよい。

つまり、イントラ予測において参照される可能性のある画素に対応する量子化ステップの値を小さくする代わりに、イントラ予測において参照される可能性の無い画素に対応する量子化ステップの値を大きくしても良い。

例えば、図７に示されるカスタムスケーリングリストの例のように、イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも大きく設定されるようにしてもよい。

例えば、符号量を増大させる余裕が無い場合、図７の例のようなカスタムスケーリングリストを適用することにより、デフォルトスケーリングリストを用いる場合よりも、符号量を低減させながら、予測画像に含まれる量子化誤差の増大を抑制することができる。

［カスタムスケーリングリストの生成］
なお、このようなカスタムスケーリングリストは、予め用意しても良いし、適宜生成するようにしてもよい。予め用意する場合は、任意の数のカスタムスケーリングリストを用意することができる。

また、使用したカスタムスケーリングリストは、符号化側から復号側に伝送するようにしてもよい。例えば、シーケンスパラメータセットやピクチャパラメータセット等において伝送するようにしてもよい。また、符号化データとは別のデータとして伝送するようにしてもよい。

また、復号側においても、符号化側と同様の処理により、使用するカスタムスケーリングリストを設定（選択若しくは生成）するようにしてもよい。この場合、カスタムスケーリングリストの伝送は不要である。

さらに、処理対象であるカレントブロックの量子化・逆量子化に、カスタムスケーリングリストを適用するかデフォルトスケーリングリストを適用するかは、そのカレントブロックについての直交変換スキップに関する情報に基づいて決定するようにしてもよい。

［直交変換スキップに関する情報］
この直交変換スキップに関する情報には、例えば、所定の範囲について直交変換スキップ（Transform Skip）を許可するか否か（enable/disable）を示すスキップ許可情報（transform_skip_enable_flag）や、カレントブロックに対して直交変換スキップを適用したか否かを示すスキップ識別情報（transform_skip_flag）が含まれる。

スキップ許可情報（transform_skip_enable_flag）は、直交変換処理の単位より大きな範囲毎に直交変換スキップ（Transform Skip）を許可するか否か（enable/disable）を示す情報である。例えば、スキップ許可情報（transform_skip_enable_flag）の値が偽（例えば「０」）である場合、その値に対応する範囲のブロックにおいては、直交変換スキップ（Transform Skip）は禁止される（直交変換処理・逆直交変換処理が必ず行われる）。

また、例えば、スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、その値に対応する範囲のブロックにおいては、直交変換スキップ（Transform Skip）が許可される（直交変換処理・逆直交変換処理がスキップされ得る）。

このスキップ許可情報（transform_skip_enable_flag）は、例えば、ユーザ等により設定される。このスキップ許可情報（transform_skip_enable_flag）は、例えばピクチャ毎に設定され、ピクチャパラメータセット（PPS（Picture Parameter Set））などにおいて伝送される。

スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、所定のサイズ（例えば４×４サイズ）のブロック（TU）においては、直交変換スキップ（Transform Skip）が適用され得る。この場合、所定のサイズ（例えば４×４サイズ）の各ブロック（TU）について、スキップ識別情報（transform_skip_flag）が伝送される。

スキップ識別情報（transform_skip_flag）は、処理対象であるカレントブロック（TU）について、符号化の際に直交変換スキップが行われたか否かを示す情報である。この値が、偽（例えば「０」）である場合、カレントブロックにおいては、直交変換スキップ（Transform Skip）が行われていない（直交変換処理が行われた）。つまり、復号側においては、スキップ識別情報（transform_skip_flag）の値が偽（例えば「０」）である場合、カレントブロックに対して逆直交変換処理を行う。

逆に、この値が、真（例えば「１」）である場合、カレントブロックにおいては、直交変換スキップ（Transform Skip）が行われる（直交変換処理が行われなかった）。つまり、復号側においては、スキップ識別情報（transform_skip_flag）の値が真（例えば「１」）である場合、カレントブロックに対する逆直交変換処理をスキップ（省略）する。

以上のような、スキップ許可情報（transform_skip_enable_flag）およびスキップ識別情報（transform_skip_flag）に基づいて、カレントブロックにおいて直交変換処理がスキップされるか否かを判定することができる。したがって、これらの値に基づいて、カスタムスケーリングリストを適用するか否かを決定するようにしてもよい。つまり、スキップ許可情報（transform_skip_enable_flag）およびスキップ識別情報（transform_skip_flag）に基づいて、カレントブロックにおいて直交変換処理・逆直交変換処理がスキップされると判定される場合、カスタムスケーリングリストを適用するようにし、それ以外の場合、デフォルトスケーリングリストを適用するようにすればよい。

なお、スキップ許可情報（transform_skip_enable_flag）のみに基づいて、カスタムスケーリングリストを適用するか否かを決定するようにしてもよい。例えば、スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）である場合、カレントブロックにおいて直交変換処理・逆直交変換処理がスキップされ得るとして、カスタムスケーリングリストを適用するようにし、値が偽（例えば「０」）である場合、カレントブロックにおいて直交変換処理・逆直交変換処理がスキップされ得ないとして、デフォルトスケーリングリストを適用するようにしてもよい。

換言するに、スキップ許可情報（transform_skip_enable_flag）の値を偽（例えば０）とすることにより、カスタムスケーリングリストの適用を禁止することもできる。

なお、付言するに、カスタムスケーリングリストを適用することができるブロックのサイズは、直交変換スキップ可能な所定のサイズ（例えば４×４サイズ）に限定される。スキップ識別情報（transform_skip_flag）を参照しない場合は、このことにも考慮するのが望ましい。

さらに、カレントブロックが属するスライス（カレントスライス）が、イントラ予測のみが行われるIスライスの場合、カスタムスケーリングリストを適用することができるようにし、他のスライスタイプの場合、カスタムスケーリングリストの適用を禁止するようにしてもよい。

イントラ予測が行われると、参照画素の画素値がカレントブロックに拡散するので、量子化ステップの値を小さくし、参照画素の量子化誤差を低減させることによるメリットは特に大きい。そのため、確実にイントラ予測が行われるIスライスの場合のみ、カスタムスケーリングリストの適用を許可するようにしてもよい。

この場合、上述した直交変換スキップに関する情報に加えて、カレントスライスのスライスタイプを参照することにより、このような制御を実現することができる。

次に、以上のような本技術について、具体的な装置への適用例について説明する。

＜１．第１の実施の形態＞
［画像符号化装置］
図８は、画像処理装置の一実施の形態である画像符号化装置の主な構成例を示すブロック図である。図８に示される画像符号化装置１００は、例えば、HEVC（High Efficiency Video Coding）の予測処理、またはそれに準ずる方式の予測処理を用いて画像データを符号化する。図８に示されるように、画像符号化装置１００は、A/D変換部１１１、画面並べ替えバッファ１１２、演算部１１３、直交変換部１１４、量子化部１１５、可逆符号化部１１６、蓄積バッファ１１７、逆量子化部１１８、および逆直交変換部１１９を有する。また、画像符号化装置１００は、演算部１２０、ループフィルタ１２１、フレームメモリ１２２、選択部１２３、イントラ予測部１２４、動き予測・補償部１２５、予測画像選択部１２６、およびレート制御部１２７を有する。

画像符号化装置１００は、さらに、直交変換スキップ部１３１および量子化制御部１３２を有する。

A/D変換部１１１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１２に供給し、記憶させる。画面並べ替えバッファ１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１３に供給する。また、画面並べ替えバッファ１１２は、フレームの順番を並び替えた画像を、イントラ予測部１２４および動き予測・補償部１２５にも供給する。

演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５から供給される予測画像を減算し、その差分情報を直交変換部１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、イントラ予測部１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１３は、画面並べ替えバッファ１１２から読み出された画像から、動き予測・補償部１２５から供給される予測画像を減算する。

直交変換部１１４は、演算部１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１４は、その変換係数を量子化部１１５に供給する。

量子化部１１５は、直交変換部１１４から供給される変換係数を量子化する。量子化部１１５は、レート制御部１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１５は、量子化された変換係数を可逆符号化部１１６に供給する。

可逆符号化部１１６は、量子化部１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１２７の制御の下で量子化されているので、この符号量は、レート制御部１２７が設定した目標値となる（若しくは目標値に近似する）。

また、可逆符号化部１１６は、イントラ予測のモードを示す情報などをイントラ予測部１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１２５から取得する。さらに、可逆符号化部１１６は、ビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜生成する。

可逆符号化部１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１６は、符号化して得られた符号化データを蓄積バッファ１１７に供給して蓄積させる。

可逆符号化部１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ１１７は、可逆符号化部１１６から供給された符号化データを、一時的に保持する。蓄積バッファ１１７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１７は、符号化データを伝送する伝送部でもある。

また、量子化部１１５において量子化された変換係数は、逆量子化部１１８にも供給される。逆量子化部１１８は、その量子化された変換係数を、量子化部１１５による量子化に対応する方法で逆量子化する。逆量子化部１１８は、得られた変換係数を、逆直交変換部１１９に供給する。

逆直交変換部１１９は、逆量子化部１１８から供給された変換係数を、直交変換部１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１２０に供給される。

演算部１２０は、逆直交変換部１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１２６を介してイントラ予測部１２４若しくは動き予測・補償部１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１２１またはフレームメモリ１２２に供給される。

ループフィルタ１２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１２２に供給する。

なお、ループフィルタ１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１６に供給し、それを符号化させるようにすることもできる。

フレームメモリ１２２は、演算部１２０から供給される再構成画像と、ループフィルタ１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１２３を介してイントラ予測部１２４に供給する。また、フレームメモリ１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１２３を介して、動き予測・補償部１２５に供給する。

フレームメモリ１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１２３に供給する。

選択部１２３は、フレームメモリ１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１２５に供給する。また、例えば、インター予測の場合、選択部１２３は、フレームメモリ１２２から供給される参照画像を動き予測・補償部１２５に供給する。

イントラ予測部１２４は、選択部１２３を介してフレームメモリ１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。

イントラ予測部１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。

また、上述したように、イントラ予測部１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１６に供給し、符号化させる。

動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、選択部１２３を介してフレームメモリ１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。動き予測・補償部１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。

動き予測・補償部１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１２５は、画面並べ替えバッファ１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１２６に供給する。

動き予測・補償部１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。

予測画像選択部１２６は、演算部１１３や演算部１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１２６は、予測画像の供給元としてイントラ予測部１２４を選択し、そのイントラ予測部１２４から供給される予測画像を演算部１１３や演算部１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１２６は、予測画像の供給元として動き予測・補償部１２５を選択し、その動き予測・補償部１２５から供給される予測画像を演算部１１３や演算部１２０に供給する。

レート制御部１２７は、蓄積バッファ１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。

直交変換スキップ部１３１は、直交変換部１１４における直交変換処理の実行、並びに、逆直交変換部１１９における逆直交変換処理の実行を制御する。例えば、直交変換スキップ部１３１は、直交変換部１１４から直交変換係数および直交変換前の差分値を取得する。また、例えば、直交変換スキップ部１３１は、可逆符号化部１１６からスキップ許可情報（transform_skip_enable_flag）を取得する。直交変換スキップ部１３１は、これらの情報に基づいて、直交変換処理や逆直交変換処理をスキップ（省略）するか否かを決定する。

直交変換スキップ部１３１は、その決定に基づいて、直交変換部１１４や逆直交変換部１１９を制御する。つまり、直交変換部１１４は、その直交変換スキップ部１３１の制御に従って、直交変換処理を行うか若しくはスキップする。同様に、逆直交変換部１１９も、その直交変換スキップ部１３１の制御に従って、逆直交変換処理を行うか若しくはスキップする。

また、直交変換スキップ部１３１は、その決定した内容、すなわち、直交変換処理や逆直交変換処理をスキップするか否かを示すスキップ識別情報（transform_skip_flag）を生成し、それを可逆符号化部１１６に供給する。可逆符号化部１１６は、そのスキップ識別情報（transform_skip_flag）を、例えば符号化データに含めて復号側に伝送する。なお、このスキップ識別情報は、符号化データとは別のデータとして復号側に伝送されるようにしてもよい。

さらに、直交変換スキップ部１３１は、スキップ許可情報（transform_skip_enable_flag）やスキップ識別情報（transform_skip_flag）を含む直交変換スキップに関する情報を、量子化制御部１３２に供給する。

量子化制御部１３２は、直交変換スキップ部１３１から供給される直交変換スキップに関する情報を取得する。また、量子化制御部１３２は、画面並べ替えバッファ１１２から、処理対象であるカレントスライス（カレントブロックが属するスライス）のスライスタイプを示す情報を取得する。量子化制御部１３２は、これらの情報に基づいて、カレントブロックに対する量子化・逆量子化においてカスタムスケーリングリストを適用するか、デフォルトスケーリングリストを適用するかを決定する。量子化制御部１３２は、適用するスケーリングリストを決定すると、そのスケーリングリストを量子化部１１５および逆量子化部１１８に供給する。

量子化部１１５は、量子化制御部１３２から供給されたスケーリングリストを用いて、カレントブロックに対する量子化を行う。また、逆量子化部１１８は、量子化制御部１３２から供給されたスケーリングリストを用いて、カレントブロックに対する逆量子化を行う。

［量子化制御部］
図９は、図８の量子化制御部１３２の主な構成例を示すブロック図である。図９に示されるように、量子化制御部１３２は、判定部１５１およびスケーリングリスト設定部１５２を有する。

図９に示されるように、直交変換スキップ部１３１は、直交変換スキップに関する情報を、判定部１５１に供給する。また、画面並べ替えバッファ１１２は、カレントスライスのスライスタイプを示す情報を、判定部１５１に供給する。

判定部１５１は、これらの情報の判定を行う。例えば、判定部１５１は、スキップ許可情報やスキップ識別情報の値を判定する。また、例えば、判定部１５１は、カレントスライスがＩスライスであるか否かを判定する。判定部１５１は、これらの判定結果をスケーリングリスト設定部１５２に供給する。

スケーリングリスト設定部１５２は、判定部１５１から供給される判定結果に基づいて、カレントブロックの量子化・逆量子化において使用するスケーリングリストを設定する。例えば、スキップ許可情報およびスキップ識別情報の値が両方とも真であり、Ｉスライスである場合、スケーリングリスト設定部１５２は、カスタムスケーリングリストを適用する。また、スキップ許可情報およびスキップ識別情報の内、少なくともいずれか一方の値が偽である場合、若しくは、Ｉスライスでない場合、スケーリングリスト設定部１５２は、デフォルトスケーリングリストを適用する。

スケーリングリスト設定部１５２は、設定したスケーリングリストを量子化部１１５および逆量子化部１１８に供給する。量子化部１１５および逆量子化部１１８は、そのスケーリングリストを用いて、量子化処理・逆量子化処理を行う。

このようにすることにより、画像符号化装置１００は、量子化誤差の増大を抑制し、符号化効率を向上させることができる。換言するに、画像符号化装置１００は、符号化・復号による画質の低減を抑制することができる。

［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１０のフローチャートを参照して、符号化処理の流れの例を説明する。

符号化処理が開始されると、ステップＳ１０１において、画像符号化装置１００の可逆符号化部１１６は、例えばユーザ指示等に基づいて、処理対象であるカレントピクチャについて、スキップ許可情報（transform_skip_enable_flag）を生成する。

ステップＳ１０２において、A/D変換部１１１は、入力された画像データをA/D変換する。ステップＳ１０３において、画面並べ替えバッファ１１２は、A/D変換された画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。

ステップＳ１０４において、イントラ予測部１２４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１０５において、動き予測・補償部１２５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。ステップＳ１０６において、予測画像選択部１２６は、イントラ予測部１２４および動き予測・補償部１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１２６は、イントラ予測部１２４により生成された予測画像と、動き予測・補償部１２５により生成された予測画像のいずれか一方を選択する。

ステップＳ１０７において、演算部１１３は、ステップＳ１０３の処理により並び替えられた画像と、ステップＳ１０６の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０８において、直交変換スキップ部１３１は、処理対象であるカレントブロックの直交変換スキップを行うか否かを決定する。ステップＳ１０９において、直交変換部１１４は、ステップＳ１０８の処理結果に従って、ステップＳ１０７の処理により生成された差分情報に対する直交変換処理を行う。例えば、ステップＳ１０８において、カレントブロックに対して直交変換を行うと決定された場合、直交変換部１１４は、ステップＳ１０９において、直交変換を行う。また、例えば、ステップＳ１０８において、カレントブロックに対して直交変換を行わないと決定された場合、直交変換部１１４は、ステップＳ１０９において、直交変換をスキップする。

ステップＳ１１０において、量子化制御部１３２は、ステップＳ１０８の処理結果に従って、量子化制御処理を行う。ステップＳ１１１において、量子化部１１５は、レート制御部１２７により算出された量子化パラメータ、並びに、ステップＳ１１０において設定されたスケーリングリストを用いて、ステップＳ１０９の処理により得られた直交変換係数若しくは直交変換前差分値を量子化する。

ステップＳ１１０の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１２において、逆量子化部１１８は、ステップＳ１１１の処理により生成された量子化された係数（量子化係数とも称する）を、ステップＳ１１０において設定されたスケーリングリストを用いて逆量子化する。ステップＳ１１３において、逆直交変換部１１９は、ステップＳ１１２の処理により得られた直交変換係数若しくは直交変換前差分値に対する逆直交変換処理を、ステップＳ１０８の処理結果に従って行う。

ステップＳ１１４において、演算部１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１３への入力に対応する画像）を生成する。

ステップＳ１１５においてループフィルタ１２１は、ステップＳ１１４の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。

ステップＳ１１６において、フレームメモリ１２２は、ステップＳ１１５の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１２２にはループフィルタ１２１によりフィルタ処理されていない画像も演算部１２０から供給され、記憶される。このフレームメモリ１２２に記憶された画像は、ステップＳ１０４の処理やステップＳ１０５の処理に利用される。

ステップＳ１１７において、可逆符号化部１１６は、ステップＳ１１１の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。

また、このとき、可逆符号化部１１６は、ステップＳ１０６の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１６は、イントラ予測部１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

なお、可逆符号化部１１６は、さらに、例えばスキップ識別情報（transform_skip_flag）等のような直交変換スキップに関する情報等も、適宜符号化し、符号化データに付加する。

ステップＳ１１８において蓄積バッファ１１７は、ステップＳ１１７の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ１１７に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１１９においてレート制御部１２７は、ステップＳ１１８の処理により蓄積バッファ１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１５の量子化動作のレートを制御する。また、レート制御部１２７は、量子化パラメータに関する情報を、量子化部１１５に供給する。

ステップＳ１１９の処理が終了すると、符号化処理が終了する。この符号化処理は、例えば、ピクチャ単位で実行される。つまり、各ピクチャに対して符号化処理が実行される。ただし、符号化処理内の各処理は、それぞれの処理単位毎に行われる。

［量子化制御処理の流れ］
次に、図１０のステップＳ１１０において実行される量子化制御処理の流れの例を、図１１のフローチャートを参照して説明する。

量子化制御処理が開始されると、判定部１５１は、ステップＳ１３１において、直交変換スキップに関する情報を、直交変換スキップ部１３１から取得する。

ステップＳ１３２において、判定部１５１は、ステップＳ１３１において取得した直交変換スキップに関する情報に含まれるスキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）であるか否かを判定する。スキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）であると判定された場合、処理は、ステップＳ１３３に進む。

ステップＳ１３３において、判定部１５１は、ステップＳ１３１において取得した直交変換スキップに関する情報に含まれるスキップ識別情報（transform_skip_flag）の値が真（例えば「１」）であるか否かを判定する。スキップ識別情報（transform_skip_flag）の値が真（例えば「１」）であると判定された場合、処理は、ステップＳ１３４に進む。

ステップＳ１３４において、判定部１５１は、画面並べ替えバッファ１１２から供給されるスライスタイプに関する情報を取得する。ステップＳ１３５において、判定部１５１は、ステップＳ１３４において取得されたスライスタイプに関する情報に基づいて、カレントスライスがＩスライスであるか否かを判定する。Ｉスライスであると判定した場合、処理をステップＳ１３６に進める。

ステップＳ１３６において、スケーリングリスト設定部１５２は、カレントブロックの量子化に用いるスケーリングリストとして、カスタムスケーリングリストを適用する。ステップＳ１３６の処理が終了すると、処理はステップＳ１３８に進む。

また、ステップＳ１３２において、スキップ許可情報（transform_skip_enable_flag）の値が偽であると判定された場合、ステップＳ１３３において、スキップ識別情報（transform_skip_flag）の値が偽であると判定された場合、若しくは、ステップＳ１３５において、カレントスライスがＩスライスでないと判定された場合、処理は、ステップＳ１３７に進む。

ステップＳ１３７において、スケーリングリスト設定部１５２は、カレントブロックの量子化に用いるスケーリングリストとして、デフォルトスケーリングリストを適用する。ステップＳ１３７の処理が終了すると、処理はステップＳ１３８に進む。

ステップＳ１３８において、判定部１５１は、全てのブロック（TU）を処理したか否かを判定する。未処理のブロックが存在すると判定された場合、処理は、ステップＳ１３１に戻り、それ以降の処理を繰り返す。ステップＳ１３１乃至ステップＳ１３８の処理が繰り返し実行されることにより各ブロックについて処理が行われ、ステップＳ１３８において、全てのブロック（TU）を処理したと判定された場合、量子化制御処理が終了し、処理は、図１０に戻る。

以上のように各処理を実行することにより、画像符号化装置１００は、量子化誤差の増大を抑制し、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。

＜２．第２の実施の形態＞
［画像復号装置］
次に、以上のように符号化された符号化データ（ビットストリーム）の復号について説明する。図１２は、画像処理装置の一実施の形態である画像復号装置の主な構成例を示すブロック図である。図１２に示される画像復号装置２００は、図８の画像符号化装置１００の符号化方式に対応する復号方式で符号化データを復号する復号装置である。例えば、画像復号装置２００は、画像符号化装置１００により画像データが符号化されて得られた符号化データを復号する。

図１２に示されるように画像復号装置２００は、蓄積バッファ２１１、可逆復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、ループフィルタ２１６、画面並べ替えバッファ２１７、およびD/A変換部２１８を有する。また、画像復号装置２００は、フレームメモリ２１９、選択部２２０、イントラ予測部２２１、動き予測・補償部２２２、および選択部２２３を有する。

さらに、画像復号装置２００は、逆直交変換スキップ部２３１および逆量子化制御部２３２を有する。

蓄積バッファ２１１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ２１１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２１２に供給する。この符号化データには、予測モード情報、直交変換スキップに関する情報（例えば、スキップ許可情報やスキップ識別情報を含む）、スライスタイプなどのスライスに関する情報等、復号に必要な情報が付加されている。

可逆復号部２１２は、蓄積バッファ２１１より供給された、可逆符号化部１１６により符号化された情報を、可逆符号化部１１６の符号化方式に対応する方式で復号する。可逆復号部２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２１３に供給する。

また、可逆復号部２１２は、符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部２２１および動き予測・補償部２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、画像符号化装置１００において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部２２１に供給される。また、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部２２２に供給される。

さらに、可逆復号部２１２は、例えば、量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部２１３に供給する。また、可逆復号部２１２は、例えば、スライスタイプ等の、逆量子化の制御に必要な情報をNALユニット等から抽出し、それを逆量子化制御部２３２に供給する。

さらに、可逆復号部２１２は、例えば、スキップ許可情報（transform_skip_enable_flag）やスキップ識別情報（transform_skip_flag）等を含む直交変換スキップに関する情報を、NALユニット等から抽出し、逆直交変換スキップ部２３１に供給する。

逆量子化部２１３は、可逆復号部２１２により復号されて得られた量子化された係数データ（量子化係数）を、量子化部１１５の量子化方式に対応する方式で逆量子化する。逆量子化部２１３は、逆量子化制御部２３２より供給されるスケーリングリストを用いて、逆量子化を行う。逆量子化部２１３は、得られた係数データ（直交変換係数若しくは直交変換前差分値）を逆直交変換部２１４に供給する。

なお、この逆量子化部２１３は、逆量子化部１１８と同様の処理部である。つまり、逆量子化部２１３の説明は、逆量子化部１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。

逆直交変換部２１４は、逆直交変換スキップ部２３１の制御に基づいて、逆量子化部２１３から供給される係数データ（直交変換係数若しくは直交変換前差分値）を、必要に応じて、直交変換部１１４の直交変換方式に対応する方式で逆直交変換する。つまり、逆直交変換部２１４は、逆量子化部２１３から直交変換係数が供給される場合、その直交変換係数を逆直交変換する。また、逆直交変換部２１４は、逆量子化部２１３から直交変換前差分値が供給される場合、逆直交変換をスキップする。

逆直交変換部２１４は、このような逆直交変換処理により、直交変換部１１４において直交変換される前の残差データ（直交変換前差分値）に対応する復号残差データを得る。逆直交変換部２１４は、この復号残差データを演算部２１５に供給する。

なお、この逆直交変換部２１４は、逆直交変換部１１９と同様の処理部である。つまり、逆直交変換部２１４の説明は、逆直交変換部１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。

演算部２１５には、この他に、選択部２２３を介して、イントラ予測部２２１若しくは動き予測・補償部２２２から予測画像が供給される。

演算部２１５は、その復号残差データと予測画像とを加算し、演算部１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２１５は、その復号画像データをループフィルタ２１６に供給する。

ループフィルタ２１６は、供給された復号画像に対して、デブロックフィルタや適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ２１７およびフレームメモリ２１９に供給する。例えば、ループフィルタ２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ２１６は、ループフィルタ１２１と同様の処理部である。

また、演算部２１５から出力される復号画像は、ループフィルタ２１６を介さずに画面並べ替えバッファ２１７やフレームメモリ２１９に供給することができる。つまり、ループフィルタ２１６によるフィルタ処理の一部若しくは全部は省略することができる。

画面並べ替えバッファ２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２１８は、画面並べ替えバッファ２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

フレームメモリ２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部２２１や動き予測・補償部２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部２２０に供給する。

選択部２２０は、フレームメモリ２１９から供給される参照画像の供給先を選択する。選択部２２０は、イントラ符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像をイントラ予測部２２１に供給する。また、選択部２２０は、インター符号化された画像を復号する場合、フレームメモリ２１９から供給される参照画像を動き予測・補償部２２２に供給する。

イントラ予測部２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２１２から適宜供給される。イントラ予測部２２１は、イントラ予測部１２４において用いられたイントラ予測モードで、フレームメモリ２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部２２１は、生成した予測画像を選択部２２３に供給する。

動き予測・補償部２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部２１２から取得する。

動き予測・補償部２２２は、可逆復号部２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ２１９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。

選択部２２３は、イントラ予測部２２１からの予測画像または動き予測・補償部２２２からの予測画像を、演算部２１５に供給する。そして、演算部２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。

逆直交変換スキップ部２３１は、直交変換スキップ部１３１と同様の方法で、逆直交変換部２１４における逆直交変換処理の実行を制御する。つまり、逆直交変換スキップ部２３１は、符号化側から供給される直交変換スキップに関する情報（例えばスキップ許可情報やスキップ識別情報）を、可逆復号部２１２を介して取得する。逆直交変換スキップ部２３１は、その情報に基づいて逆直交変換処理をスキップ（省略）するか否かを決定し、その決定に従って逆直交変換部２１４における逆直交変換処理の実行を制御する。

この決定方法が直交変換スキップ部１３１と同様であるので、逆直交変換スキップ部２３１は、直交変換が行われたブロックに対して逆直交変換処理を行うように、また、直交変換がスキップされたブロックに対して逆直交変換処理をスキップするように、逆直交変換部２１４を制御する。

逆直交変換部２１４は、その逆直交変換スキップ部２３１の制御に従って、逆直交変換処理を行うか若しくはスキップする。

また、逆直交変換スキップ部２３１は、得られたスキップ許可情報やスキップ識別情報を含む直交変換スキップに関する情報を、逆量子化制御部２３２に供給する。

逆量子化制御部２３２は、量子化制御部１３２と同様の方法で、逆量子化部２１３における逆量子化処理の実行を制御する。つまり、逆量子化制御部２３２は、逆直交変換スキップ部２３１から供給される、符号化側から伝送された直交変換スキップに関する情報を取得する。また、逆量子化制御部２３２は、可逆復号部２１２が符号化データから抽出したカレントスライスのスライスタイプを示す情報を取得する。逆量子化制御部２３２は、これらの情報に基づいて、カレントブロックに対する逆量子化において適用するスケーリングリストを決定し、そのスケーリングリストを逆量子化部２１３に供給する。

このスケーリングリストの決定方法が量子化制御部１３２と同様であるので、逆量子化制御部２３２は、直交変換が行われたブロックに対してデフォルトスケーリングリストを適用し、また、直交変換がスキップされたブロックに対してカスタムスケーリングリストを適用する。逆量子化部２１３は、逆量子化制御部２３２から供給されたスケーリングリストを用いて、カレントブロックに対する逆量子化を行う。

［逆量子化制御部］
図１３は、図１２の逆量子化制御部２３２の主な構成例を示すブロック図である。図１３に示されるように、逆量子化制御部２３２は、基本的に量子化制御部１３２と同様であり、判定部２５１およびスケーリングリスト設定部２５２を有する。

図１３に示されるように、逆直交変換スキップ部２３１は、直交変換スキップに関する情報を、判定部２５１に供給する。また、可逆復号部２１２は、カレントスライスのスライスタイプを示す情報を、判定部２５１に供給する。

判定部２５１は、これらの情報の判定を行う。例えば、判定部２５１は、スキップ許可情報やスキップ識別情報の値を判定する。また、例えば、判定部２５１は、カレントスライスがＩスライスであるか否かを判定する。判定部２５１は、これらの判定結果をスケーリングリスト設定部２５２に供給する。

スケーリングリスト設定部２５２は、判定部２５１から供給される判定結果に基づいて、カレントブロックの逆量子化において使用するスケーリングリストを設定する。例えば、スキップ許可情報およびスキップ識別情報の値が両方とも真であり、Ｉスライスである場合、スケーリングリスト設定部２５２は、カスタムスケーリングリストを適用する。また、スキップ許可情報およびスキップ識別情報の内、少なくともいずれか一方の値が偽である場合、若しくは、Ｉスライスでない場合、スケーリングリスト設定部２５２は、デフォルトスケーリングリストを適用する。

スケーリングリスト設定部２５２は、設定したスケーリングリストを逆量子化部２１３に供給する。逆量子化部２１３は、そのスケーリングリストを用いて、逆量子化処理を行う。

このようにすることにより、画像復号装置２００は、量子化誤差の増大を抑制し、符号化効率を向上させることができる。換言するに、画像復号装置２００は、符号化・復号による画質の低減を抑制することができる。

［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１４のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２１１は、符号化側から伝送されたビットストリームを蓄積する。ステップＳ２０２において、可逆復号部２１２は、蓄積バッファ２１１から供給されるビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。

ステップＳ２０３において、逆量子化制御部２３２は、逆量子化制御処理を行い、適用するスケーリングリストを設定する。

ステップＳ２０４において、逆量子化部２１３は、ステップＳ２０３において設定されたスケーリングリストを用いて、ステップＳ２０２の処理により得られた、量子化された係数を逆量子化する。

ステップＳ２０５において、逆直交変換部２１４は、逆直交変換スキップ部２３１の制御に基づいてカレントブロック（カレントTU）についての逆直交変換を適宜行う逆直交変換処理を行う。

ステップＳ２０６において、イントラ予測部２２１若しくは動き予測・補償部２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き予測・補償部２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。

ステップＳ２０７において、演算部２１５は、ステップＳ２０５の逆直交変換処理により得られた差分画像情報に、ステップＳ２０７において生成された予測画像を加算する。これにより元の画像が復号される（復号画像が得られる）。

ステップＳ２０８において、ループフィルタ２１６は、ステップＳ２０７において得られた復号画像に対して、各種のフィルタ処理を適宜行うループフィルタ処理を行う。

ステップＳ２０９において、画面並べ替えバッファ２１７は、ステップＳ２０８においてループフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１０において、D/A変換部２１８は、ステップＳ２０９においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ２１１において、フレームメモリ２１９は、ステップＳ２０８においてループフィルタ処理された画像を記憶する。

ステップＳ２１１の処理が終了すると、復号処理が終了する。この復号処理は、例えば、ピクチャ単位で実行される。つまり、各ピクチャに対して復号処理が実行される。ただし、復号処理内の各処理は、それぞれの処理単位毎に行われる。

［量子化制御処理の流れ］
次に、図１４のステップＳ２０３において実行される逆量子化制御処理の流れの例を、図１５のフローチャートを参照して説明する。

逆量子化制御処理が開始されると、判定部２５１は、ステップＳ２３１において、直交変換スキップに関する情報を取得する。

ステップＳ２３２において、判定部２５１は、ステップＳ２３１において取得した直交変換スキップに関する情報に含まれるスキップ許可情報（transform_skip_enable_flag）の値が真（例えば「１」）であるか否かを判定する。その値が真（例えば「１」）であると判定された場合、処理は、ステップＳ２３３に進む。

ステップＳ２３３において、判定部２５１は、ステップＳ２３１において取得した直交変換スキップに関する情報に含まれるスキップ識別情報（transform_skip_flag）の値が真（例えば「１」）であるか否かを判定する。その値が真（例えば「１」）であると判定された場合、処理は、ステップＳ２３４に進む。

ステップＳ２３４において、判定部２５１は、スライスタイプに関する情報を取得する。ステップＳ２３５において、判定部２５１は、ステップＳ２３４において取得されたスライスタイプに関する情報に基づいて、カレントスライスがＩスライスであるか否かを判定する。Ｉスライスであると判定した場合、処理はステップＳ２３６に進む。

ステップＳ２３６において、スケーリングリスト設定部２５２は、カレントブロックの量子化に用いるスケーリングリストとして、カスタムスケーリングリストを適用する。ステップＳ２３６の処理が終了すると、処理はステップＳ２３８に進む。

また、ステップＳ２３２において、スキップ許可情報（transform_skip_enable_flag）の値が偽であると判定された場合、ステップＳ２３３において、スキップ識別情報（transform_skip_flag）の値が偽であると判定された場合、若しくは、ステップＳ２３５において、カレントスライスがＩスライスでないと判定された場合、処理は、ステップＳ２３７に進む。

ステップＳ２３７において、スケーリングリスト設定部２５２は、カレントブロックの量子化に用いるスケーリングリストとして、デフォルトスケーリングリストを適用する。ステップＳ２３６の処理が終了すると、処理はステップＳ２３８に進む。

ステップＳ２３８において、判定部２５１は、全てのブロック（TU）を処理したか否かを判定する。未処理のブロックが存在すると判定された場合、処理は、ステップＳ２３１に戻り、それ以降の処理を繰り返す。ステップＳ２３１乃至ステップＳ２３８の処理が繰り返し実行されることにより各ブロックについて処理が行われ、ステップＳ２３８において、全てのブロック（TU）を処理したと判定された場合、逆量子化制御処理が終了し、処理は、図１４に戻る。

以上のように各処理を実行することにより、画像復号装置２００は、量子化誤差の増大を抑制し、符号化効率の低減を抑制し、符号化・復号による画質の低減を抑制することができる。

＜３．第３の実施の形態＞
［スライス端の検出］
以上において説明した量子化・逆量子化の制御（スケーリングリストの設定）において、さらに、スライス端（スライス境界）の検出を行い、その検出結果を制御に反映させるようにしてもよい。

スライスは、ピクチャ（画像）内の独立に符号化される処理の単位である。ピクチャ内には、任意の数の（単数若しくは複数の）スライスが形成される。イントラ予測もスライス毎に独立に行われる。つまり、イントラ予測において参照する参照画素もカレントブロックが属するスライス内に制限される。つまり、スライス端（スライス境界）に接するブロックでは、参照される方向が制限される可能性がある。

そこで、このような制限をカスタムスケーリングリストに反映させるようにしてもよい。

例えば、スライスの下端に接するブロック（画面下端のブロックを含む）は、それより下の他のブロックから参照されない。つまり、このようなブロックにおいて、参照される可能性のある画素は、右端の列のみとなる。そこで、そのようなブロックに対しては、図１６に示される例のようなカスタムスケーリングリストを適用するようにしてもよい。

このカスタムスケーリングリストは、図１６に示されるように、イントラ予測において参照される可能性のある画素に対応する、右端の列の量子化ステップの値のみが小さく設定されている。

また、例えば、スライスの右端に接するブロック（画面右端のブロックを含む）は、それより右の他のブロックから参照されない。つまり、このようなブロックにおいて、参照される可能性のある画素は、下端の行のみとなる。そこで、そのようなブロックに対しては、図１７に示される例のようなカスタムスケーリングリストを適用するようにしてもよい。

このカスタムスケーリングリストは、図１７に示されるように、イントラ予測において参照される可能性のある画素に対応する、下端の行の量子化ステップの値のみが小さく設定されている。

図１６および図１７に示されるように、これらのカスタムスケーリングリストは、値を小さくする量子化ステップの数が、図５乃至図７の例よりも少ない。つまり、これらのカスタムスケーリングリストでは、実際には参照される可能性の無い画素に対応する量子化ステップが小さくされない。したがって、スライス端（スライス境界）を検出し、その検出結果を反映したカスタムスケーリングリストを量子化・逆量子化に適用することにより、量子化ステップを不要に小さくすることによる符号量の不要な増大を抑制することができる。これにより、符号化・復号による画質の低減を抑制することができる。

なお、この場合も、以上に説明した場合と同様に、イントラ予測において参照される可能性の無い画素に対応する量子化ステップの値は均一でなくてもよく、イントラ予測において参照される可能性のある画素に対応する量子化ステップの値も均一でなくてもよい。例えば、イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップが、それぞれが対応する画素のイントラ予測において参照される可能性の高さに応じた値を有するようにしてもよい。イントラ予測において参照される可能性のある画素に対応する量子化ステップの値を小さくする代わりに、イントラ予測において参照される可能性の無い画素に対応する量子化ステップの値を大きくしても良い。

［量子化制御部］
図１８は、この場合の量子化制御部１３２の主な構成例を示すブロック図である。図１８に示されるように、この場合、量子化制御部１３２は、判定部１５１およびスケーリングリスト設定部１５２に加え、さらに、スライス端検出部３０１を有する。

画面並べ替えバッファ１１２は、スライス端（スライス境界）を示す情報をスライス端検出部３０１に供給する。スライス端検出部３０１は、その情報に基づいてカレントブロックがスライス端に接するか否かを判定する。スライス端検出部３０１は、その検出結果をスケーリングリスト設定部１５２に供給する。

スケーリングリスト設定部１５２は、第１の実施の形態において説明したように、カスタムスケーリングリストを適用するか、デフォルトスケーリングリストを適用するかを選択し、カスタムスケーリングリストを適用する場合、スライス端検出部３０１から供給されるスライス端の検出結果に応じたカスタムスケーリングリストを適用する。

スケーリングリスト設定部１５２は、設定したカスタムスケーリングリストを量子化部１５および逆量子化部１１８に供給する。

このようにすることにより、画像符号化装置１００は、量子化ステップを不要に小さくすることによる量子化誤差の不要な増大を抑制し、符号量の不要な増大を抑制し、符号化・復号による画質の低減を抑制することができる。

［量子化制御処理の流れ］
次に、この場合の、量子化制御部１３２により実行される量子化制御処理の流れの例を図１９のフローチャートを参照して説明する。

この場合も、量子化制御処理は、基本的に第１の実施の形態の場合と同様に行われる。つまり、ステップＳ３０１乃至ステップＳ３０５の各処理は、図１１のステップＳ１３１乃至ステップＳ１３５の各処理と同様に行われる。

ステップＳ３０６において、スライス端検出部３０１は、スライス端の検出を行う。ステップＳ３０７において、スケーリングリスト設定部１５２は、スライス端の検出結果に応じたカスタムスケーリングリストを適用する。ステップＳ３０７の処理が終了すると、処理は、ステップＳ３０９に進む。

また、ステップＳ３０２において、スキップ許可情報（transform_skip_enable_flag）の値が偽であると判定された場合、ステップＳ３０３において、スキップ識別情報（transform_skip_flag）の値が偽であると判定された場合、若しくは、ステップＳ３０５において、カレントスライスがＩスライスでないと判定された場合、処理は、ステップＳ３０８に進む。

ステップＳ３０８において、スケーリングリスト設定部１５２は、カレントブロックの量子化に用いるスケーリングリストとして、デフォルトスケーリングリストを適用する。ステップＳ３０８の処理が終了すると、処理はステップＳ３０９に進む。

ステップＳ３０９において、判定部１５１は、全てのブロック（TU）を処理したか否かを判定する。未処理のブロックが存在すると判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理を繰り返す。ステップＳ３０１乃至ステップＳ３０９の処理が繰り返し実行されることにより各ブロックについて処理が行われ、ステップＳ３０９において、全てのブロック（TU）を処理したと判定された場合、量子化制御処理が終了し、処理は、図１０に戻る。

＜４．第４の実施の形態＞
［逆量子化制御部］
図２０は、この場合の逆量子化制御部２３２の主な構成例を示すブロック図である。図２０に示されるように、この場合、逆量子化制御部２３２は、判定部２５１およびスケーリングリスト設定部２５２に加え、さらに、スライス端検出部４０１を有する。スライス端検出部４０１は、基本的に、スライス端検出部３０１と同様の処理部である。

可逆復号部２１２は、符号化データから抽出したスライス端（スライス境界）を示す情報をスライス端検出部４０１に供給する。スライス端検出部４０１は、その情報に基づいてカレントブロックがスライス端に接するか否かを判定する。スライス端検出部４０１は、その検出結果をスケーリングリスト設定部２５２に供給する。

スケーリングリスト設定部２５２は、第２の実施の形態において説明したように、カスタムスケーリングリストを適用するか、デフォルトスケーリングリストを適用するかを選択し、カスタムスケーリングリストを適用する場合、スライス端検出部４０１から供給されるスライス端の検出結果に応じたカスタムスケーリングリストを適用する。

スケーリングリスト設定部２５２は、設定したカスタムスケーリングリストを逆量子化部２１３に供給する。

このようにすることにより、画像復号装置２００は、量子化ステップを不要に小さくすることによる量子化誤差の不要な増大を抑制し、符号量の不要な増大を抑制し、符号化・復号による画質の低減を抑制することができる。

［逆量子化制御処理の流れ］
次に、この場合の、逆量子化制御部２３２により実行される逆量子化制御処理の流れの例を図２１のフローチャートを参照して説明する。

この場合も、逆量子化制御処理は、基本的に第２の実施の形態の場合と同様に行われる。つまり、ステップＳ４０１乃至ステップＳ４０５の各処理は、図１１のステップＳ２３１乃至ステップＳ２３５の各処理と同様に行われる。

ステップＳ４０６において、スライス端検出部４０１は、スライス端の検出を行う。ステップＳ４０７において、スケーリングリスト設定部２５２は、スライス端の検出結果に応じたカスタムスケーリングリストを適用する。ステップＳ４０７の処理が終了すると、処理は、ステップＳ４０９に進む。

また、ステップＳ４０２において、スキップ許可情報（transform_skip_enable_flag）の値が偽であると判定された場合、ステップＳ４０３において、スキップ識別情報（transform_skip_flag）の値が偽であると判定された場合、若しくは、ステップＳ４０５において、カレントスライスがＩスライスでないと判定された場合、処理は、ステップＳ４０８に進む。

ステップＳ４０８において、スケーリングリスト設定部２５２は、カレントブロックの量子化に用いるスケーリングリストとして、デフォルトスケーリングリストを適用する。ステップＳ４０８の処理が終了すると、処理はステップＳ３０９に進む。

ステップＳ４０９において、判定部２５１は、全てのブロック（TU）を処理したか否かを判定する。未処理のブロックが存在すると判定された場合、処理は、ステップＳ４０１に戻り、それ以降の処理を繰り返す。ステップＳ４０１乃至ステップＳ４０９の処理が繰り返し実行されることにより各ブロックについて処理が行われ、ステップＳ４０９において、全てのブロック（TU）を処理したと判定された場合、逆量子化制御処理が終了し、処理は、図１４に戻る。

＜５．第５の実施の形態＞
［多視画像点符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２２は、多視点画像符号化方式の一例を示す。

図２２に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。

図２２のような多視点画像を符号化・復号する場合、各ビューの画像を符号化・復号するが、この各ビューの符号化・復号に対して、上述したいずれかの実施の形態の方法を適用するようにしてもよい。このようにすることにより、量子化誤差の低減を実現し、符号化・復号による画質の低減の抑制を実現することができることができる。

さらに、各ビューの符号化・復号において、上述した各実施の形態の方法において使用されるフラグやパラメータを共有するようにしてもよい。

より具体的には、例えば、スキップ許可情報（transform_skip_enable_flag）や、スキップ識別情報（transform_skip_flag）等の情報を含む直交変換処理のスキップに関する情報を、各ビューの符号化・復号において共有するようにしてもよい。また、例えば、スライスタイプやスライス境界に関する情報を、各ビューの符号化・復号において共有するようにしてもよい。

もちろん、これら以外の必要な情報も、各ビューの符号化・復号において共有するようにしてもよい。

［多視点画像符号化装置］
図２３は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図２３に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。

符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。

この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００を適用することができる。また、上述したように、符号化部６０１および符号化部６０２は、互いに同一のフラグやパラメータを用いて、スケーリングリストの設定等を行うことができる（すなわち、フラグやパラメータを共有することができる）。

［多視点画像復号装置］
図２４は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図２４に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。

逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。

この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置２００を適用することができる。また、上述したように、復号部６１２および復号部６１３は、互いに同一のフラグやパラメータを用いて、スケーリングリストの設定等を行うことができる（すなわち、フラグやパラメータを共有することができる）。

＜６．第６の実施の形態＞
［階層画像点符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図２５は、多視点画像符号化方式の一例を示す。

図２５に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。

図２５のような階層画像を符号化・復号する場合、各階層の画像を符号化・復号するが、この各階層の符号化・復号に対して、上述したいずれかの実施の形態の方法を適用するようにしてもよい。このようにすることにより、画像劣化を抑えながら、メモリアクセス量および演算量の削減を実現させることができる。

さらに、各階層の符号化・復号において、上述した各実施の形態の方法において使用されるフラグやパラメータを共有するようにしてもよい。

より具体的には、例えば、スキップ許可情報（transform_skip_enable_flag）や、スキップ識別情報（transform_skip_flag）等の情報を含む直交変換処理のスキップに関する情報を、各階層の符号化・復号において共有するようにしてもよい。また、例えば、スライスタイプやスライス境界に関する情報を、各階層の符号化・復号において共有するようにしてもよい。

もちろん、これら以外の必要な情報も、各階層の符号化・復号において共有するようにしてもよい。

［階層画像符号化装置］
図２６は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図２６に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。

符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。

この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００を適用することができる。上述したように、符号化部６２１および符号化部６２２は、互いに同一のフラグやパラメータを用いて、スケーリングリストの設定等を行うことができる（すなわち、フラグやパラメータを共有することができる）。

［階層画像復号装置］
図２７は、上述した階層画像復号を行う階層画像復号装置を示す図である。図２７に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。

逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。

この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置２００を適用することができる。上述したように、復号部６３２および復号部６３３は、互いに同一のフラグやパラメータを用いて、スケーリングリストの設定等を行うことができる（すなわち、フラグやパラメータを共有することができる）。

さらに、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。

以上のように、本技術の適用範囲は、量子化・逆量子化処理と、直交変換・逆直交変換のスキップ（Transform Skip）を用いる符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。

また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる直交変換装置若しくは逆直交変換装置にも適用することができる。

＜７．第７の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２８に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

＜８．応用例＞
［第１の応用例：テレビジョン受像機］
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置２００の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、量子化誤差の低減を実現し、符号化・復号による画質の低減の抑制を実現することができることができる。

［第２の応用例：携帯電話機］
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００及び画像復号装置２００の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、量子化誤差の低減を実現し、符号化・復号による画質の低減の抑制を実現することができる。

［第３の応用例：記録再生装置］
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置２００の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、量子化誤差の低減を実現し、符号化・復号による画質の低減の抑制を実現することができる。

［第４の応用例：撮像装置］
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００及び画像復号装置２００の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、量子化誤差の低減を実現し、符号化・復号による画質の低減の抑制を実現することができる。

＜９．スケーラブル符号化の応用例＞
［第１のシステム］
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図３３に示される例のように、伝送するデータの選択のために利用される。

図３３に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。

その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。

例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。

配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。

なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。

そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。

もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。

［第２のシステム］
また、スケーラブル符号化は、例えば、図３４に示される例のように、複数の通信媒体を介する伝送のために利用される。

図３４に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。

端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。

端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。

［第３のシステム］
また、スケーラブル符号化は、例えば、図３５に示される例のように、符号化データの記憶に利用される。

図３５に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。

スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。

このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。

例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。

また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。

また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。

以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。

なお、本明細書では、スキップ許可情報やスキップ識別情報などの各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定する設定部と、
前記設定部により設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する復号部と
を備える画像処理装置。
（２）前記カスタムスケーリングリストは、イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップよりも小さい
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（３）前記カスタムスケーリングリストは、前記イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも小さく設定されるか、若しくは、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、前記デフォルトカスタムスケーリングリストの場合の値よりも大きく設定される
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（４）前記カスタムスケーリングリストの、前記イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップは、それぞれが対応する画素の前記イントラ予測において参照される可能性の高さに応じた値を有する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（５）前記設定部は、カレントブロックが直交変換処理をスキップされていないブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（６）前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、
前記設定部は、カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（７）前記直交変換処理のスキップに関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックが前記直交変換処理をスキップされたブロックであるか否かを判定する判定部と
をさらに備え、
前記設定部は、前記判定部により前記カレントブロックが前記直交変換処理をスキップされたブロックであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（８）前記判定部は、前記直交変換処理のスキップに関する情報に含まれる、ピクチャ内において前記直交変換処理のスキップを許可するかを指定するスキップ許可情報の値が偽である場合、前記ピクチャ内における前記直交変換処理のスキップを禁止する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（９）前記判定部は、カレントブロックのスライスタイプをさらに判定し、
前記設定部は、前記判定部により、前記カレントブロックが前記直交変換処理をスキップされたブロックであり、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１０）画像処理装置の画像処理方法において、
前記画像処理装置が、
画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定し、
設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する
画像処理方法。
（１１）画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定する設定部と、
前記設定部により設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する符号化部と
を備える画像処理装置。
（１２）前記カスタムスケーリングリストは、イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップよりも小さい
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１３）前記カスタムスケーリングリストは、前記イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも小さく設定されるか、若しくは、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、前記デフォルトカスタムスケーリングリストの場合の値よりも大きく設定される
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１４）前記カスタムスケーリングリストの、前記イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップは、それぞれが対応する画素の前記イントラ予測において参照される可能性の高さに応じた値を有する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１５）前記設定部は、前記カレントブロックの直交変換処理がスキップされない場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１６）前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、
前記設定部は、前記カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１７）前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックの直交変換処理がスキップされるか否かを判定する判定部をさらに備え、
前記設定部は、前記判定部により前記カレントブロックの直交変換処理がスキップされると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１８）前記判定部は、前記直交変換処理のスキップに関する情報に含まれる、ピクチャ内において前記直交変換処理のスキップを許可するかを指定するスキップ許可情報の値が偽である場合、前記ピクチャ内における前記直交変換処理のスキップを禁止する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１９）前記判定部は、カレントブロックのスライスタイプをさらに判定し、
前記設定部は、前記判定部により、前記カレントブロックの直交変換処理がスキップされ、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（２０）画像処理装置の画像処理方法において、
前記画像処理装置が、
画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定し、
設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する
画像処理方法。

１００画像符号化装置，１１４直交変換部，１１５量子化部，１１６可逆符号化部，１１８逆量子化部，１１９逆直交変換部，１３１直交変換スキップ部，１３２量子化制御部，１５１判定部，１５２スケーリングリスト設定部，２００画像復号装置，２１２可逆復号部，２１３逆量子化部，２１４逆直交変換部，２３１逆直交変換スキップ部，２３２逆量子化制御部，２５１判定部，２５２スケーリングリスト設定部，３０１スライス端検出部，４０１スライス端検出部

Claims

画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定する設定部と、
前記設定部により設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する復号部と
を備える画像処理装置。
前記カスタムスケーリングリストは、イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップよりも小さい
請求項１に記載の画像処理装置。
前記カスタムスケーリングリストは、前記イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも小さく設定されるか、若しくは、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、前記デフォルトカスタムスケーリングリストの場合の値よりも大きく設定される
請求項２に記載の画像処理装置。
前記カスタムスケーリングリストの、前記イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップは、それぞれが対応する画素の前記イントラ予測において参照される可能性の高さに応じた値を有する
請求項２に記載の画像処理装置。
前記設定部は、カレントブロックが直交変換処理をスキップされていないブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定する
請求項１に記載の画像処理装置。
前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、
前記設定部は、カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定する
請求項１に記載の画像処理装置。
前記直交変換処理のスキップに関する情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックが前記直交変換処理をスキップされたブロックであるか否かを判定する判定部と
をさらに備え、
前記設定部は、前記判定部により前記カレントブロックが前記直交変換処理をスキップされたブロックであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
請求項１に記載の画像処理装置。
前記判定部は、前記直交変換処理のスキップに関する情報に含まれる、ピクチャ内において前記直交変換処理のスキップを許可するかを指定するスキップ許可情報の値が偽である場合、前記ピクチャ内における前記直交変換処理のスキップを禁止する
請求項７に記載の画像処理装置。
前記判定部は、カレントブロックのスライスタイプをさらに判定し、
前記設定部は、前記判定部により、前記カレントブロックが前記直交変換処理をスキップされたブロックであり、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
請求項７に記載の画像処理装置。
画像処理装置の画像処理方法において、
前記画像処理装置が、
画像データが符号化された符号化データの復号において、カレントブロックが直交変換処理をスキップされたブロックである場合、前記カレントブロックに対する逆量子化処理に用いるスケーリングリストとして、前記直交変換処理をスキップされたブロック用のカスタムスケーリングリストを設定し、
設定されたスケーリングリストを用いる逆量子化処理を含む復号処理を行い、前記符号化データを復号する
画像処理方法。
画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定する設定部と、
前記設定部により設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する符号化部と
を備える画像処理装置。
前記カスタムスケーリングリストは、イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップよりも小さい
請求項１１に記載の画像処理装置。
前記カスタムスケーリングリストは、前記イントラ予測において参照される可能性のある画素に対応する部分の量子化ステップが、デフォルトカスタムスケーリングリストの場合の値よりも小さく設定されるか、若しくは、前記イントラ予測において参照される可能性の無い画素に対応する部分の量子化ステップが、前記デフォルトカスタムスケーリングリストの場合の値よりも大きく設定される
請求項１２に記載の画像処理装置。
前記カスタムスケーリングリストの、前記イントラ予測において参照される可能性のある画素に対応する部分の各量子化ステップは、それぞれが対応する画素の前記イントラ予測において参照される可能性の高さに応じた値を有する
請求項１２に記載の画像処理装置。
前記設定部は、前記カレントブロックの直交変換処理がスキップされない場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、量子化ステップの値が全て同一であるか、若しくは、高周波成分に対応する画素の量子化ステップが大きな値を有するデフォルトスケーリングリストを設定する
請求項１１に記載の画像処理装置。
前記イントラ予測における参照可能範囲の端を検出する端検出部をさらに備え、
前記設定部は、前記カレントブロックが前記端検出部により検出される前記参照可能範囲の端のブロックである場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記参照可能範囲の端の位置に応じたカスタムスケーリングリストを設定する
請求項１１に記載の画像処理装置。
前記直交変換処理のスキップに関する情報に基づいて、前記カレントブロックの直交変換処理がスキップされるか否かを判定する判定部をさらに備え、
前記設定部は、前記判定部により前記カレントブロックの直交変換処理がスキップされると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
請求項１１に記載の画像処理装置。
前記判定部は、前記直交変換処理のスキップに関する情報に含まれる、ピクチャ内において前記直交変換処理のスキップを許可するかを指定するスキップ許可情報の値が偽である場合、前記ピクチャ内における前記直交変換処理のスキップを禁止する
請求項１７に記載の画像処理装置。
前記判定部は、カレントブロックのスライスタイプをさらに判定し、
前記設定部は、前記判定部により、前記カレントブロックの直交変換処理がスキップされ、かつ、イントラ予測のみが行われるスライスであると判定された場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記カスタムスケーリングリストを設定する
請求項１７に記載の画像処理装置。
画像処理装置の画像処理方法において、
前記画像処理装置が、
画像データの符号化において、カレントブロックの直交変換処理がスキップされる場合、前記カレントブロックに対する量子化処理に用いるスケーリングリストとして、前記直交変換処理がスキップされるブロック用のカスタムスケーリングリストを設定し、
設定されたスケーリングリストを用いる量子化処理を含む符号化処理を行い、前記画像データを符号化する
画像処理方法。