JP6278900B2 - 画像復号装置 - Google Patents

画像復号装置 Download PDF

Info

Publication number
JP6278900B2
JP6278900B2 JP2014554266A JP2014554266A JP6278900B2 JP 6278900 B2 JP6278900 B2 JP 6278900B2 JP 2014554266 A JP2014554266 A JP 2014554266A JP 2014554266 A JP2014554266 A JP 2014554266A JP 6278900 B2 JP6278900 B2 JP 6278900B2
Authority
JP
Japan
Prior art keywords
prediction
unit
parameter
flag
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014554266A
Other languages
English (en)
Other versions
JPWO2014103606A1 (ja
Inventor
知宏 猪飼
知宏 猪飼
貴也 山本
貴也 山本
健史 筑波
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2014103606A1 publication Critical patent/JPWO2014103606A1/ja
Application granted granted Critical
Publication of JP6278900B2 publication Critical patent/JP6278900B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置に関する。
複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている（例えば、非特許文献１）。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素（ｘ成分）と垂直方向の要素（ｙ成分）を有する２次元のベクトルであり、１つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、レイヤがテクスチャレイヤ（画像レイヤ）とデプスレイヤ（距離画像レイヤ）から構成される場合のスケーラブル符号化は、３次元スケーラブル符号化と呼ばれる。
また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル符号化（ベースレイヤとして解像度の低いピクチャ、拡張レイヤが解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）等がある。スケーラブル符号化では、例えばベースレイヤのピクチャを、拡張レイヤのピクチャの符号化において、参照ピクチャとして用いることがある。
また、非特許文献１においてはＨ．２６４／ＡＶＣベースのスケーラブル符号化技術であるＳＶＣにおいて、ベースレイヤの残差を、エンハンスメントレイヤの予測に用いる残差予測と呼ばれる方法が知られている。非特許文献２においては、ＨＥＶＣベースの３次元スケーラブル符号化技術として、ベースビューの残差を、非ベースビューの予測に用いる残差予測において、パース依存性を解消する技術が知られている。さらに、非特許文献３においては、ＨＥＶＣベースの３次元スケーラブル符号化技術として、予測対象ブロックの周囲の画素における照度変化を、予測対象ブロックの予測に用いる照度補償と呼ばれる技術が知られている。また、非特許文献３においては、ＨＥＶＣベースの３次元スケーラブル符号化技術として、ベースビューの適応オフセットフィルタのパラメータを用いて、非ベースビューの適応オフセットフィルタのパラメータを予測する技術が知られている。
ＩＳＯ／ＩＥＣ １４４９６−１０， Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ − Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， Ａｎｎｅｘ Ｇ： Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ Ｒｅｍｏｖａｌ ｏｆ ｔｈｅ ｐａｒｓｉｎｇ ｄｅｐｅｎｄｅｎｃｙ ｏｆ ｉｎｔｅｒ−ｖｉｅｗ ｒｅｓｉｄｕａｌ ｐｒｅｄｉｃｔｉｏｎ， ＪＣＴ３Ｖ−Ｂ００９３， ＪＣＴ−３Ｖ Ｓｈａｎｇｈａｉ， ＣＮ， １３-１９ Ｏｃｔ ２０１２ ３Ｄ−ＣＥ２．ｈ ： Ｒｅｓｕｌｔｓ ｏｆ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ Ｉｎｔｅｒ−Ｖｉｅｗ Ｐｒｅｄｉｃｔｉｏｎ， ＪＣＴ３Ｖ−Ｂ００４５， ＪＣＴ−３Ｖ Ｓｈａｎｇｈａｉ， ＣＮ， １３-１９ Ｏｃｔ ２０１２
しかしながら、非特許文献１、非特許文献２の残差予測においては、ベースレイヤおよびベースビューの残差を、画素のビット深度から必要とされる値域のまま、拡張レイヤにおける残差予測において参照するため、残差を広い値域のまま記録することが必要であり、残差を記録するメモリ容量が非常に大きいという課題があった。
また、非特許文献３の照度補償においては、対象領域に照度補償を行うか否かを示す照度フラグの復号（パース）を、対象とするブロック（予測ユニット）の予測画像生成に、ベースビューの復号画像を用いる場合である視差補償の場合に限定して行うため、予測ユニットの予測パラメータ導出を照度フラグの復号の前に行わなくてはならないという依存性がある。並列処理および実装の複雑性を考慮すると、フラグの復号（パース）と、予測パラメータの導出という２つの処理は分離していることが望ましいため、この２つの依存は複雑性を増加させるという課題がある。非特許文献２の残差予測においては、残差予測において、対象領域に残差予測を行うか否かを示すフラグを削除することにより、パース依存性を解消しているが、しかしながら、残差予測が有効でない対象領域に対しても、残差予測を行うか否かの制御ができないという課題がある。
また、非特許文献４の適応オフセットフィルタパラメータ予測においては、ベースビューの適応オフセットフィルタのパラメータをそのまま保存するため、適応オフセットフィルタのパラメータを記憶するメモリ容量が非常に大きいという課題があった。
本発明は上記の点に鑑みてなされたものであり、メモリ容量に関する課題およびパース依存性に関する課題を解消する画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、画像符号化プログラム、画像表示システム及び画像伝送システムを提供する。
第１の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から導出される照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードである場合に、照度補償フラグを符号化データから復号することを特徴とする。
第６の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを、符号化ユニット単位で、導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から導出される照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、符号化ユニットの分割モードが分割しないことを示す、２Ｎ×２Ｎである場合に、照度補償フラグを符号化データから復号することを特徴とする。
第９の構成の画像復号装置によれば、動き補償画像に照度補償を適用する照度補償部を備え、上記照度補償部は、参照ピクチャ上の参照画像と、復号対象ピクチャ上の復号画像から照度変化パラメータとして、パラメータａとパラメータｂを導出する照度パラメータ推定部と、上記照度変化パラメータを用いて照度補償を行う照度補償フィルタを備え、照度補償フィルタは、参照ピクチャから得られる動き補償画像と上記パラメータａの積に所定の固定シフト定数だけ右シフトしてから上記パラメータｂを加えることで、照度補償を行うことを特徴とする。
第１４の構成の画像復号装置によれば、追加予測を行うか否かを示す追加予測フラグとして２つのフラグを符号化データから復号する追加予測フラグ復号部と、上記追加予測フラグ復号部が導出するフラグに応じて、動き補償画像に追加予測を行うインター予測画像生成部を備え、上記追加予測フラグ復号部は、１つ目のフラグが０である場合に限り、２つ目のフラグを復号することを特徴とする。
本発明によれば、残差予測に必要なメモリを低減する。また、追加予測のシンタックスを復号する場合の複雑度を低減させる。
本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。 本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。 本実施形態に係るＡＭＶＰ予測パラメータ導出部の構成を示す概略図である。 ベクトル候補の一例を示す概念図である。 本実施形態に係るインター予測パラメータ復号制御部の構成を示す概略図である。 本実施形態に係るインター予測画像生成部の構成を示す概略図である。 本実施形態に係る残差予測の概念図である。 本実施形態に係る照度補償の概念図である。 本実施形態に係るインター予測パラメータ復号制御部で復号される符号化データ（符号化ユニット、予測ユニット）の構成を示す概略図である。 本実施形態に係る追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。 本実施形態に係る追加予測フラグ判定部の構成を示す概略図である。 本実施形態に係る全ＰＵパラメータ判定部における、ＣＵが動き予測を行うＰＵを含むか否かを示すフラグの判定処理を示す図である。 本実施形態に係る全ＰＵパラメータ判定部における、ＣＵが変位予測を行うＰＵを含むか否かを示すフラグの判定処理を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ａが備える追加予測フラグ復号部が復号する符号化データの構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ａ２が備える追加予測フラグ復号部が復号する符号化データの構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｂが復号する符号化データの構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｂが備える追加予測フラグ判定部の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｂが備える追加予測フラグ判定部における、ＰＵ０が動き予測または変位予測を行うか否かを示すフラグの判定処理を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｃが復号する符号化データの構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｃが備える追加予測フラグ判定部の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄで復号される符号化データ（符号化ユニット、予測ユニット）の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄにおける、追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ２が備える追加予測フラグ判定部の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ２における、追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ３で復号される符号化データ（符号化ユニット、予測ユニット）の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ３における、追加予測フラグが残差予測フラグの場合の符号化データの構成を示すシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ３における、追加予測フラグが照度補償フラグの場合の符号化データの構成を示すシンタックステーブルである。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ３の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｄ４で復号される符号化データ（符号化ユニット、予測ユニット）の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｅで復号される符号化データ（符号化ユニット、予測ユニット）の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｅが備えるインター予測パラメータ復号制御部の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｅが備えるマージ候補導出部が導出するマージ候補を示す概念図である。 本実施形態に係る残差格納部の構成を示す概略図である。 本実施形態に係る画像符号化装置の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。 本実施形態に係るインター予測パラメータ符号化制御部の構成を示す概略図である。 本実施形態に係る照度補償で用いるテーブルを示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ１の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ１の動作を示すフローチャートである概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ１の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ１で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ２の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ２の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ２で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ３の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ３の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ３で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係るインター予測パラメータ復号部３０３Ｆ３で用いられるエントロピー復号部３０１Ｆ３の構成を示すブロックである。 本実施形態に係るインター予測パラメータ復号部３０３Ｆ３で用いられる特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagの符号化データの構成を示す図である。 階層参照構造の参照構造の例。 （ａ）特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｂの動作を示すフローチャート。（ｂ）特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｃの動作を示すフローチャート。 特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｄの動作を示すフローチャート。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ４の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ４の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ４で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ５の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ５の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ５で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ６の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の変形例Ｆ６の動作を示すフローチャートである概略図である。 インター予測パラメータ復号部３０３Ｆ６で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。 本実施形態に係る残差予測部３０９２Ｂの構成を示す図である。 本実施形態に係る残差予測部３０９２Ｂの動作を説明するフローチャートである。 本実施形態に係る残差予測部３０９２Ｃの構成を示す図である。 本実施形態に係る残差予測部３０９２Ｃの動作を説明するフローチャートである。 本実施形態に係る残差予測部３０９２Ｄの構成を示す図である。 本実施形態に係る残差予測部３０９２Ｄの動作を説明するフローチャートである。 本実施形態に係る照度補償部３０９３Ｂの構成を示すブロック図である。 本実施形態に係るパラメータａ導出部３０９３１６Ｂの構成を示すブロック図である。 本実施形態に係るパラメータａ導出部３０９３１６Ｃの構成を示すブロック図である。 本実施形態に係るパラメータａ導出部３０９３１６Ｄの構成を示すブロック図である。 本実施形態に係る照度補償部３０９３Ｅの構成を示すブロック図である。 本実施形態に係る正則化項加算部３０９３１８Ｅの構成を示すブロック図である。 本実施形態に係る照度補償部３０９３Ｆの構成を示すブロック図である。 本実施形態に係るＬＭ予測部３１０４Ｅの構成を示すブロック図である。 本実施形態に係るＬＭパラメータａ導出部３１０４１６の構成を示すブロック図である。 本実施形態に係るＬＭ正則化項加算部３１０４１８Ｅの構成を示すブロック図である。 本実施形態に係る照度補償部３０９３Ｇの構成を示すブロック図である。 本実施形態に係る照度補償で用いるテーブルを示す図である。 本実施形態に係る照度補償部３０９３Ｈの構成を示すブロック図である。 本実施形態に係るパラメータａ導出部３０９３１６Ｈの構成を示すブロック図である。 本実施形態に係るパラメータａ導出部３０９３１６Ｈ２の構成を示すブロック図である。 本実施形態に係るＬＭ予測部３１０４Ｈの構成を示すブロック図である。 本実施形態に係るＬＭ正則化項加算部３１０４１８Ｈの構成を示すブロック図である。 本実施形態に係るＬＭパラメータａ導出部３１０４１６Ｈの構成を示すブロック図である。 本実施形態に係るＬＭパラメータａ導出部３１０４１６Ｈ２の構成を示すブロック図である。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームＴｅ（符号化データ）を生成する。符号化ストリームＴｅの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）エンハンスレイヤ画像がある場合、ベースレイヤ画像を第１レイヤ画像、エンハンスレイヤ画像を第２レイヤ画像として扱う。なお、エンハンスレイヤ画像の例としては、ベースビュー以外の視点の画像、デプスの画像などがある。
ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（ｉｎｔｅｒｎｅｔ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、小規模ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）等の符号化ストリームＴｅを記録した記憶媒体で代替されても良い。
画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームＴｅのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ）を生成する。
画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Ｔｄの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
＜符号化ストリームＴｅの構造＞
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
図２は、符号化ストリームＴｅにおけるデータの階層構造を示す図である。符号化ストリームＴｅは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シーケンスパラメータセットＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャパラメータセットＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（ｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６）や重み付き予測の適用を示すフラグ（ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇ）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスＳ０〜ＳＮＳ−１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ０〜ＳＮＳ−１のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームＴｅに含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（ｓｌｉｃｅ＿ｔｙｐｅ）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を含んでいても良い。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図２の（ｄ）に示すように、符号化ツリーブロック（ＣＴＢ：Ｃｏｄｅｄ Ｔｒｅｅ Ｂｌｏｃｋ）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｒｄｉｎｇ Ｕｎｉｔ）と呼ぶこともある。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（ｃｏｄｉｎｇ ｔｒｅｅ）と称する。４分木の中間ノードは、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｅｄ Ｔｒｅｅ Ｕｎｉｔ）であり、符号化ツリーブロック自身も最上位のＣＴＵとして規定される。ＣＴＵは、分割フラグ（ｓｐｌｉｔ＿ｆｌａｇ）を含み、ｓｐｌｉｔ＿ｆｌａｇが１の場合には、４つの符号化ツリーユニットＣＴＵに分割される。ｓｐｌｉｔ＿ｆｌａｇが０の場合には、符号化ツリーユニットＣＴＵは４つの符号化ユニット（ＣＵ：Ｃｏｄｅｄ Ｕｎｉｔ）に分割される。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（ｐｒｅｄｉｃｔｉｏｎ ｔｒｅｅ；ＰＴ）および変換ツリー（ｔｒａｎｓｆｏｒｍ ｔｒｅｅ；ＴＴ）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ；ＰＵ、予測ユニット）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのｐａｒｔ＿ｍｏｄｅにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×１．５Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ；ＴＵ）とも称する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１と、参照ピクチャインデックスｒｅｆＩｄｘＬ０、ｒｅｆＩｄｘＬ１と、ベクトルｍｖＬ０、ｍｖＬ１から構成される。予測リスト利用フラグｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、ｐｒｅｄＦｌａｇＬ０＝１， ｐｒｅｄＦｌａｇＬ１＝１の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち（ｐｒｅｄＦｌａｇＬ０， ｐｒｅｄＦｌａｇＬ１） ＝ （１， ０）もしくは（ｐｒｅｄＦｌａｇＬ０， ｐｒｅｄＦｌａｇＬ１） ＝ （０， １）の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘが用いられる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸがある。
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。ｒｅｆＩｄｘＬＸの真下の下向きの矢印は、参照ピクチャインデックスｒｅｆＩｄｘＬＸが、参照ピクチャメモリ３０６において参照ピクチャＱ０を参照するインデックスであることを示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ ＝ （ｐｒｅｄＦｌａｇＬ１＜＜１） ＋ ｐｒｅｄＦｌａｇＬ０
ｐｒｅｄＦｌａｇＬ０ ＝インター予測フラグ ＆ １
ｐｒｅｄＦｌａｇＬ１ ＝インター予測フラグ ＞＞ １
ここで、＞＞は右シフト、＜＜は左シフトである。
（マージ予測とＡＭＶＰ予測）
予測パラメータの復号（符号化）方法には、マージ予測（ｍｅｒｇｅ）モードとＡＭＶＰ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、適応動きベクトル予測）モードがある、マージフラグｍｅｒｇｅ＿ｆｌａｇは、これらを識別するためのフラグである。マージ予測モードでも、ＡＭＶＰモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ（インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ）、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルｍｖＬＸを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、ＡＭＶＰモードは、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルｍｖＬＸを符号化データに含めるモードである。なおベクトルｍｖＬＸは、予測ベクトルを示す予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘと差分ベクトル（ｍｖｄＬＸ）として符号化される。
インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃは、参照ピクチャの種類および数を示すデータであり、Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿Ｂｉの何れかの値をとる。Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Ｐｒｅｄ＿Ｂｉは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘは予測ベクトルを示すインデックスであり、参照ピクチャインデックスｒｅｆＩｄｘＬＸは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別するする。例えば、ｒｅｆＩｄｘＬ０はＬ０予測に用いる参照ピクチャインデックス、ｒｅｆＩｄｘＬ１はＬ１予測に用いる参照ピクチャインデックス、ｒｅｆＩｄｘ（ｒｅｆＩｄｘＬＸ）は、ｒｅｆＩｄｘＬ０とｒｅｆＩｄｘＬ１を区別しない場合に用いられる表記である。
マージインデックスｍｅｒｇｅ＿ｉｄｘは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル）
ベクトルｍｖＬＸには、動きベクトルと変位ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルｍｖＬＸと呼ぶ。ベクトルｍｖＬＸに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルｍｖｐＬＸ、差分ベクトルｍｖｄＬＸと呼ぶ。ベクトルｍｖＬＸおよび差分ベクトルｍｖｄＬＸが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスｒｅｆＩｄｘＬＸを用いて行われる。
（画像復号装置の構成）
次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２、残差格納部３１３（残差記録部）を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードＰｒｅｄＭｏｄｅ、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い量子化して得られる係数である。
インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードＩｎｔｒａＰｒｅｄＭｏｄｅである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかを用いるもの。
参照ピクチャメモリ３０６は、加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードｐｒｅｄＭｏｄｅを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ（インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ）、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルｍｖＬＸがある。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードｐｒｅｄＭｏｄｅが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードｐｒｅｄＭｏｄｅが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードｐｒｅｄＭｏｄｅがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰは予測単位ＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスｒｅｆＩｄｘＬＸで示される参照ピクチャから、復号対象ブロックを基準としてベクトルｍｖＬＸが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードｐｒｅｄＭｏｄｅがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードＩｎｔｒａＰｒｅｄＭｏｄｅが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）の何れかによって輝度の予測ピクチャブロックを生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかによって色差の予測ピクチャブロックを生成する。ここでは、正則化項を用いたＬＭモードを説明する。正則化項とは、最小２乗法による予測パラメータ導出において、目的関数にパラメータコストとして加算される項である。ＬＭモードは、対象ブロックに隣接する処理済み画像を用いて、輝度の画素値から、色差の画素値を予測する予測パラメータを導出し、その予測パラメータに基づいて、処理済みの輝度のブロックから、色差のピクチャブロックを生成する。このような予測はＬＭ予測と呼ばれる。予測の方法は、後述の照度補償部３０９３と概略は同じである。以下、予測パラメータに導出において正則化項を用いるイントラ予測画像生成部３１０をイントラ予測画像生成部３１０Ｅとする。イントラ予測画像生成部３１０Ｅは、図示しないＤＣ予測部３１０１、プレーナ予測部３１０２、方向予測部３１０３、ＬＭ予測部３１０４Ｅから構成される。
図８０は、ＬＭ予測部３１０４Ｅの構成を示すブロック図である。ＬＭ予測部３１０４Ｅは、ＬＭパラメータ推定部３１０４１と、ＬＭフィルタ部３１０４２から構成される。ＬＭパラメータ推定部３１０４１は、ＬＭ積算シフト値導出部３１０４１１、ＬＭ積算値導出部３１０４１２、ＬＭ加算値導出部３１０４１３、ＬＭ第１パラメータ導出部３１０４１４、ＬＭ第２パラメータ導出部３１０４１５、ＬＭパラメータａ導出部３１０４１６、ＬＭパラメータｂ導出部３１０４１７、ＬＭ正則化項加算部３１０４１８Ｅから構成される。ＬＭ積算シフト値導出部３１０４１１は、積算シフト値precShiftを、以下の式（ＬＭ−１）のように、画素のビット深度bitDepthが所定の定数（ここでは１３）を超える場合には、その超える値だけの積算シフト値precShiftを導出する。超えない場合には積算シフト値precShiftは０とする。
precShift = Max(0, bitDepth - 13) 式（ＬＭ−１）
導出された積算シフト値precShiftは、ＬＭ積算値導出部３１０４１２、ＬＭ第１パラメータ導出部３１０４１４、ＬＭ第２パラメータ導出部３１０４１５に出力される。
ＬＭパラメータ推定部３１０４１は、対象ブロックに隣接する輝度画像を、隣接輝度画像x[]、対象ブロックに隣接する色差画像を隣接色差画像y[]と表示し、隣接輝度画像x[]と隣接色差画像y[]からパラメータａとパラメータｂを導出する。
ＬＭ加算値導出部３１０４１３は、隣接色差画像の画素値の和Yと隣接輝度画像の画素値の和Xを、以下の式（ＬＭ−２）式（ＬＭ−３）により導出する。
ＬＭ積算値導出部３１０４１２は隣接色差画像の画素値yと隣接輝度画像の画素値xの積の和XYと、隣接輝度画像の画素値の２乗の和XXを、以下の式（ＬＭ−４）〜（ＬＭ−５）により導出する。この時、ＬＭ積算値導出部３１０４１２は、隣接色差画像の画素値yと隣接輝度画像の画素値xの積の和XYの導出時と、隣接輝度画像の画素値xの２乗の和XXの導出時には、積算シフト値precShiftだけ右シフトしてから加算する。X = Y = XY = XX = 0で初期化する。
X = Σx[i] 式（ＬＭ−２）
Y = Σy[i] 式（ＬＭ−３）
XX += Σ(x[i] * x[i])>>precShift 式（ＬＭ−４）
XY += Σ(x[i] * y[i])>>precShift 式（ＬＭ−５）
ここで、Σは、参照領域に対する和であり、参照領域の画素を特定するインデックスiに対する和を導出する。また和の前にX、Y、XY、XXは0に初期化しておく。x[i]は、隣接輝度画像のインデックスiにおける画素値。y[i]は、隣接色差画像のインデックスiにおける画素値。カウントシフト値iCountShiftは、参照領域のサイズ（画素数）の２の対数である。
iCountShift = log2 (参照領域の画素数) 式（ＬＭ−６）
なお、従来は、以下の演算により積算値XX、XYを導出していた。
XX += Σ(x[i] * x[i]) 式（ＬＭ−４´）
XY += Σ(x[i] * y[i]) 式（ＬＭ−５´）
この場合、演算に必要なビット数は、画素のビット深度bitDepthの２倍に、参照領域のサイズの最大値の２の対数（カウントシフトiCountShiftの最大値）となる。輝度ブロックサイズの最大値が64である場合、色差ブロックサイズの最大値は32であるから、参照領域のサイズの最大値は64である。64の２の対数よりカウントシフトiCountShiftの最大値は6になる。従って必要なビット数は、bitDepth * 2 + 6になる。ここで、このビット数が32ビットで計算できる範囲を考慮すると、以下の式が得られる。
bitDepth * 2 + 6 <= 32
この式を解くとbitDepth <= 13が得られる。すなわち、bitDepthが13以下であれば32ビットを超えない。逆にbitDepthが13を超えると32ビットの範囲を超える。式（ＬＭ−１）は、この結果から得られたものであり、bitDepthが13を超える場合には、超えた分に相当するbitDepth - 13を積算シフト値precShiftとして導出する。さらに、式（ＬＭ−４）、式（ＬＭ−５）では予め積算シフト値precShiftだけシフトしてから加算することにより、32ビットの範囲を超えることを防ぐ効果を奏する。
ＬＭ第１パラメータ導出部３１０４１４は、隣接色差画像の画素値yと隣接輝度画像の画素値xの積の和XYと、隣接色差画像の画素値の和Yと隣接輝度画像の画素値の和Xの積の差から第１パラメータa1を以下の式により導出する。
a1 = ( XY << iCountShift ) - (y * x) >> precShift; 式（ＬＭ−７）
式（ＬＭ−７）に示すように、XYは、カウントシフト値iCountShiftだけ左シフト、yとxの積は積算シフト値precShiftだけ右シフトしてから差を導出する。
ＬＭ第２パラメータ導出部３１０４１５は、隣接輝度画像の画素値の２乗の和XXと、隣接輝度画像の画素値の和Xの２乗の差から第２パラメータa2を以下の式により導出する。
a2 = ( XX << iCountShift ) - (X * X) >> precShift; 式（ＬＭ−８）
式（ＬＭ−８）に示すように、XXは、カウントシフト値iCountShiftだけ左シフト、xとxの積は積算シフト値precShiftだけ右シフトしてから差を導出する。
ＬＭ第１パラメータ導出部３１０４１４とＬＭ第２パラメータ導出部３１０４１５はさらには、カウントシフト値iCountShiftとビット深度bitDepthの２倍の和が所定の値（ここでは２７）以上の場合には、所定の固定パラメータシフト値（ここでは４）だけパラメータa1、パラメータa2を右シフトする。すなわち、以下のステップを実行する。
if (iCountShift + bitDepth * 2 >= 27) 式（ＬＭ−９）
{
a1 >>= 4 式（ＬＭ−１０）
a2 >>= 4 式（ＬＭ−１１）
}
導出された第１パラメータa１と第２パラメータa2は、ＬＭパラメータａ導出部３１０４１６に出力される。
図８１は、ＬＭパラメータａ導出部３１０４１６の構成を示すブロック図である。ＬＭパラメータａ導出部３１０４１６は、ＬＭ第１パラメータクリップ部３１０４１６１、ＬＭ第１パラメータシフト部３１０４１６２、ＬＭ第２パラメータシフト部３１０４１６３、ＬＭテーブルベースパラメータａ導出部３１０４１６４から構成される。
ＬＭ第１パラメータクリップ部３１０４１６１は、第１パラメータa1を第２パラメータa2の大きさに応じて制限する。例えば以下の式のように、a1を-3*a2以上、a2*3以下にクリップする。
a1 = Clip3(-3*a2, 3*a2, a1) 式（ＬＭ−１２）
ＬＭ第１パラメータクリップ部３１０４１６１により、a1 / a2の値は、-3から3の間にクリップされる。従って、パラメータａの値であるa1 / a2 << iShiftの値も、-(3<<iShift)から(3<<iShift)にクリップされる。すなわち、iShift=5の場合、パラメータａは-96〜96となり、8ビット整数の範囲に入る。
ＬＭ第１パラメータシフト部３１０４１６２は、第１パラメータa1の大きさに応じて、以下の式により第１正規化シフト値iScaleShiftA1を導出する。導出された第１正規化シフト値iScaleShiftA1は、ＬＭテーブルベースパラメータａ導出部３１０４１６４に出力される。
iScaleShiftA1 = Max(0, GetMSB( abs( a1 ) ) - 15) 式（ＬＭ−１３）
ＬＭ第２パラメータシフト部３１０４１６３は、第２パラメータa2の大きさに応じて、以下の式により第２正規化シフト値iScaleShiftA2を導出する。導出された第２正規化シフト値iScaleShiftA2は、ＬＭテーブルベースパラメータａ導出部３１０４１６４に出力される。
iScaleShiftA2 = Max(0, GetMSB( abs( a2 ) ) - 6) 式（ＬＭ−１４）
ＬＭ第１パラメータシフト部３１０４１６２、ＬＭ第２パラメータシフト部３１０４１６３は、第１パラメータa1を第１正規化シフト値iScaleShiftA1、第２パラメータa2を第２正規化シフト値iScaleShiftA2により右シフトし、正規化第１パラメータa1sと正規化第２パラメータa2sを導出する。
a1s = a1 >> iScaleShiftA1 式（ＬＭ−１５）
a2s = a2 >> iScaleShiftA2 式（ＬＭ−１６）
ＬＭテーブルベースパラメータａ導出部３１０４１６４は、第１正規化シフト値iScaleShiftA1と第２正規化シフト値iScaleShiftA2の差に基づいて、以下の式によりパラメータａシフト値iScaleShiftAを導出する。
ScaleShiftA = iScaleShiftA2 - iScaleShiftA1 + 15 - iShift 式（ＬＭ−１８）
ＬＭテーブルベースパラメータａ導出部３１０４１６４は、正規化第２パラメータa2sに応じて定まる逆数テーブル値invTableを参照し、正規化第１パラメータa1sとの積をとりテーブルシフト値（ScaleShiftA）で右シフトすることにより、以下の式によりパラメータａを導出する。
a = (a1s * invTable[a2s]) >> (ScaleShiftA) 式（ＬＭ−１９）
なお、テーブルシフト値iScaleShiftAが負の場合には、テーブルシフト値の絶対値だけ左シフトすることにより、以下の式で導出する。
a = (a1s * invTable[a2s]) << (-ScaleShiftA) 式（ＬＭ−１９´）
パラメータａの値は、第１パラメータa1と第２パラメータa2の比(a1/a2をiShiftだけ左シフトした値に相当する)。
図８４は、本実施形態で用いる逆数テーブル値invTable[]である。図８４の逆数invTable[x]は、インデックスxが０の場合に０となり、インデックスがxが０以外の場合には、所定の定数（ここでは2の15乗）Mをxで割って整数化した値から導出される。すなわち、
invTable[x] ＝ ０ （xが０の場合） 式（Ｔ−１）
invTable[x] ＝ Floor((M / x/2) / x) （xが０以外の場合） 式（Ｔ−２）
なお、Floor(x)は、小数点以下を切り捨てにより整数化する関数である。式（Ｔ−１）の代わりに、以下の式（Ｔ−２´）を用いても良い。すなわち、除数xの1/2倍を加える丸目調整を行わなくても良い。
invTable[x] ＝ Floor(M / x) （xが０以外の場合） 式（Ｔ−２´）
逆数テーブル値invTable[]を用いることにより、a2sでの除算に相当する演算を、a2sの逆数に相当する逆数テーブル値invTable[a2s]との積と、log2(M)に相当する右シフトにより実現することができる。逆数テーブルinvTable[x]は、x=0においてinvTable[x]が０であるため、通常の演算では定義されない０での除算に相当する場合に結果が０となる。a2sは画素値x[]の分散に相当するため、画素値が非常に小さいか、乱雑さがない、つまり、全て平坦である場合に０になる。このような場合には、パラメータaを０とし、パラメータｂの加算だけで計算した場合も問題のない結果が得られる。このように、逆数テーブルinvTable[x]を定義しない場合には、xが０である場合にはパラメータａを０とする別の演算を用いるか、xが０である場合には、パラメータａを1<<iShiftとすることが必要となる。なお、ＬＭ第１パラメータクリップ部３１０４１６１の代わりに、パラメータａクリップ部を設け、以下の演算によりパラメータａの範囲を、8ビット整数となる、-128以上、127以下にクリップしても良い。
a = Clip3(-128, 127, a1) 式（ＬＭ−１２´）
なお、クリップの最大値は127以下、クリップの最小値は-128以上であれば8ビット整数となるため、他の値でも良い。例えば、
a = Clip3(-64, 64, a1) 式（ＬＭ−１２´´）
などでも良い。
導出されたパラメータａは、ＬＭパラメータｂ導出部３１０４１７とＬＭフィルタ部３１０４２に出力される。
ＬＭパラメータｂ導出部３１０４１７は、隣接色差画像の画素値の和Yから、隣接輝度画像の画素値の和Xにパラメータａをかけて固定シフト値iShiftだけ右シフトした値を引いた値を、参照領域の画素数で割ることにより、以下の式によりパラメータｂを導出する。
b = ( Y - ( ( a * X ) >> iShift ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift 式（ＬＭ−２０）
なお、iCountShiftの右シフトは、参照領域の画素数で割ることに相当する。
ＬＭフィルタ部３１０４２は、ＬＭパラメータ推定部３１０４１が導出した推定パラメータを用いて、輝度復号画像predSamplesY[]から、ＬＭ予測後の色差予測画像predSamplesC[]を導出する。例えば、パラメータｂを式（ＬＭ−２０）により導出する場合には以下の式を用いる。
predSamplesC[x][y] = (a * predSamplesY[x/2][y/2] >> iShift)+b 式（ＬＭ−２１）
なお、ＬＭパラメータｂ導出部３１０４１７の代わりに、ＬＭパラメータｂ導出部３１０４１７の別の構成のＬＭパラメータｂ導出部３１０４１７´を用いても良い。この場合、隣接色差画像の画素値の和Yを固定シフト値iShiftだけ左シフトした値から、隣接輝度画像の画素値の和Xにパラメータａをかけた値を引いた値を、参照画素の数で割ることにより、以下の式によりパラメータｂを導出しても良い。
b = ( (Y << iShift) - ( ( a * X ) ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift 式（ＬＭ−２０´）
図８２は、ＬＭ正則化項加算部３１０４１８Ｅの構成を示すブロック図である。ＬＭ正則化項加算部３１０４１８Ｅは、ＬＭ正則化項導出部３１０４１８０Ｅ、ＬＭ第１パラメータ正則化項加算部３１０４１８１Ｅ、ＬＭ第２パラメータ正則化項加算部３１０４１８２Ｅから構成される。
ＬＭ正則化項導出部３１０４１８０Ｅは、正則化項acostを導出する。
acost ＝ XX >> ashift 式（Ｅ−１）
ＬＭ第１パラメータ正則化項加算部３１０４１８１Ｅは、第１パラメータを導出に用いるパラメータ（例えばXY）に正則化項を加算する。
XY ＝ XY ＋ acost 式（Ｅ−２）
なお、この加算は、
ＬＭ第２パラメータ正則化項加算部３１０４１８２Ｅは、第２パラメータを導出に用いるパラメータ（例えばXX）に正則化項を加算する。
XX ＝ XX ＋ acost 式（Ｅ−３）
なお、正則化項の加算は、ＬＭ第１パラメータ導出部３１０４１４および、ＬＭ第２パラメータ導出部３１０４１５で行っても良い。この場合、第１パラメータ、第２パラメータは、式（ＬＭ−７）式（ＬＭ−８）の代わりに以下の式により導出される。
a1 = ( (XY + acost) << iCountShift ) - (Y * Y) >> precShift; 式（Ｅ−２´）
a2 = ( (XX + acost) << iCountShift ) - (X * X) >> precShift; 式（Ｅ−３´）
上記ＬＭパラメータ推定部３１０４１Ｅの構成では、図８４に示すように、インデックスxが０の場合に０となるように逆数テーブルinvTable[x]を定義し、このように定義した、逆数テーブルinvTable[x]を、隣接輝度画像の画素値の２乗の和XXと、隣接輝度画像の画素値の和xの２乗の差から導出される第２パラメータ（正規化第２パラメータ）で引いた値に基づいてパラメータａを導出することにより、正規化第２パラメータ（第２パラメータ）が０であるか否かに応じて、演算方法を変更しなくても適当なパラメータａを得ることができるため、処理量を削減する効果が得られる。なお、インデックスxが０以外の場合には、逆数テーブルinvTable[x]は、所定の値とxで除算した値を整数化した値を用いることが適当である。
上記ＬＭパラメータ推定部３１０４１の構成では、隣接色差画像の画素値yと隣接輝度画像の画素値xの積の和XYと、隣接色差画像の画素値の和Yと隣接輝度画像の画素値の和Xの積の差から導出される第１パラメータa1を導出する際に、正則化項acostを加算し、さらに、隣接輝度画像の画素値の２乗の和XXと、隣接輝度画像の画素値の和Xの２乗の差から導出される第２パラメータa2を導出する際に同じ正則化項acostを加算する。正則化項が加算された第１パラメータa1と第２パラメータa2からパラメータａを導出する。これにより、パラメータａが実質的に1に近くなる（実際には固定シフト値iShiftを用いて、1<<iShiftに近くなる）ことにより、外れ値などがある場合において、推定されるパラメータが頑健になる。推定されるパラメータが頑健になることによって、ＬＭ予測の推定精度が向上し、符号化効率が向上する効果を奏する。
（ＬＭ予測部３１０４Ｈ）
以下、ＬＭ予測部３１０４Ｅの変形例であるＬＭ予測部３１０４Ｈを説明する。
図８８は、ＬＭ予測部３１０４Ｈの構成を示すブロック図である。ＬＭ予測部３１０４Ｈは、ＬＭパラメータ推定部３１０４１Ｈと、ＬＭ予測フィルタ部３１０４２Ｈから構成される。ＬＭパラメータ推定部３１０４１Ｈは、ＬＭ加算値導出部３１０４１３Ｈ、ＬＭ第１パラメータ導出部３１０４１４Ｈ、ＬＭ第２パラメータ導出部３１０４１５Ｈ、ＬＭパラメータａ導出部３１０４１６Ｈ、ＬＭパラメータｂ導出部３１０４１７Ｈ、ＬＭ正則化項加算部３１０４１８Ｈから構成される。
ＬＭパラメータ推定部３１０４１Ｈは、対象ブロックに隣接する輝度画像を、隣接輝度画像x[]、対象ブロックに隣接する色差画像を隣接色差画像y[]と表示し、隣接輝度画像x[]と隣接色差画像y[]からパラメータａとパラメータｂを導出する。
ＬＭ加算値導出部３１０４１３Ｈは、隣接色差画像の画素値の和Yと隣接輝度画像の画素値の和Xを、以下の式（ＬＭ−２）、式（ＬＭ−３）により導出する。
X = Σx[i] 式（ＬＭ−２）
Y = Σy[i] 式（ＬＭ−３）
ここで、Σは、参照領域に対する和であり、参照領域の画素を特定するインデックスiに対する和を導出する。y[i]は、復号画像のインデックスiにおける画素値であり、x[i]は、参照画像のインデックスiにおける画素値である。カウントシフト値iCountShiftは、参照領域のサイズ（画素数）の２の対数である。
iCountShift = log2 (参照領域の画素数) 式（ＬＭ−６）
ＬＭ第１パラメータ導出部３１０４１４Ｈは、隣接色差画像の画素値の和Yから第１パラメータa1を以下の式により導出する。
a1 = Y 式（ＬＭ−７´）
ＬＭ第２パラメータ導出部３１０４１５Ｈは、隣接輝度画像の画素値xの和Xから第２パラメータa2を以下の式により導出する。
a2 = X 式（ＬＭ−８´）
導出された第１パラメータa１と第２パラメータa2は、ＬＭパラメータａ導出部３１０４１６Ｈに出力される。
図８９は、ＬＭ正則化項加算部３１０４１８Ｈの構成を示すブロック図である。ＬＭ正則化項加算部３１０４１８Ｈは、ＬＭ正則化項導出部３１０４１８０Ｈ、ＬＭ第１正則化項加算部３１０４１８１Ｈ、ＬＭ第２正則化項加算部３１０４１８２Ｈから構成される。
ＬＭ正則化項導出部３１０４１８０Ｈは、隣接輝度画像の画素値の和Xから正則化項acostを導出する。
acost ＝ X >> ashift 式（ＬＭ−１´）
ここで、ashiftは所定の定数であり、右シフトにより正則化項acostの大きさを調整するために用いられる。
なお、通常の画像では、隣接輝度画像の画素値の和Xと隣接色差画像の画素値の和Yはほぼ等しいため、隣接色差画像の画素値の和Yから正則化項acostを導出しても良い。
acost ＝ Y >> ashift 式（ＬＭ−１´´）
ＬＭ第１パラメータ正則化項加算部３１０４１８１Ｅは、第１パラメータを導出に用いるパラメータ（例えばY）に正則化項を加算する。
Y ＝ Y ＋ acost 式（ＬＭ−２´）
ＬＭ第２パラメータ正則化項加算部３１０４１８２Ｅは、第２パラメータの導出に用いるパラメータ（例えばX）に正則化項を加算する。
X ＝ X ＋ acost 式（ＬＭ−３´）
なお、正則化項の加算は、ＬＭ第１パラメータ導出部３１０４１４Ｈおよび、ＬＭ第２パラメータ導出部３１０４１５Ｈで行っても良い。この場合、第１パラメータ、第２パラメータは、式（ＬＭ−７´´）、式（ＬＭ−８´´）の代わりに以下の式により導出される。
a1 = Y + acost 式（ＬＭ−７´´）
a2 = X + acost 式（ＬＭ−８´´）
図９０は、ＬＭパラメータａ導出部３１０４１６Ｈの構成を示すブロック図である。ＬＭパラメータａ導出部３１０４１６Ｈは、ＬＭパラメータクリップ部３１０４１６１Ｈ、ＬＭ第２正規化シフト部３１０４１６３Ｈ、ＬＭテーブルベースパラメータａ導出部３１０４１６４Ｈから構成される。
ＬＭ第２正規化シフト部３１０４１６３Ｈは、第２パラメータa2の大きさに応じて、以下の式により第２正規化シフト値iScaleShiftA2を導出する。導出されたＬＭ第２正規化シフト値iScaleShiftA2は、ＬＭテーブルベースパラメータａ導出部３１０４１６４Ｈに出力される。
iScaleShiftA2 = Max(0, GetMSB( abs( a2 ) ) - 6) 式（Ｂ−１４）
ＬＭ第２正規化シフト部３１０４１６３Ｈは、第２パラメータa2を第２正規化シフト値iScaleShiftA2により右シフトし、正規化第２パラメータa2sを導出する。
a2s = a2 >> iScaleShiftA2 式（Ｂ−１６）
ＬＭテーブルベースパラメータａ導出部３１０４１６４Ｈは、以下の式によりパラメータａシフト値ScaleShiftAを導出する。
ScaleShiftA = iScaleShiftA2 + 15 - iShift 式（Ｂ−１８´）
ＬＭテーブルベースパラメータａ導出部３１０４１６４Ｈは、以下の式のように、正規化第２パラメータa2sに応じて定まる逆数テーブル値invTableを参照し、正規化第１パラメータa1との積をとり、テーブルシフト値ScaleShiftAで右シフトすることにより、パラメータａを導出する。
a = (a1 * invTable[a2s]) >> (ScaleShiftA) 式（ＬＭ−１９）
図８４は、本実施形態で用いる逆数テーブル値invTable[]である。既に説明したように図８４の逆数invTable[x]は、インデックスxが０の場合に０となり、インデックスxが０以外の場合には、所定の定数M（ここでは2の15乗）をxで割って整数化した値から導出される。
パラメータａの値は、第１パラメータa1と第２パラメータa2の比(a1/a2をiShiftだけ左シフトした値)に相当する。
ＬＭパラメータクリップ部３１０４１６１Ｈは、以下の演算によりパラメータａの範囲を、8ビット整数変数となる、-128以上、127以下にクリップする。
a = Clip3(-128, 127, a) 式（ＬＭ−１２´）
なお、クリップの範囲の最小値は-128以上、最大値が127以下であれば他の値でも構わない。例えば以下の範囲等でも良い。
a = Clip3(-64, 63, a)
ＬＭパラメータｂ導出部３１０４１７は、既に説明したとおり、式（ＬＭ−２０）によりパラメータｂを導出する。
ＬＭフィルタ部３１０４２Ｈは、ＬＭパラメータ推定部３１０４１Ｈが導出した推定パラメータａ、ｂを用いて、輝度復号画像predSamplesY[]から、ＬＭ予測後の色差予測画像predSamplesC[]を導出する。例えば、ＬＭフィルタ部３１０４２は、以下の式（ＬＭ−２１´）のように、画素のビット深度をbitDepthとした場合、輝度復号画像predSamplesY[]から(1<<(bitDepth-1))を引いた値にパラメータａをかけてから、シフト値iShiftで右シフト後、パラメータｂと(1<<(bitDepth-1))を加算することによって、色差予測画像predSamplesC[]を導出する。。
predSamplesC[x][y] = (a * (predSamplesY[x/2][y/2]-(1<<(bitDepth-1))) >> iShift)+b+(1<<(bitDepth-1)) 式（ＬＭ−２１´）
bitDepthが8ビットである場合、predSamplesYの範囲は0から255で、(1<<(bitDepth-1))は128であるため、predSamplesY[x/2][y/2]-(1<<(bitDepth-1))は、8ビット整数の-128から127の範囲となる。パラメータａも-128から127となるようにクリップしていれば、上記画素値から所定の値を引いた値と、パラメータａとの積を、８ビット整数間の演算で処理できる。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、同じ正則化項を第１パラメータa1と第２パラメータa2に加算してから、第１パラメータa1と第２パラメータa2の比に相当する値のパラメータａを算出することによって、外れ値などがある場合において、推定されるパラメータが頑健になり、符号化効率が向上する効果を奏する。なお、正則化項は、隣接輝度画像の画素値xの和Xから生成しても良いし、隣接色差画像の画素値yの和Yから生成しても良い。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、隣接輝度画像の画素値の和Xから導出される第２パラメータのみを正規化し、隣接色差画像の画素値の和Yから導出される第１パラメータを正規化しないため、テーブルシフト値ScaleShiftAが必ず０以上になる。そのためテーブルシフト値ScaleShiftAが０以上であるか（正であるか）否かに応じて、右シフトである式（ＬＭ−１９）と左シフトである式（ＬＭ−１９´）で切り替えることなく、右シフトのみで導出することができる。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、図８４に示すように、インデックスxが０の場合に０となるように逆数テーブルinvTable[x]を定義し、このように定義した逆数テーブルinvTable[x]を、復号画像の画素値yの和Yから導出される第２パラメータ（正規化第２パラメータ）で引いた値に基づいてパラメータａを導出することにより、第２パラメータ（正規化第２パラメータ）が０であるか否かに応じて、演算方法を変更しなくても適当なパラメータａを得ることができるため、処理量が削減されるという効果を奏する。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、ＬＭパラメータクリップ部３１０４１６１Ｈにより、パラメータａを８ビット非負整数の範囲にクリップすることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット非負整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、ＬＭパラメータクリップ部３１０４１６１Ｈにより、パラメータａを８ビット整数の範囲にクリップすることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、パラメータａの導出において、隣接色差画像の画素値yと隣接輝度画像の画素値xの積の和XYと、隣接輝度画像の画素値の２乗の和XXを導出しないため、処理量が小さくなるという効果を奏する。
なお、ＬＭ予測部３１０４Ｈの別の構成として、ＬＭ予測部３１０４Ｈ内の、ＬＭパラメータ推定部３１０４１Ｈにおいて、ＬＭパラメータａ導出部３１０４１６Ｈの代わりに、ＬＭパラメータａ導出部３１０４１６Ｈ２を用いる構成も可能である。
図９１は、ＬＭパラメータａ導出部３１０４１６Ｈ２の構成を示すブロック図である。ＬＭパラメータａ導出部３１０４１６Ｈ２は、ＬＭパラメータクリップ部３１０４１６１Ｈ、ＬＭ除算パラメータａ導出部３１０４１６５Ｈから構成される。
ＬＭ除算パラメータａ導出部３１０４１６５Ｈは、第１パラメータと第２パラメータの比により、以下の式によりパラメータａを導出する。
a = (a1 + a2/2) / a2 式（Ｂ−１９´）
ＬＭパラメータクリップ部３１０４１６１Ｈは、既に説明したように、パラメータａの範囲を、8ビット非負変数の範囲にクリップする。
上記ＬＭパラメータ推定部３１０４１Ｈ２の構成では、同じ正則化項を第１パラメータa1と第２パラメータa2に加算してから、第１パラメータa1と第２パラメータa2の比に相当する値のパラメータａを算出することによって、外れ値などがある場合において、推定されるパラメータが頑健になり、符号化効率が向上する効果を奏する。
上記ＬＭパラメータ推定部３１０４１Ｈの構成では、ＬＭパラメータクリップ部３１０４１６１Ｈにより、パラメータａを８ビット整数の範囲にクリップすることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
ＬＭパラメータａ導出部３１０４１６Ｈ２は、ＬＭパラメータａ導出部３１０４１６Ｈと異なり、パラメータａの導出に除算を用いる。除算は比較的処理が複雑な演算であるが、その分パラメータａの精度が向上するため、符号化効率が高くなるという効果を奏する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２および残差格納部３１３に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、ＡＭＶＰ予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸを抽出する。
インター予測パラメータ復号制御部３０３１は、まず、をマージフラグ抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスｍｅｒｇｅ＿ｉｄｘを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスｍｅｒｇｅ＿ｉｄｘをマージ予測パラメータ導出部３０３６に出力する。
マージフラグｍｅｒｇｅ＿ｆｌａｇが０、すなわち、ＡＭＶＰ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからＡＭＶＰ予測パラメータを抽出する。ＡＭＶＰ予測パラメータとして、例えば、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘから導出した予測リスト利用フラグｐｒｅｄＦｌａｇＬＸと、参照ピクチャインデックスｒｅｆＩｄｘＬＸをＡＭＶＰ予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘをＡＭＶＰ予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルｍｖｄＬＸを加算部３０３５に出力する。
図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と基本マージ候補導出部３０３６１３を含んで構成される。
マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ、ベクトルｍｖＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２から入力されたマージ候補には、インデックスとして「０」を割り当てる。
拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、インターレイヤマージ候補導出部３０３６１２１とインターレイヤ変位マージ候補導出部３０３６１２３を含んで構成される。
変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスｒｅｆＩｄｘＬＸを用いてリファレンスレイヤ判定部３０３１１１（後述）を用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをインターレイヤマージ候補導出部３０３６１２１及びインターレイヤ変位マージ候補導出部に出力する。
インターレイヤマージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤマージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、インターレイヤマージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（ｘＲｅｆ、ｙＲｅｆ）は、対象ブロックの座標が（ｘＰ、ｙＰ）、変位ベクトルが（ｍｖＤｉｓｐ［０］、ｍｖＤｉｓｐ［１］）、対象ブロックの幅と高さがｎＰＳＷ、ｎＰＳＨの場合に以下の式により導出する。
ｘＲｅｆ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， ｘＰ ＋ （ （ ｎＰＳＷ - １ ） ＞＞ １ ） ＋ （ （ ｍｖＤｉｓｐ［０］ ＋ ２ ） ＞＞ ２ ） ）
ｙＲｅｆ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＨｅｉｇｈｔＩｎＳａｍｐｌｅｓＬ- １， ｙＰ ＋ （ （ ｎＰＳＨ - １ ） ＞＞ １ ） ＋ （ （ ｍｖＤｉｓｐ［１］ ＋ ２ ） ＞＞ ２ ））
なお、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する。インターレイヤマージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨をインターレイヤ変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（動き予測）とも記載する。
インターレイヤ変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤ変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスｒｅｆＩｄｘＬＸ（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（変位予測）とも記載する。
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ、ベクトルｍｖＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスｒｅｆＩｄｘＬＸでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスｒｅｆＩｄｘＬＸのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスｒｅｆＩｄｘＬＸが０であり、ベクトルｍｖＬＸのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスｍｅｒｇｅ＿ｉｄｘに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。
図８は、本実施形態に係るＡＭＶＰ予測パラメータ導出部３０３２の構成を示す概略図である。ＡＭＶＰ予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスｒｅｆＩｄｘに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補ｍｖｐＬＸとして読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘが示すベクトル候補を予測ベクトルｍｖｐＬＸとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルｍｖｐＬＸを加算部３０３５に出力する。
図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のｍｖｐ＿ＬＸ＿ｉｄｘの真下の下向きの矢印とその下のｍｖｐＬＸは、ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘが、予測パラメータメモリ３０７においてベクトルｍｖｐＬＸを参照するインデックスであることを示す。
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルｍｖｐＬＸとインター予測パラメータ復号制御部から入力された差分ベクトルｍｖｄＬＸを加算してベクトルｍｖＬＸを算出する。加算部３０３５は、算出したベクトルｍｖＬＸを予測画像生成部３０８（図５）に出力する。
（インター予測パラメータ復号制御部の構成）
次に、インター予測パラメータ復号制御部３０３１の構成について説明する。インター予測パラメータ復号制御部３０３１は、図１０に示すように、追加予測フラグ復号部３０３１１、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部は各々、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸを復号する。
追加予測フラグ復号部３０３１１は、追加予測が行われるか否かを示すフラグｘｐｒｅｄ＿ｆｌａｇを復号する。ここで追加予測とは、後述する残差予測もしくは照度補償等を意味し、通常の動き補償や変位補償に対して追加的に行われる予測を示す。なお、残差予測を行われるか否かを示すフラグはｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ、照度補償が行われるか否かを示すフラグはｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇで表現する。復号した追加予測フラグｘｐｒｅｄ＿ｆｌａｇ（ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ、ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）は、インター予測画像生成部３０９に出力される。さらに、追加予測フラグｘｐｒｅｄ＿ｆｌａｇが残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇであり、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが残差予測をすることを示す１である場合には、インター予測パラメータ復号制御部３０３１は内部に備える後述の変位ベクトル取得部を用いて、対象ＰＵの変位ベクトルｍｖＤｉｓｐを抽出し、インター予測画像生成部３０９に出力する。なお、残差予測を行うか否かを示すフラグである残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの代わりに、残差予測の重みを示すフラグである残差予測ウェイトｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔを用いても良い。ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔが０の場合には残差予測を行わず、ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔが１の場合には、重み１で残差予測を行い、ｒｅｓ＿ｐｒｅｄ＿ｗｅｉｇｈｔが２の場合には、重み１／２で残差予測を行う。また、残差予測を行うか否かを示すフラグである残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの代わりに、残差予測の種類を示すフラグである残差予測モードｒｅｓ＿ｐｒｅｄ＿ｍｏｄｅを用いても良い。ｒｅｓ＿ｐｒｅｄ＿ｍｏｄｅが０の場合には残差予測を行わず、ｒｅｓ＿ｐｒｅｄ＿ｍｏｄｅが１の場合には、第１の残差予測行い、ｒｅｓ＿ｐｒｅｄ＿ｍｏｄｅが２の場合には、第２の残差予測で残差予測を行う。なお第１の残差予測と第２の残差予測は、残差の導出方法が互いに異なるものとする。
追加予測フラグ復号部３０３１１は、内部に、追加予測フラグ判定部３０３１４を備える。追加予測フラグ判定部３０３１４は、追加予測フラグｘｐｒｅｄ＿ｆｌａｇを符号化データに含まれるか否か（符号化データから読み出して復号するか否か）を判定する。判定結果は符号化データに含める場合を１、含めない場合を０としてｘｐｒｅｄ＿ｆｌａｇ＿ｅｘｉｓｔｓとして導出される。追加予測フラグ判定部３０３１４において、追加予測フラグを符号化データに符号化データに含めると判定された場合（ｘｐｒｅｄ＿ｆｌａｇ＿ｅｘｉｓｔｓが１の場合）には、追加予測フラグ復号部３０３１１は、エントロピー復号部３０１に、追加予測フラグの復号を通知し、エントロピー復号部３０１を通じて符号化データから、追加予測フラグに対応するシンタックス要素を抽出する。逆に、追加予測フラグ判定部３０３１４において、符号化データに含めない（ｘｐｒｅｄ＿ｆｌａｇ＿ｅｘｉｓｔｓが０の場合）と判定した場合には、追加予測フラグに、追加予測を示す値（ここでは１）を導出（ｉｎｆｅｒ）する。追加予測フラグ判定部３０３１４については後述する。
（変位ベクトル取得部）
変位ベクトル取得部は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ３０７から抽出し、予測パラメータメモリ３０７を参照し、対象ＰＵに隣接するブロックの予測フラグｐｒｅｄＦｌａｇＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸとベクトルｍｖＬＸを読み出す。変位ベクトル取得部は、内部にリファレンスレイヤ判定部３０３１１１を備える。変位ベクトル取得部は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、リファレンスレイヤ判定部３０３１１１を用いて、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
（リファレンスレイヤ判定部３０３１１１）
リファレンスレイヤ判定部３０３１１１は、入力された参照ピクチャインデックスｒｅｆＩｄｘＬＸに基づいて、参照ピクチャインデックスｒｅｆＩｄｘＬＸが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｉｎｆｏを定める。リファレンスレイヤ情報ｒｅｆｅｒｅｎｃｅ＿ｌａｙｅｒ＿ｉｎｆｏは、参照ピクチャへのベクトルｍｖＬＸが変位ベクトルであるか動きベクトルであるかを示す情報である。
対象ピクチャのレイヤと参照ピクチャのレイヤが同じレイヤである場合の予測を、同一レイヤ予測と呼び、この場合に得られるベクトルは動きベクトルである。対象ピクチャのレイヤと、参照ピクチャのレイヤが異なるレイヤである場合の予測をインターレイヤ予測と呼び、この場合に得られるベクトルは変位ベクトルである。
ここで、リファレンスレイヤ判定部３０３１１１の判定処理の例について、第１の判定方法から第３の判定方法を説明する。リファレンスレイヤ判定部３０３１１１は、第１の判定方法から第３の判定方法のいずれか、又は、それらの方法のうち任意の組み合わせを用いてもよい。
＜第１の判定方法＞
リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスｒｅｆＩｄｘＬＸが示す参照ピクチャに係る表示時刻（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ピクチャ順序番号）が復号対象ピクチャに係る表示時刻（ＰＯＣ）と等しい場合に、ベクトルｍｖＬＸが変位ベクトルであると判定する。ＰＯＣは、ピクチャを表示する順序を示す番号であって、そのピクチャが取得された表示時刻を示す整数（離散時刻）である。変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸが動きベクトルであると判定する。
具体的には、参照ピクチャインデックスｒｅｆＩｄｘＬＸが示す参照ピクチャのピクチャ順序番号ＰＯＣが復号対象ピクチャのＰＯＣと等しい場合、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸが変位ベクトルであると、例えば以下の式により判定する。
ＰＯＣ ＝＝ ＲｅｆｌａｙｅｒＰＯＣ （ｒｅｆＩｄｘＬＸ， ＬｉｓｔＸ）
ここで、ＰＯＣは復号対象ピクチャのＰＯＣ、ＲｅｆＰＯＣ（Ｘ， Ｙ）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのＰＯＣである。
なお、復号対象ピクチャのＰＯＣと等しいＰＯＣの参照ピクチャを参照することができる、ということは、その参照ピクチャのレイヤは、復号対象ピクチャのレイヤと異なることを意味する。従って、復号対象ピクチャのＰＯＣと参照ピクチャのＰＯＣが等しい場合には、インターレイヤ予測が行われた（変位ベクトル）、それ以外は同一レイヤ予測が行われた（動きベクトル）と判定する。
＜第２の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスｒｅｆＩｄｘＬＸが示す参照ピクチャに係る視点と復号対象ピクチャに係る視点が異なる場合に、ベクトルｍｖＬＸを変位ベクトルであると判定しても良い。具体的には、参照ピクチャインデックスｒｅｆＩｄｘＬＸが示す参照ピクチャのビューＩＤｖｉｅｗ＿ｉｄが復号対象ピクチャのビューＩＤｖｉｅｗ＿ｉｄと異なる場合に、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸが変位ベクトルであると、例えば以下の式により判定する。
ＶｉｅｗＩＤ ＝＝ ＲｅｆｌａｙｅｒＶｉｅｗＩＤ （ｒｅｆＩｄｘＬＸ， ＬｉｓｔＸ）
ここで、ＶｉｅｗＩＤは復号対象ピクチャのビューＩＤ、ＲｅｆＶｉｅｗＩＤ（Ｘ， Ｙ）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのビューＩＤである。
ビューＩＤｖｉｅｗ＿ｉｄは、それぞれの視点画像を識別する情報である。変位ベクトルに係る差分ベクトルｄｖｄＬＸは、異なる視点のピクチャ間で得られ、同一の視点のピクチャ間からは得られないことに基づく。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸが動きベクトルであると判定する。
なお、個々の視点画像はレイヤの一種であるから、ビューＩＤｖｉｅｗ＿ｉｄが異なると判定された場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。
＜第３の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスｒｅｆＩｄｘＬＸが示す参照ピクチャに係るレイヤＩＤｌａｙｅｒ＿ｉｄと復号対象ピクチャに係るレイヤＩＤｌａｙｅｒ＿ｉｄが異なる場合に、ベクトルｍｖＬＸが変位ベクトルであると、例えば以下の式により判定しても良い。
ｌａｙｅｒＩＤ ！＝ ＲｅｆｌａｙｅｒＩＤ （ｒｅｆＩｄｘＬＸ， ＬｉｓｔＸ）
ここで、ｌａｙｅｒＩＤは復号対象ピクチャのレイヤＩＤ、ＲｅｆｌａｙｅｒＩＤ（Ｘ， Ｙ）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのレイヤＩＤである。レイヤＩＤｌａｙｅｒ＿ｉｄは、１枚のピクチャが複数の階層（レイヤ）のデータを含んで構成される場合において、それぞれのレイヤを識別するデータである。異なる視点のピクチャが符号化された符号化データにおいて、レイヤＩＤは、視点によって異なる値を有することに基づく。すなわち、変位ベクトルに係る差分ベクトルｄｖｄＬＸは、対象ピクチャと、異なるレイヤに係るピクチャとの間で得られるベクトルである。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸが動きベクトルであると判定する。
なお、レイヤＩＤｌａｙｅｒ＿ｉｄが異なる場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルｍｖＬＸを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。
（インター予測画像生成部３０９）
図１１は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。
（動き変位補償）
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、動きベクトルｍｖＬＸに基づいて、参照ピクチャメモリ３０６から、参照ピクチャインデックスｒｅｆＩｄｘＬＸで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルｍｖＬＸだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルｍｖＬＸが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルｍｖＬＸが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ０、Ｌ１予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ１と呼ぶ。両者を区別しない場合ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ、出力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ´と表現する。
（残差予測）
残差予測部３０９２は、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、残差予測を行う。残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。インター予測パラメータ復号部３０３から入力された変位ベクトルｍｖＤｉｓｐと、残差格納部３１３に格納された残差ｒｅｆＲｅｓＳａｍｐｌｅｓを用いて、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対し残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。従って、参照レイヤ（第１のレイヤ画像）がベースレイヤ（ベースビュー）である場合には、参照レイヤの予測画像は動き補償による予測画像であることから、対象レイヤ（第２のレイヤ画像）による予測においても、動き補償による予測画像である場合に、残差予測は有効である。すなわち、残差予測は対象ブロックが動き補償の場合に有効であるという特性を持つ。
残差予測部３０９２は、図示しない残差取得部３０９２１と、残差フィルタ部３０９２２から構成される。図１２は、残差予測を説明するための図である。対象レイヤ上の対象ブロックに対応する対応ブロックは、参照レイヤ上の画像の対象ブロックの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルｍｖＤｉｓｐだけずれた位置になるブロックに位置する。従って、残差予測に用いる残差は、変位ベクトルｍｖＤｉｓｐだけずれた位置にある残差を用いる。具体的には、残差取得部３０９２１は、対象ブロックの画素の座標（ｘ， ｙ）を、対象ブロックの変位ベクトルｍｖＤｉｓｐの整数画素成分だけずらした位置の画素を導出する。変位ベクトルｍｖＤｉｓｐが小数精度であることを考慮し、残差取得部３０９２１は、対象ブロックの画素の座標が（ｘＰ、ｙＰ）である場合に対応する画素Ｒ０のＸ座標ｘＲ０と、画素Ｒ０の隣接画素Ｒ１のＸ座標ｘＲ１を以下の式により導出する。
ｘＲ０ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ）
ｘＲ１ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＋ １ ）
ここで、Ｃｌｉｐ３（ｘ， ｙ， ｚ）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。なお、ｍｖＤｉｓｐ［０］ ＞＞ ２は、１／４ペル精度のベクトルにおいて整数成分を導出する式である。
残差取得部３０９２１は、変位ベクトルｍｖＤｉｓｐで指定される座標の小数画素位置（ｍｖＤｉｓｐ［０］ - （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ） ）に応じて、画素Ｒ０の重み係数ｗ０と、画素Ｒ１の重み係数ｗ１を以下の式により導出する。
ｗ０ ＝ ４ - ｍｖＤｉｓｐ［０］ ＋ （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ）
ｗ１ ＝ ｍｖＤｉｓｐ［０］ - （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ）
続いて、残差取得部３０９２１は、残差格納部３１３から、画素Ｒ０、画素Ｒ１の残差をｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］、ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ１， ｙ ］により取得する。残差フィルタ部３０９２２は、推定残差ｄｅｌｔａＬを以下の式で導出する。
ｄｅｌｔａＬ ＝ （ ｗ０ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］） ＋ ｗ１ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ１， ｙ ］ ＋ ２ ）） ＞＞ ２
ここで、ｘｍｉｎ＝−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））、ｘｍａｘ ＝ （１＜＜（ＢｉｔＤｅｐｔｈＹ−１））−１である。残差取得部３０９２１は、参照レイヤの残差を読み出す際に、所定のビット幅に収まる範囲にクリップしてから読み出す。例えば、ビット深度をＢｉｔＤｅｐｔｈＹとする場合、ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］、ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ１， ｙ ］を、−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１）） 〜 ＋ （１＜＜ＢｉｔＤｅｐｔｈＹ−１）−１に制限し、残差を読み出す。なお上記の説明ではビット深度に輝度のビット深度ｂｉｔＤｅｐｔｈＹを用いたが、色差の残差を読み出す場合にも同様のクリップ処理を行う。この場合には、ビット深度を色差のビット深度ｂｉｔＤｅｐｔｈＣに置き替えて処理を行う（以下同様）。
上記処理は、変位ベクトルｍｖＤｉｓｐが小数精度を有する場合に、線形補間により画素を導出していたが、線形補間を用いず、近傍の整数画素を用いても良い。具体的には、残差取得部３０９２１は、対象ブロックの画素に対応する画素として画素ｘＲ０のみを取得し、以下の式を用いて推定残差ｄｅｌｔａＬを導出しても良い。
ｄｅｌｔａＬ ＝ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］）
上記推定残差ｄｅｌｔａＬの導出後、残差フィルタ部３０９２２は、残差予測部３０９２に入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸに推定残差ｄｅｌｔａＬを加算し、動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸ´として出力する。
ｐｒｅｄＳａｍｐｌｅｓＬＸ´ ［ ｘ， ｙ ］ ＝ ｐｒｅｄＳａｍｐｌｅｓＬＸ ［ ｘ， ｙ ］ ＋ ｄｅｌｔａＬ
上記の構成によれば、対象レイヤの残差の推定において、参照レイヤで得られた残差の値の範囲を制限して読み出す。これにより、後述する残差格納部３１３では、残差として、制限した範囲の値のみを格納すれば良いため、残差を記録するためのメモリ量を低下させる効果を奏する。
より具体的には、残差は差分信号であるため、画素のビット深度がｂｉｔＤｅｐｔｈＹ（画素の範囲が０ 〜 ＋（１＜＜ＢｉｔＤｅｐｔｈＹ）−１）である場合、ｂｉｔＤｅｐｔｈＹ＋１ビットが必要になる（残差の範囲は、−（１＜＜ＢｉｔＤｅｐｔｈＹ） 〜 ＋（１＜＜ＢｉｔＤｅｐｔｈＹ）−１）。従来技術では、上記の範囲の値を記録する必要があった。
これに対し、本実施形態の制限−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１）） 〜 ＋ （１＜＜ＢｉｔＤｅｐｔｈＹ−１）−１では、画素のビット数がＢｉｔＤｅｐｔｈＹである場合に、残差のビット幅をＢｉｔＤｅｐｔｈＹに制限することが可能である。発明者らは、実験により、画素のビット深度が８ビット（画素の範囲が０〜２５５）である場合に、残差の範囲を８ビット（−１２８〜１２７）に制限しても符号化効率が低下しないことを確認している。一般にＲＡＭ（ＳＲＡＭ、ＤＲＡＭ、ＤＤＲＡＭ）と呼ばれるメモリは、８ビット単位で情報を格納することから、最も良く利用される場合である、画素ビット幅が８ビットの場合において、格納する残差の範囲を８ビットに制限できることはメモリ量を削減する効果を奏する。また、残差の範囲を制限して読み出すことは、残差格納部３１３から読み出す際にメモリ転送を行うために必要なバンド幅を少なくすることができ、また、読み出し速度の向上にも寄与する。
なお、残差の範囲制限は、残差取得部３０９２１での残差読み出し時ではなく、残差格納部３１３で残差を格納する時点において行っても良い。
以下、残差予測部３０９２の変形例である残差予測部３０９２Ａについて説明する。残差予測部３０９２Ａは、残差取得部３０９２１Ａと、残差フィルタ部３０９２２から構成される。残差予測部３０９２の変形例では、既に説明した残差予測部３０９２と異なる部分のみを説明し、同じ動作をする場合には説明を省略する。変形例の残差取得部３０９２１Ａは、参照レイヤの残差を読み出す際に、水平方向もしくは／かつ垂直方向の解像度をＮ分の１に間引いた位置の画素のみを参照する（ここでＮは所定の倍率）。より具体的には、残差を読み出す座標を所定のビット（ここではＫ）だけ右シフトし、さらに同じ所定のビットＫだけ左シフトすることにより、下位Ｋビットを無視する。下位ビットが無視された位置の残差は読み出されない。ここで所定の倍率ＮとＫの関係は、Ｎ＝（１＜＜Ｋ）である。例えば倍率Ｎが２倍の場合にはＫ＝１を用いる。
残差取得部３０９２１Ａは、座標の下位Ｋビットを無視する上記シフト演算による座標ｘＲ０、ｘＲ１の導出と、下位Ｋビット無視前の座標ｘｘと、下位Ｋビット無視後の座標ｘｘｘから、重み係数ｗ０とｗ１を導出し、線形予測により、推定残差ｄｅｌｔａＬを以下の式より求める。
ｘｘ ＝ （ｘＰ＜＜２） ＋ （ｘ＜＜２） ＋ ｍｖＤｉｓｐ［０］
ｘｘｘ ＝ （ｘｘ＞＞（Ｋ＋２））＜＜（Ｋ＋２）
ｘＲ０ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， ｘｘｘ）
ｘＲ１ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， ｘｘｘ＋１）
ｗ０ ＝ （１＜＜（Ｋ＋２）） - （ｘｘ - ｘｘｘ）
ｗ１ ＝ ｘｘ - ｘｘｘ
ｄｅｌｔａＬ ＝ （ ｗ０ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， （ｙ＞＞Ｋ）＜＜Ｋ ］） ＋ ｗ１ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ｘＲ１， （ｙ＞＞Ｋ）＜＜Ｋ ］ ＋ （１＜＜（Ｋ＋１））） ）） ＞＞ （Ｋ＋２）
なお、上記の下位ビットを無視する関数をｆ（ｘ） ＝ （ｘ＞＞Ｋ）＜＜Ｋとすると、ｆ（ｘ） ＝ ｘ＆〜（１＜＜（Ｋ−１））と表現することもできる（以下同様）。ここで〜はビット否定の演算、＆は論理積の演算を示す。
残差予測部３０９２Ａは、より簡易な別の構成として、座標の下位Ｋビットを無視する上記シフト演算による座標ｘＲ０、ｘＲ１の導出と、下位ビット無視前の座標ｘｘと、下位Ｋビット無視後の座標ｘｘｘから、重み係数ｗ０とｗ１を導出し、線形予測により、推定残差ｄｅｌｔａＬを以下の式より求めても良い。
ｘｘ ＝ ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ）
ｘｘｘ ＝ （ｘｘ＞＞Ｋ）＜＜Ｋ
ｗ０ ＝ （１＜＜（Ｋ） - （ｘｘ - ｘｘｘ）
ｗ１ ＝ ｘｘ - ｘｘｘ
ｄｅｌｔａＬ ＝ （ ｗ０ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， （ｙ＞＞Ｋ）＜＜Ｋ ］） ＋ ｗ１ ＊ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ｘＲ１， （ｙ＞＞Ｋ）＜＜Ｋ ］ ＋ （１＜＜（Ｋ−１））） ）） ＞＞ Ｋ
残差予測部３０９２Ａは、さらにより簡易な別の構成として、座標の下位Ｋビットを無視する上記シフト演算により座標ｘＲ０を導出し推定残差ｄｅｌｔａＬを以下の式より求めても良い。
ｘＲ０ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ- １， （ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ））＞＞ Ｋ）＜＜Ｋ）
ｄｅｌｔａＬ ＝ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， （ｙ＞＞Ｋ）＜＜Ｋ ］）
上記の構成によれば、残差の参照位置を制限して読み出すことにより、後述する残差格納部３１３において、参照する位置の残差のみを格納すれば良いため、残差を記録するためのメモリ量を低下させるという効果を奏する。
以下、残差予測部３０９２の別の変形例を説明する。変形例の残差予測部３０９２Ｂは、輝度成分については、変位ベクトルｍｖＤｉｓｐが小数精度を有する場合に、線形補間により画素を導出し、色差成分については線形補間を用いず、近傍の整数画素を用いる。ここで、変位ベクトルｍｖＤｉｓｐは水平成分mvDisp[0]だけではなく垂直成分mvDisp[1]を有する。
図６７は、残差予測部３０９２Ｂの構成を示す図である。残差予測部３０９２Ｂは、残差取得部３０９２１Ｂ、残差フィルタ部３０９２２Ｂを備える。残差取得部３０９２１Ｂは変位導出部３０９２１１Ｂ、輝度残差取得部３０９２１２Ｂ、色差残差取得部３０９２１３Ｂを備える。残差フィルタ部３０９２２Ｂは、輝度残差補間部３０９２２１Ｂ、輝度残差加算部３０９２２２Ｂ、色差残差加算部３０９２２４Ｂを備える。
変位導出部３０９２１１Ｂは、対象ブロックに隣接するブロックのベクトルを参照し、変位ベクトルｍｖＤｉｓｐを導出し、輝度残差取得部３０９２１２Ｂ、色差残差取得部３０９２１３Ｂ、輝度残差補間部３０９２２１Ｂに出力する。
輝度残差補間部３０９２２１Ｂは、輝度成分の水平方向重み係数w0, w1、垂直方向重み係数w2, w3を、変位ベクトルｍｖＤｉｓｐの小数精度に基づいて以下の式で導出する。
w0 = mvDisp[0] & 3
w1 = 4 -w0
w2 = mvDisp[1] & 3
w3 = 4 -w2
変位ベクトルｍｖＤｉｓｐが1/4ペル精度の場合、ベクトルの小数成分は下位２ビットを取得する&3の演算（これは%4の演算に等しい）で導出され、ベクトルの整数成分は、下位２ビットを除去する>>2（これは/4の演算に等しい）の演算により導出される。
輝度残差補間部３０９２２１Ｂは、以下の式により水平方向および垂直方向の線形補間により、予測残差deltaを導出する。
delta =
(w2*(w0 * refResSample[xR0, yR0] + w1 * refResSample[xR0+1, yR0] + 2)>>2)+
w3*(w0 * refResSample[xR0, yR1] + w1 * refResSample[xR0+1, yR1] + 2)>>2)+2)>>2
refResSample[]は、残差格納部３１３に格納される残差であり、輝度残差取得部３０９２１２Ｂにより取得される。ここで、xR0, xR1, yR0, yR1は、参照先の座標を示し、変位ベクトルｍｖＤｉｓｐの整数成分に基づいて、以下の式で導出される。
xR0 = Clip3(0, PicWidthInSampleL-1, xP + x + (mvDisp[0]>>2))
xR1 = Clip3(0, PicWidthInSampleL-1, xR0 + 1)
yR0 = Clip3(0, PicHeightInSampleL-1, yP + y + (mvDisp[1]>>2))
yR1 = Clip3(0, PicHeightInSampleL-1, yR0 + 1)
輝度残差加算部３０９２２２Ｂは、残差予測前の予測画像predSampleLX
[]に、導出された予測残差deltaを加算し、残差予測後の予測画像predSampleLX´[]を取得する。
predSampleLX´[x, y] = predSampleLX[x, y] + delta
色差成分では、線形補間を用いず、色差残差取得部３０９２１３Ｂは、以下の式により、残差格納部３１３に格納される残差から直接、予測残差deltaCを導出する。
deltaC = refResSampleC[xRC0, yRC0]
ここで、xRC0, yRC0,は、以下の式で導出される座標である。
xRC0 = Clip3(0, PicWidthInSampleL/4-1, xP + x + ((mvDisp[0]+4)>>3))
yRC0 = Clip3(0, PicWidthInSampleL/4-1, yP + y + ((mvDisp[1]+4)>>3))
色差残差加算部３０９２２４Ｂは、残差予測前の予測画像predSampleLX[]に、導出された予測残差deltaCを加算し、残差予測後の予測画像predSampleLX´[]を取得する。
predSampleLX´[x, y] = predSampleLX[x, y] + deltaC
以上の構成の残差予測部３０９２Ｂによれば、予測残差の導出において、輝度成分のみ残差の線形補間を行い、色差成分では、残差の線形補間を行わないことにより、予測残差の導出に用いる処理量を削減する効果を奏する。また、線形補間を行わない場合には、補間のために必要とされた予備領域がなくなり、参照範囲が小さくなるため、残差の転送量を削減する効果を奏する。
なお、上記の説明では輝度成分の予測残差を求める際に、水平方向、垂直方向の線形補間を行っていたが、以下のように水平方向の線形補間だけを行う構成でも良い。この場合、変位ベクトルｍｖＤｉｓｐの水平方向の小数成分から水平方向重み係数w0, w1を導出する。
w0 = mvDisp[0] & 3
w1 = 4 -w0
続いて、以下の式により水平方向の線形補間により、予測残差deltaを導出する。
delta = (w0 * refResSample[xR0, yR0] + w1 * refResSample[xR0+1, yR0] + 2)>>2
ここで、xR0, xR1, yR0は、以下の式で導出される残差の座標である。
xR0 = Clip3(0, PicWidthInSampleL-1, xP + x + (mvDisp[0]>>2))
xR1 = Clip3(0, PicWidthInSampleL-1, xR0 + 1)
yR0 = Clip3(0, PicHeightInSampleL-1, yP + y + ((mvDisp[1]+2)>>2))
図６８は、残差予測部３０９２Ｂの動作を説明するフローチャートである。
Ｓ４００１ 変位導出部３０９２１１Ｂにおいて変位ベクトルｍｖＤｉｓｐを導出する。
Ｓ４００２ 予測ブロック内の画素に対するループの開始。予測ブロックがnW×nHのブロックで有れば、nW×nH回だけループする。
Ｓ４００３ 予測ブロックが輝度成分であるか、色差成分であるかを判定し、輝度成分であれば、Ｓ４００４に遷移する。色差成分であれば、Ｓ４００５に遷移する。
Ｓ４００４ 輝度残差取得部３０９２１２Ｂにおいて、輝度の残差を複数個取得する。
Ｓ４００５ 輝度残差補間部３０９２２１Ｂにおいて、変位ベクトルｍｖＤｉｓｐの小数成分に基づいて複数個取得した残差を補間し予測残差を導出する。
Ｓ４００６ 色差残差取得部３０９２１３Ｂにおいて、色差の残差を１個取得し予測残差を導出する。
Ｓ４００７ 輝度残差加算部３０９２２２Ｂもしくは色差残差加算部３０９２２４Ｂにおいて、Ｓ４００５もしくはＳ４００６で導出した予測残差を予測画像に加算する。
Ｓ４００８ 予測ブロック内の画素に対するループの終了
以上の構成の残差予測部３０９２Ｂによれば、予測残差の導出において、輝度成分において、水平成分に対して残差の線形補間を行い、垂直成分に対して残差の線形補間を行わない。予測残差の導出に用いる処理量を削減する効果を奏する。また、垂直方向の線形補間に必要とされた予備領域がなくなり参照範囲が小さくなるため、残差の転送量を削減する効果を奏する。
以下、残差予測部３０９２の別の変形例を説明する。変形例の残差予測部３０９２Ｃは、輝度成分および色差成分に対して残差予測を行う際に、輝度成分と色差成分に応じて異なる制限を用いて（クリップ）を用いて、残差成分を参照することを特徴とする。
図６９は、残差予測部３０９２Ｃの構成を示す図である。残差予測部３０９２Ｃは、残差取得部３０９２１Ｃ、残差フィルタ部３０９２２Ｃを備える。残差取得部３０９２１Ｃは変位導出部３０９２１１Ｃ、輝度残差取得部３０９２１２Ｃ、色差残差取得部３０９２１３Ｃを備える。残差フィルタ部３０９２２Ｃは、輝度残差補間部３０９２２１Ｃ、輝度残差加算部３０９２２２Ｃ、色差残差加算部３０９２２４Ｃを備える。
変位導出部３０９２１１Ｃは、対象ブロックに隣接するブロックのベクトルを参照し、変位ベクトルｍｖＤｉｓｐを導出し、輝度残差取得部３０９２１２Ｃ、色差残差取得部３０９２１３Ｃ、輝度残差補間部３０９２２１Ｃに出力する。
輝度残差補間部３０９２２１Ｃは、輝度成分の水平方向重み係数w0, w1、垂直方向重み係数w2, w3を、変位ベクトルｍｖＤｉｓｐの小数精度に基づいて以下の式で導出する。
w0 = mvDisp[0] & 3
w1 = 4 -w0
w2 = mvDisp[1] & 3
w3 = 4 -w2
輝度残差補間部３０９２２１Ｃは、以下の式により水平方向および垂直方向の線形補間により、予測残差deltaを導出する。
delta =
(w2*(w0 * refResSampleX[xR0, yR0] + w1 * refResSampleX[xR0+1, yR0] + 2)>>2)+
w3*(w0 * refResSampleX[xR0, yR1] + w1 * refResSampleX[xR0+1, yR1] + 2)>>2)+2)>>2
refResSample[]は、輝度残差取得部３０９２１２Ｃにより取得される残差である。ここで、xR0, xR1, yR0, yR1は、変位ベクトルｍｖＤｉｓｐの整数成分に基づいて導出される参照先となる残差の座標である。
輝度残差取得部３０９２１２Ｃは、残差格納部３１３から残差を参照する際に、以下の式により残差の値域の制限（クリップ）を行う。
refResSampleX[x, y] = Clip3(lmin, lmax, refResSample[x, y])
ここで、xmin, xmaxは以下の式を用いる。
lmin = -(1<<(bitDepthY -KY))
lmax = 1<<(bitDepthY -KY)
ここでKYは定数であり1,2,3,4のいずれかであるとする。
色差成分では、色差残差取得部３０９２１３Ｃは、以下の式により予測残差deltaCを導出する。
deltaC = refResSampleCX[xRC0, yRC0]
ここで、xRC0, xRC1は既に説明した式により導出される残差の座標である。refResSampleXCは、以下の式によりクリップされた後の残差である。
色差残差取得部３０９２１３Ｃは、残差格納部３１３から残差を参照する際に、輝度とは異なるクリップ範囲で得られた残差により、以下の式により予測残差deltaCを導出する。
refResSampleXC [x, y] = Clip3(cmin, cmax, refResSampleC[x, y])
ここで、cmin, cmaxは以下の式を用いる。
cmin = -(1<<(bitDepthC -KC))
cmax = 1<<(bitDepthC -KC)
ここで、KCは、KC>KYを満たす整数である。
図７０は、残差予測部３０９２Ｃの動作を説明するフローチャートである。
Ｓ４１０１ 変位導出部３０９２１１Ｃにおいて変位ベクトルｍｖＤｉｓｐを導出する。
Ｓ４１０２ 予測ブロック内の画素に対するループの開始。予測ブロックがnW×nHのブロックで有れば、nW×nH回だけループする。
Ｓ４１０３ 予測ブロックが輝度成分であるか、色差成分であるかを判定し、輝度成分であれば、Ｓ４１０４に遷移する。色差成分であれば、Ｓ４１０５に遷移する。
Ｓ４１０４ 輝度残差取得部３０９２１２Ｃにおいて、輝度残差のクリップ範囲を導出する。
Ｓ４１０５ 輝度残差取得部３０９２１２Ｃにおいて、導出したクリップ範囲に制限して、残差格納部３１３から輝度の残差を参照する。参照した残差から予測残差を導出する。
Ｓ４１０６ 色差残差取得部３０９２１２Ｃにおいて、色差残差のクリップ範囲を導出する。
Ｓ４１０７ 色差残差取得部３０９２１２Ｃにおいて、導出したクリップ範囲に制限して、残差格納部３１３から色差の残差を参照する。参照した残差から予測残差を導出する。
Ｓ４１０８ 輝度残差加算部３０９２２２Ｃもしくは色差残差加算部３０９２２４Ｃにおいて、Ｓ４１０５もしくはＳ４１０７で導出した予測残差を予測画像に加算する。
Ｓ４１０９ 予測ブロック内の画素に対するループの終了
以上の構成の残差予測部３０９２Ｃによれば、予測残差の導出において、色差成分の残差に必要なビット数を削減することができるため、色差成分の残差を格納するメモリサイズを低減する効果を奏する。
さらに特にKC=5とする場合、ビット深度が8ビットである色差成分の復号において、残差を４ビットで格納することができる。この場合、８ビットの範囲に２つの色差をパックして格納することが可能であるため、８ビット単位でアクセスされる一般のＲＡＭに残差を格納する場合において、メモリサイズを低減する効果を奏する。
以下、残差予測部３０９２のさらに別の変形例を説明する。変形例の残差予測部３０９２Ｄは、輝度成分においてのみ残差予測を行い、色差成分については残差予測を行わないことを特徴とする。
図７１は、残差予測部３０９２Ｄの構成を示す図である。残差予測部３０９２Ｄは、残差取得部３０９２１Ｄ、残差フィルタ部３０９２２Ｄを備える。残差取得部３０９２１Ｄは変位導出部３０９２１１Ｄ、輝度残差取得部３０９２１２Ｄを備える。残差フィルタ部３０９２２Ｄは、輝度残差補間部３０９２２１Ｄ、輝度残差加算部３０９２２２Ｄを備える。
変位導出部３０９２１１Ｄは、対象ブロックに隣接するブロックのベクトルを参照し、変位ベクトルｍｖＤｉｓｐを導出し、輝度残差取得部３０９２１２Ｄ、輝度残差補間部３０９２２１Ｄに出力する。
輝度残差補間部３０９２２１Ｄは、輝度成分の水平方向重み係数w0, w1、垂直方向重み係数w2, w3を、変位ベクトルｍｖＤｉｓｐの小数精度に基づいて以下の式で導出する。
w0 = mvDisp[0] & 3
w1 = 4 -w0
w2 = mvDisp[1] & 3
w3 = 4 -w2
輝度残差補間部３０９２２１Ｄは、以下の式により水平方向および垂直方向の線形補間により、予測残差deltaを導出する。
delta =
(w2*(w0 * refResSampleX[xR0, yR0] + w1 * refResSampleX[xR0+1, yR0] + 2)>>2)+
w3*(w0 * refResSampleX[xR0, yR1] + w1 * refResSampleX[xR0+1, yR1] + 2)>>2)+2)>>2
refResSample[]は、輝度残差取得部３０９２１２Ｄにより取得される残差である。ここで、xR0, xR1, yR0, yR1は、変位ベクトルｍｖＤｉｓｐの整数成分に基づいて導出される残差の座標である。
輝度残差取得部３０９２１２Ｄは、残差格納部３１３から残差を参照する際に、以下の式により残差の値域の制限（クリップ）を行う。
refResSampleX[x, y] = Clip3(lmin, lmax, refResSample[x, y])
ここで、xmin, xmaxは以下の式を用いる。
lmin = -(1<<(bitDepthY -KY))
lmax = 1<<(bitDepthY -KY)
ここでKYは定数であり1,2,3,4のいずれかであるとする。
輝度残差加算部３０９２２２Ｄは、残差予測前の予測画像predSampleLX[]に、予測残差deltaを加算し、残差予測後の予測画像predSampleLX´[]を取得する。
predSampleLX´[x, y] = predSampleLX[x, y] + delta
色差成分では、輝度とは異なり、残差予測を行わない。
図７２は、残差予測部３０９２Ｄの動作を説明するフローチャートである。
Ｓ４２０１ 変位導出部３０９２１１Ｄにおいて変位ベクトルｍｖＤｉｓｐを導出する。
Ｓ４２０２ 予測ブロックが輝度成分であるか、色差成分であるかを判定し、輝度成分であれば、Ｓ４２０３に遷移し残差予測を行う。色差成分であれば、残差予測を行わずＳ４２０７に遷移。
Ｓ４２０３ 予測ブロック内の画素に対するループの開始。予測ブロックがnW×nHのブロックで有れば、nW×nH回だけループする。
Ｓ４２０４ 残差格納部３１３から輝度の残差を参照し予測残差を導出する。
Ｓ４２０５ 輝度残差加算部３０９２２２Ｃにおいて、Ｓ４１０３で導出した予測残差を予測画像に加算する。
Ｓ４２０６ 予測ブロック内の画素に対するループの終了
Ｓ４２０７ 残差予測部３０９２Ｄの動作を終了
以上の構成の残差予測部３０９２Ｄによれば、予測残差の導出において、色差成分の残差を格納するメモリサイズを省略する効果を奏する。
（照度補償）
照度補償部３０９３は、照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、照度補償を行う。照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。照度補償は、予測画像生成の対象となる対象ブロックに隣接する隣接領域の動き変位画像の画素値と、隣接領域の復号画像の変化が、対象ブロック内の画素値と、対象ブロックの原画との変化に類似しているとの仮定に基づいて行われる。
照度補償部３０９３は、図示しない照度パラメータ推定部３０９３１と、照度補償フィルタ部３０９３２から構成される。
照度パラメータ推定部３０９３１は、対象ブロック（対象予測ユニット）の画素を、参照ブロックの画素から推定するための推定パラメータを求める。図１３は、照度補償を説明するための図である。図１３では、対象ブロックの周囲の画素Ｌと、対象ブロックから変位ベクトルだけずれた位置にある、参照レイヤ画像上の参照ブロックの周囲の画素Ｃの位置を示している。
照度パラメータ推定部３０９３１は、上記対象ブロックの周囲の画素Ｌ（Ｌ０〜ＬＮ−１）と上記参照ブロックの周囲の画素Ｃ（Ｃ０〜ＣＮ−１）から、推定パラメータ（照度変化パラメータ）ａとｂを最小２乗法を用いて以下の式より求める。
ＬＬ ＝ ΣＬｉ × Ｌｉ
ＬＣ ＝ ΣＬｉ × Ｃｉ
Ｌ ＝ ΣＬｉ
Ｃ ＝ ΣＣｉ
ａ ＝ （Ｎ＊ＬＣ - Ｌ＊Ｃ） ／ （Ｎ＊ＣＣ - Ｃ＊Ｃ）
ｂ ＝ （ＬＬ＊Ｃ - ＬＣ＊Ｌ） ／ （Ｎ＊ＣＣ - Ｃ＊Ｃ）
ここでΣはｉに対して和をとる関数。ｉは０〜Ｎ−１までの変数である。
以上は、推定パラメータが小数の場合であるため上記式も小数演算で行う必要がある。なお、装置としては、推定パラメータおよびパラメータの導出は整数であることが望ましい。
以下、推定パラメータが整数の場合を説明する。照度補償部３０９３は、以下の式により推定パラメータ（照度変化パラメータ）ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘを導出する。
ｋ３ ＝ Ｍａｘ（ ０， ｂｉｔＤｅｐｔｈ ＋ Ｌｏｇ２（ ｎＣｂＷ ＞＞ ｎＳｉｄｘ ） - １４ ）
ｋ２ ＝ Ｌｏｇ２（ （２＊（ｎＣｂＷ ＞＞ ｎＳｉｄｘ）） ＞＞ ｋ３ ）
ａ１ ＝ （ ＬＣ ＜＜ ｋ２ ） - Ｌ＊Ｃ
ａ２ ＝ （ ＬＬ ＜＜ ｋ２ ） - Ｌ＊Ｌ
ｋ１ ＝ Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ２ ） ） - ５ ） - Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ１ ） ） - １４ ） ＋ ２
ａ１ｓ ＝ ａ１ ＞＞ Ｍａｘ（０， Ｌｏｇ２（ ａｂｓ（ ａ１ ） ） - １４ ） ａ２ｓ ＝ ａｂｓ（ ａ２ ＞＞ Ｍａｘ（０， Ｌｏｇ２（ ａｂｓ（ ａ２ ） ） - ５ ） ）
ａ３ ＝ ａ２ｓ ＜ １ ？ ０ ： Ｃｌｉｐ３（ -２１５， ２１５-１， （ａ１ｓ＊ｉｃＤｉｖＣｏｅｆｆ ＋ （ １ ＜＜ （ ｋ１ - １ ） ） ） ＞＞ ｋ１ ）
ｉｃａｉｄｘ ＝ ａ３ ＞＞ Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ３ ） ） -６ ）
ｉｃｋｉｄｘ ＝ １３ - Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ｉｃａｉｄｘ）） - ６）
ｉｃｂｉｄｘ ＝ （ Ｌ - （ （ ｉｃａｉｄｘ＊Ｃ ） ＞＞ ｋ１ ） ＋ （ １ ＜＜ （ ｋ２ - １ ） ） ） ＞＞ ｋ２
ここで、ｂｉｔＤｅｐｔｈは、画素のビット幅（通常８〜１２）、ｎＣｂＷは、対象ブロックの幅、Ｍａｘ（ｘ，ｙ）はｘとｙの最大値を求める関数、Ｌｏｇ２（ｘ）はｘの２の対数を求める関数、ａｂｓ（ｘ）はｘの絶対値を求める関数である。また、ｉｃＤｉｖＣｏｅｆｆは、ａ２ｓを入力として所定の定数を導出する図４２に示すテーブルである。
照度補償部３０９３の備える照度補償フィルタ３０９３２は、照度パラメータ推定部３０９３１が導出した推定パラメータを用いて、対象画素から、照度変化を補償した画素を導出する。例えば、推定パラメータが小数ａ、ｂの場合には次の式により求める。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ ａ ＊ ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ｙ ］ ＋ ｂ
ここで、ｐｒｅｄＳａｍｐｌｅｓは対象ブロック中の座標（ｘ， ｙ）の画素である。
また、推定パラメータが上述の整数ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘの場合には次の式により求める。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） - １， （ （ （ （ｐｒｅｄＳａｍｐｌｅｓＬ０［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ１ ） ＞＞ ｓｈｉｆｔ１） ＊ ｉｃａ０） ＞＞ ｉｃｋ０） ＋ ｉｃｂ０ ）
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｂを説明する。
図７３は、照度補償部３０９３Ｂの構成を示すブロック図である。照度補償部３０９３は、照度補償部３０９３Ｂは、照度パラメータ推定部３０９３１Ｂと、照度補償フィルタ部３０９３２Ｂから構成される。照度パラメータ推定部３０９３１Ｂは、積算シフト値導出部３０９３１１Ｂ、積算値導出部３０９３１２Ｂ、加算値導出部３０９３１３Ｂ、第１パラメータ導出部３０９３１４Ｂ、第２パラメータ導出部３０９３１５Ｂ、パラメータａ導出部３０９３１６Ｂ、パラメータｂ導出部３０９３１７Ｂから構成される。
照度パラメータ推定部３０９３１Ｂは、図１３に示す参照レイヤ画像上の参照ブロックの周囲の画素Ｃを参照画像の画素値x[]、対象ブロックの周囲の画素Ｌを復号画像の画素値y[]とし、これら参照画像の画素値x[]と復号画像の画素値y[]に基づいて、復号画像の画素値y[]を参照画像の画素値xから線形予測する場合のパラメータであるパラメータａ、パラメータｂを導出する。
積算シフト値導出部３０９３１１Ｂは、積算シフト値precShiftを、以下の式（Ｂ−１）のように、画素のビット深度bitDepthが所定の定数（ここでは１２）を超える場合には、その超える値だけの積算シフト値precShiftを導出する。超えない場合には積算シフト値precShiftは０とする。
precShift = Max(0, bitDepth - 12) 式（Ｂ−１）
導出された積算シフト値precShiftは、積算値導出部３０９３１２Ｂ、第１パラメータ導出部３０９３１４Ｂ、第２パラメータ導出部３０９３１５Ｂに出力される。
加算値導出部３０９３１３Ｂは、復号画像の画素値yの和Yと参照画像の画素値xの和Xを、以下の式（Ｂ−２）式（Ｂ−３）により導出する。
積算値導出部３０９３１２Ｂは復号画像の画素値yと参照画像の画素値xの積の和XYと、参照画像の画素値の２乗の和XXを、以下の式（Ｂ−４）〜（Ｂ−５）により導出する。この時、積算値導出部３０９３１２Ｂは、復号画像の画素値yと参照画像の画素値xの積の和XYの導出時と、参照画像の画素値xの２乗の和XXの導出時には、積算シフト値precShiftだけ右シフトしてから加算する。以下の和の前にX、Y、XY、XXは0に初期化しておく。
X = Σx[i] 式（Ｂ−２）
Y = Σy[i] 式（Ｂ−３）
XX += Σ(x[i] * x[i])>>precShift 式（Ｂ−４）
XY += Σ(y[i] * y[i])>>precShift 式（Ｂ−５）
ここで、Σは、参照領域に対する和であり、参照領域の画素を特定するインデックスiに対する和を導出する。y[i]は、復号画像のインデックスiにおける画素値。x[i]は、参照画像のインデックスiにおける画素値。カウントシフト値iCountShiftは、参照領域のサイズ（画素数）の２の対数である。
iCountShift = log2 (参照領域の画素数) 式（Ｂ−６）
なお、従来は、以下の演算により積算値XX、XYを導出していた。
XX += Σ(x[i] * x[i]) 式（Ｂ−４´）
XY += Σ(x[i] * y[i]) 式（Ｂ−５´）
この場合、演算に必要なビット数は、画素のビット深度bitDepthの２倍に、参照領域のサイズの２の対数（カウントシフトiCountShiftの最大値）となる。ブロックサイズが最大値が64である場合、参照領域のサイズの最大値は128である。128の２の対数よりカウントシフトiCountShiftの最大値は7になる。従って必要なビット数は、bitDepth * 2 + 7になる。ここで、このビット数が32ビットで計算できる範囲を考慮すると、以下の式が得られる。
bitDepth * 2 + 7 <= 32
この式を解くとbitDepth <= 12が得られる。すなわち、bitDepthが12以下であれば32ビットを超えない。逆にbitDepthが12を超えると32ビットの範囲を超える。式（Ｂ−１）は、この結果から得られたものであり、bitDepthが12を超える場合には、超えた分に相当するbitDepth - 12を積算シフト値precShiftとして導出する。さらに、式（Ｂ−４）、式（Ｂ−５）では予め積算シフト値precShiftだけシフトしてから加算することにより、32ビットの範囲を超えることを防ぐ効果を奏する。
第１パラメータ導出部３０９３１４Ｂは、復号画像の画素値yと参照画像の画素値xの積の和XYと、復号画像の画素値の和Yと参照画像の画素値の和Xの積の差から第１パラメータa1を以下の式により導出する。
a1 = ( XY << iCountShift ) - (Y * X) >> precShift; 式（Ｂ−７）
式（Ｂ−７）に示すように、XYは、カウントシフト値iCountShiftだけ左シフト、YとXの積は積算シフト値precShiftだけ右シフトしてから差を算出する。
第２パラメータ導出部３０９３１５Ｂは、参照画像の画素値の２乗の和XXと、参照画像の画素値の和Xの２乗の差から第２パラメータa2を以下の式により導出する。
a2 = ( XX << iCountShift ) - (X * X) >> precShift; 式（Ｂ−８）
式（Ｂ−８）に示すように、XXは、カウントシフト値iCountShiftだけ左シフト、XとXの積は積算シフト値precShiftだけ右シフトしてから差を算出する。
第１パラメータ導出部３０９３１４Ｂと第２パラメータ導出部３０９３１５Ｂはさらには、カウントシフト値iCountShiftとビット深度bitDepthの２倍の和が所定の値（ここでは２７）以上の場合には、所定の固定パラメータシフト値（ここでは４）だけパラメータa1、パラメータa2を右シフトする。すなわち、以下のステップを実行する。
if (iCountShift + bitDepth * 2 >= 27) 式（Ｂ−９）
{
a1 >>= 4 式（Ｂ−１０）
a2 >>= 4 式（Ｂ−１１）
}
導出された第１パラメータa１と第２パラメータa2は、パラメータａ導出部３０９３１６Ｂに出力される。
図７４は、パラメータａ導出部３０９３１６Ｂの構成を示すブロック図である。パラメータａ導出部３０９３１６Ｂは、第１パラメータクリップ部３０９３１６１Ｂ、第１パラメータシフト部３０９３１６２Ｂ、第２パラメータシフト部３０９３１６３Ｂ、テーブルベースパラメータａ導出部３０９３１６４Ｂから構成される。
第１パラメータクリップ部３０９３１６１Ｂは、第１パラメータa1を第２パラメータa2の大きさに応じて制限する。例えば以下の式のように、a1を0以上、a2の2倍以下にクリップする。
a1 = Clip3(0, 2*a2, a1) 式（Ｂ−１２）
第１パラメータクリップ部３０９３１６１Ｂにより、a1 / a2の値は、0から2の間にクリップされる。従って、パラメータａの値であるa1 / a2 << iShiftの値も、0から2<<iShiftにクリップされる。すなわち、iShift=6の場合、パラメータａは0〜128となり、8ビット非負整数の範囲に入る。
第１パラメータシフト部３０９３１６２Ｂは、第１パラメータa1の大きさに応じて、以下の式により第１正規化シフト値iScaleShiftA1を導出する。導出された第１正規化シフト値iScaleShiftA1は、テーブルベースパラメータａ導出部３０９３１６４Ｂに出力される。
iScaleShiftA1 = Max(0, GetMSB( abs( a1 ) ) - 15) 式（Ｂ−１３）
第２パラメータシフト部３０９３１６３Ｂは、第２パラメータa2の大きさに応じて、以下の式により第２正規化シフト値iScaleShiftA2を導出する。導出された第２正規化シフト値iScaleShiftA2は、テーブルベースパラメータａ導出部３０９３１６４Ｂに出力される。
iScaleShiftA2 = Max(0, GetMSB( abs( a2 ) ) - 6) 式（Ｂ−１４）
第１パラメータシフト部３０９３１６２Ｂ、第２パラメータシフト部３０９３１６３Ｂは、第１パラメータa1を第１正規化シフト値iScaleShiftA1、第２パラメータa2を第２正規化シフト値iScaleShiftA2により右シフトし、正規化第１パラメータa1sと正規化第２パラメータa2sを導出する。
a1s = a1 >> iScaleShiftA1 式（Ｂ−１５）
a2s = a2 >> iScaleShiftA2 式（Ｂ−１６）
テーブルベースパラメータａ導出部３０９３１６４Ｂは、第１正規化シフト値iScaleShiftA1と第２正規化シフト値iScaleShiftA2の差に基づいて、以下の式によりパラメータａシフト値iScaleShiftAを導出する。
ScaleShiftA = iScaleShiftA2 - iScaleShiftA1 + 15 - iShift 式（Ｂ−１８）
テーブルベースパラメータａ導出部３０９３１６４Ｂは、正規化第２パラメータa2sに応じて定まる逆数テーブル値invTableを参照し、正規化第１パラメータa1sとの積をとりテーブルシフト値（ScaleShiftA）で右シフトすることにより、以下の式によりパラメータａを導出する。
a = (a1s * invTable[a2s]) >> (ScaleShiftA) 式（Ｂ−１９）
なお、テーブルシフト値iScaleShiftAが負の場合には、テーブルシフト値の絶対値だけ左シフトすることにより、以下の式で導出する。
a = (a1s * invTable[a2s]) << (-ScaleShiftA) 式（Ｂ−１９´）
図８４は、本実施形態で用いる逆数テーブル値invTable[]である。既に説明したように図８４の逆数invTable[x]は、インデックスxが０の場合に０となり、インデックスがxが０以外の場合には、所定の定数（ここでは2の15乗）Mをxで割って整数化した値から導出される。
パラメータａの値は、第１パラメータa1と第２パラメータa2の比(a1/a2をiShiftだけ左シフトした値に相当する)。
なお、第１パラメータクリップ部３０９３１６１Ｂの代わりに、パラメータａクリップ部を設け、以下の演算によりパラメータａの範囲を、8ビット非負変数となる、０以上、２５５以下にクリップしても良い。
a = Clip3(0, 255, a) 式（Ｂ−１２´）
なお、クリップの最大値は255以下、クリップの最小値は0以上であれば8ビット非負変数となるため、他の値でも良い。例えば、
a = Clip3(64, 128, a) 式（Ｂ−１２´´）
や、
a = Clip3(0, 128, a) 式（Ｂ−１２´´´）
などでも良い。但し、クリップの最大値は、1<<iShift以上とする。
導出されたパラメータａは、パラメータｂ導出部３０９３１７Ｂと照度補償フィルタ部３０９３２Ｂに出力される。
パラメータｂ導出部３０９３１７Ｂは、復号画像の画素値の和Yから、参照画像の画素値の和Xにパラメータａをかけて固定シフト値iShiftだけ右シフトした値を引いた値を、参照領域の画素数で割ることにより、以下の式によりパラメータｂを導出する。
b = ( Y - ( ( a * X ) >> iShift ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift 式（Ｂ−２０）
なお、iCountShiftの右シフトは、参照領域の画素数で割ることに相当する。
照度補償フィルタ部３０９３２Ｂは、照度パラメータ推定部３０９３１Ｂが導出した推定パラメータを用いて、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。例えば、パラメータｂを式（Ｂ−２０）により導出する場合には以下の式を用いる。
predSamples´[x][y] = ((a * predSamples[x][y]) >> iShift)+b 式（Ｂ−２１）
なお、パラメータｂ導出部３０９３１７Ｂの代わりに、パラメータｂ導出部３０９３１７Ｂの別の構成パラメータｂ導出部３０９３１７Ｂ´を用いても良い。この場合、復号画像の画素値の和Yを固定シフト値iShiftだけ左シフトした値から、参照画像の画素値の和Xにパラメータａをかけた値を引いた値を、参照画素の数で割ることにより、以下の式によりパラメータｂを導出しても良い。
b = ( (Y << iShift) - ( ( a * X ) ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift 式（Ｂ−２０´）
なお、画素のビット深度が8ビットの場合、画素値xの範囲は8ビット非負変数、パラメータａの範囲も8ビット非負変数の範囲となる、従ってソフトウェアでは最小のビット数である8ビット非負変数（Ｃ言語ではunsigned char）同士の演算で演算可能である。8ビット非負変数は、例えば128ビットレジスタを用いるSIMD演算において、16個同時にレジスタに格納し演算することができる。すなわち、16画素同時に処理することができるため、高速化の効果を奏する。
パラメータｂ導出部３０９３１７Ｂの代わりに、パラメータｂ導出部３０９３１７Ｂの別の構成であるパラメータｂ導出部３０９３１７Ｂ´を用いる場合には、照度補償フィルタ部３０９３２Ｂの代わりに、照度補償フィルタ部３０９３２Ｂの別の構成である照度補償フィルタ部３０９３２Ｂ´を用いる。照度補償フィルタ部３０９３２Ｂの別の構成である照度補償フィルタ部３０９３２Ｂ´は、照度補償前の予測画像predSamples []から、以下の式により、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = ((a * predSamples[x][y] + b) >> iShift) 式（Ｂ−２１´）
以下、上記の構成の特徴をまとめる。
上記照度パラメータ推定部３０９３１Ｂは、図８４に示すように、インデックスxが０の場合に０となるように逆数テーブルinvTable[x]を定義し、式（Ｂ−１９）、式（Ｂ−１９´）に示すように、このように定義した、逆数テーブルinvTable[x]を、参照画像の画素値の２乗を上記積算シフト値だけ右シフトした値の和XXと、参照画像の画素値の和Xの２乗を上記積算シフト値だけ右シフトした値から導出される第２パラメータ（正規化第２パラメータ）で引いた値に基づいてパラメータａを導出することにより、正規化第２パラメータ（正規化第２パラメータ）が０であるか否かに応じて、演算方法を変更しなくても適当なパラメータａを得ることができるため、処理量を削減する効果が得られる。なお、インデックスxが０以外の場合には、逆数テーブルinvTable[x]は、所定の値をxで除算した値を整数化した値を用いることが適当である。
上記照度パラメータ推定部３０９３１Ｂは、（Ｂ−１）、（Ｂ−４）、（Ｂ−５）、（Ｂ−７）、（Ｂ−８）に示すように、画素ビット深度に応じて積算シフト値precShiftを導出し、復号画像の画素値と参照画像の画素値の積を上記積算シフト値precShiftだけ右シフトした値の和XYと、参照画像の画素値の和Xと復号画像の画素値の和Yの積を上記積算シフト値だけ右シフトした値から導出される第１パラメータa1と、参照画像の画素値の２乗を上記積算シフト値だけ右シフトした値の和XXと、参照画像の画素値の和Xの２乗を上記積算シフト値だけ右シフトした値から導出される第２パラメータa2から、パラメータａを導出する。照度パラメータ推定部３０９３１Ｂでは、画素の積の和であるXYおよびXXを導出する場合において、画素の積に関する和をとる前に、画素ビット深度に応じて定まる積算シフト値で、画素の積を右シフトすることにより、所定の範囲、例えば３２ビットの範囲で第１パラメータと第２パラメータを導出することが可能であるため、処理が容易になる効果を奏する。
上記照度パラメータ推定部３０９３１Ｂは、（Ｂ−９）、（Ｂ−１０）、（Ｂ−１１）に示すように、第１パラメータ導出部３０９３１４Ｂと第２パラメータ導出部３０９３１５Ｂにおいて、画素ビット深度の２倍と、画素数の２の対数に対応する数との和が、所定の定数Ｎより大きい場合に、第１パラメータa1と第２パラメータa2を所定の固定パラメータシフト値で右シフトすることで、正規化する。照度パラメータ推定部３０９３１Ｂでは、第１パラメータa1と第２パラメータa2をビット数Ｎ以下で表現するため、例えば32ビット精度で演算する場合に、2の32-N乗未満の数をかけた場合にも、32ビットの範囲を超えないことを保障することができる。また、固定シフト値の右シフトであるのでシフト演算が容易になるという効果を奏する。
上記の照度補償フィルタ部３０９３２Ｂは、式（Ｂ−２１）、式（Ｂ−２１´）に示すように、固定値である所定の固定シフト定数iShiftを用いて右シフトするため、変数を用いて右シフトする場合に比べて、SIMD演算などによる処理が容易になる効果を奏する。
上記の照度補償フィルタ部３０９３２Ｂ´は、式（Ｂ−２１´）に示すように、傾き成分であるパラメータａと画素値predSamples[x][y]との積に対する、オフセット成分であるパラメータｂの加算を固定シフト定数iShiftによる右シフトの前に行うことにより、オフセット成分の加算を右シフトの後に行うよりも高い精度で演算でき性能が向上する効果を奏する。この場合、パラメータｂ導出部３０９３１７Ｂ´において、式（Ｂ−２０´）に示すように、参照画像の画素値の和Yを固定シフト値iShiftだけ左シフトした値から、パラメータａと復号画像の画素値の和Xの積を減じた値に基づいて、パラメータｂを導出することが好適である。
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｃを説明する。変形例の照度補償部３０９３Ｃは、照度パラメータ推定部３０９３１Ｃと、照度補償フィルタ部３０９３２Ｂから構成される。照度補償フィルタ部３０９３２Ｂは既に説明したので説明を省略する。照度パラメータ推定部３０９３１Ｃは、積算シフト値導出部３０９３１１Ｂ、積算値導出部３０９３１２Ｂ、加算値導出部３０９３１３Ｂ、第１パラメータ導出部３０９３１４Ｃ、第２パラメータ導出部３０９３１５Ｂ、パラメータａ導出部３０９３１６Ｂ、パラメータｂ導出部３０９３１７Ｂから構成される。第１パラメータ導出部３０９３１４Ｃ以外の構成要素は既に説明した通りであるので説明を省略する。
図７５は、パラメータａ導出部３０９３１６Ｃの構成を示すブロック図である。パラメータａ導出部３０９３１６Ｃは、第１パラメータクリップ部３０９３１６１Ｃ、共通シフト部３０９３１６２Ｃ、テーブルベースパラメータａ導出部３０９３１６４Ｃから構成される。
第１パラメータクリップ部３０９３１６１Ｃは、第１パラメータa1を第２パラメータa2の大きさに応じて制限する。例えば以下の式のように、a1をa2以上、a2の18/16倍以下にクリップする。
a1 = Clip3(a2, a2*18/16, a1) 式（Ｂ−１２）
共通シフト部３０９３１６２Ｃは、第２パラメータa2の大きさに応じて、以下の式により共通正規化シフト値iScaleShiftA2を導出する。
iScaleShiftA2 = Max(0, GetMSB( abs( a2 ) ) - 6) 式（Ｂ−１４´）
共通シフト部３０９３１６２Ｃは、第１パラメータa1と第２パラメータa2を同じ、共通正規化シフト値iScaleShiftA2により右シフトし、正規化第１パラメータa1sと正規化第２パラメータa2sを導出する。
a1s = a1 >> iScaleShiftA2 式（Ｂ−１５´）
a2s = a2 >> iScaleShiftA2 式（Ｂ−１６）
ここで、第１パラメータa1の正規化においては以下の式のように予め固定値であるa1シフト値ShiftA1（ここでは４）だけ左シフトしても良い。
a1s = (a1<< ShiftA1) >> iScaleShiftA2 式（Ｂ−１４´）
テーブルベースパラメータａ導出部３０９３１６４Ｃは、正規化第２パラメータa2sに応じて定まる逆数テーブル値invTableを参照し、正規化第１パラメータa1sとの積をとりテーブルシフト値（ここでは15-iShift）で右シフトすることにより、以下の式によりパラメータａを導出する。
a = (a1s * invTable[a2s]) >> (15-iShift) 式（Ｂ−１９´´）
ここでiShiftは固定シフト値（ここでは７）とする。ａの値は、第１パラメータa1と第２パラメータa2の比(a1/a2をiShiftだけ左シフトした値に相当する)。
なお、式（Ｂ−１４´）のように予め固定値ShiftA1だけ第１パラメータa1を左シフトしている場合には、式（Ｂ−１９´´）の代わりに以下の式を用いる。
a = (a1s * invTable[a2s]) >> (15＋ShiftA1-iShift) 式（Ｂ−１９´´）
以下、上記の構成の特徴をまとめる。
上記照度パラメータ推定部３０９３１Ｃの構成では、（Ｂ−１４´）、（Ｂ−１５´）、（Ｂ−１９´´）に示すように、第２パラメータa2の大きさに応じて定まる共通正規化シフト値iScaleShiftA2を導出し、第１パラメータa1と第２パラメータa2を共通正規化シフト値iScaleShiftA2で右シフトすることにより正規化第１パラメータa1sと正規化第２パラメータa2sを導出する。また、正規化第１パラメータa1sもしくは正規化第１パラメータa1sに所定の定数をかけた値と、正規化第２パラメータa2sからテーブルinvTable[]を参照することで定まるテーブル値invTable[a2s]との積を固定のシフト値だけ右シフトすることにより、パラメータａを導出することを特徴とする。上記の構成では、共通シフト部３０９３１６２Ｃにおいて、第１パラメータ、第２パラメータの両者を同じ正規化シフト値を用いて、値を正規化することため、第１パラメータシフト部３０９３１６２Ｂ、第２パラメータシフト部３０９３１６３Ｂで説明した第１パラメータと第２パラメータで異なる正規化パラメータを用いる場合に比べ処理が容易になるという効果を奏する。また、第１パラメータと第２パラメータで同じ正規化パラメータを用いることにより、テーブル値をかけた後のテーブルシフト値を固定値とすることができ、テーブルベースパラメータａ導出部３０９３１６４Ｃでパラメータａを導出する際の右シフト処理が容易になるという効果を奏する。
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｄを説明する。変形例の照度補償部３０９３Ｄは、照度パラメータ推定部３０９３１Ｄと、照度補償フィルタ部３０９３２Ｂから構成される。照度補償フィルタ部３０９３２Ｂは既に説明したので説明を省略する。
照度パラメータ推定部３０９３１Ｄは、積算シフト値導出部３０９３１１Ｂ、積算値導出部３０９３１２Ｂ、加算値導出部３０９３１３Ｂ、第１パラメータ導出部３０９３１４Ｄ、第２パラメータ導出部３０９３１５Ｂ、パラメータａ導出部３０９３１６Ｂ、パラメータｂ導出部３０９３１７Ｂから構成される。第１パラメータ導出部３０９３１４Ｄ以外の構成要素は既に説明した通りであるので説明を省略する。
図７６は、パラメータａ導出部３０９３１６Ｄの構成を示すブロック図である。パラメータａ導出部３０９３１６Ｄはパラメータ比較部３０９３１６４Ｄを含んで構成される。パラメータ比較部３０９３１６４Ｄは、第１パラメータa1に所定の値を乗じた値と第２パラメータa2に所定の値を乗じた値を乗じた値の比較によりパラメータａの値を導出する。例えば、以下の式により、
a = (16*a1 >= 17*a2) ? 17 : 16; 式（Ｂ−１９´´´）
なお、上記で(x) ? y : zは、式xが真の場合には y、偽の場合にはzを導出する関数である。
なお、パラメータ比較部３０９３１６４Ｄは、第１パラメータa1に所定の値を乗じた値と第２パラメータa2に所定の値を乗じた値を乗じた値の比較は複数回行っても良い。例えば、以下の式でパラメータａを導出しても良い。
a = (16*a1 >= 18*a2) ? 18 : (16*a1 >= 17*a2) ? 17 : 16 式（Ｂ−１９´´´）
上記照度パラメータ推定部３０９３１Ｄの構成では、復号画像の画素値と参照画像の画素値の積の和XYと、復号画像の画素値の和Yと参照画像の画素値の和Xの積から導出される第１パラメータa1から導出される値と、参照画像の画素値の２乗の和XXと、参照画像の画素値の和Xの２乗から導出される第２パラメータa2から導出される値との比較により、パラメータａを導出する。パラメータａ導出部３０９３１６Ｄでは、第１パラメータによる第２パラメータの商に相当するパラメータａを導出する際に、テーブルベースパラメータａ導出部３０９３１６４Ｂ、テーブルベースパラメータａ導出部３０９３１６４Ｃで説明した式（Ｂ−１９）、式（Ｂ−１９´）、式（Ｂ−１９´´）にあるような第２パラメータの逆数をテーブルinvTable[]を用いて導出する必要が無いため処理が容易になる効果を奏する。また、第２パラメータa2の逆数を所定のサイズのテーブルを用いて導出するためには、通常は、第２パラメータシフト部３０９３１６３Ｂ、共通シフト部３０９３１６２Ｃで説明したように、式（Ｂ−１６）に示すような第２パラメータを所定の範囲に抑えるための正規化が必要になるが、上記比較による方法では正規化処理が不要となる効果を奏する。また、第１パラメータと第２パラメータの逆数の積が所定の値を超えないためには、通常は、第１パラメータシフト部３０９３１６２Ｂ、共通シフト部３０９３１６２Ｃで説明したように、式（Ｂ−１５）、式（Ｂ−１５´）に示すような第１パラメータの正規化処理も必要であるが、上記比較による方法では不要になる効果を奏する。
（照度補償部３０９３Ｅ）
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｅを説明する。
図７７は、照度補償部３０９３Ｅの構成を示すブロック図である。照度補償部３０９３は、照度パラメータ推定部３０９３１Ｅと、照度補償フィルタ部３０９３２Ｂから構成される。照度パラメータ推定部３０９３１Ｅは、積算シフト値導出部３０９３１１Ｂ、積算値導出部３０９３１２Ｂ、加算値導出部３０９３１３Ｂ、第１パラメータ導出部３０９３１４Ｂ、第２パラメータ導出部３０９３１５Ｂ、パラメータａ導出部３０９３１６Ｂ、パラメータｂ導出部３０９３１７Ｂ、正則化項加算部３０９３１８Ｅから構成される。
正則化項加算部３０９３１８Ｅ以外の構成要素は既に説明した通りであるので説明を省略する。パラメータａ導出部３０９３１６Ｂの代わりに、パラメータａ導出部３０９３１６Ｃ、パラメータａ導出部３０９３１６Ｄを用いても良い。なお、パラメータａ、パラメータｂの導出方法は、上記説明に限定されない。
図７８は、正則化項加算部３０９３１８Ｅの構成を示すブロック図である。正則化項加算部３０９３１８Ｅは、正則化項導出部３０９３１８０Ｅ、第１パラメータ正則化項加算部３０９３１８１Ｅ、第２パラメータ正則化項加算部３０９３１８２Ｅから構成される。
正則化項導出部３０９３１８０Ｅは、正則化項acostを導出する。
acost ＝ XX >> ashift 式（Ｅ−１）
なお、ashiftは例えば発明者らの実験では4〜8の固定値が好適であることが確認されている。
第１パラメータ正則化項加算部３０９３１８１Ｅは、第１パラメータを導出に用いるパラメータ（例えばXY）に正則化項を加算する。
XY ＝ XY ＋ acost 式（Ｅ−２）
なお、この加算は、
第２パラメータ正則化項加算部３０９３１８２Ｅは、第２パラメータを導出に用いるパラメータ（例えばXX）に正則化項を加算する。
XX ＝ XX ＋ acost 式（Ｅ−３）
なお、正則化項の加算は、第１パラメータ導出部３０９３１４Ｂおよび、第２パラメータ導出部３０９３１５Ｂで行っても良い。この場合、第１パラメータ、第２パラメータは、式（Ｂ−７）式（Ｂ−８）の代わりに以下の式により導出される。
a1 = ( (XY + acost) << iCountShift ) - (Y * X) >> precShift; 式（Ｅ−２´）
a2 = ( (XX + acost) << iCountShift ) - (X * X) >> precShift; 式（Ｅ−３´）
上記照度パラメータ推定部３０９３１Ｅの構成では、復号画像の画素値yと参照画像の画素値xの積の和XYと、復号画像の画素値の和Yと参照画像の画素値の和Xの積の差から導出される第１パラメータa1を導出する際に、正則化項acostを加算し、さらに、参照画像の画素値の２乗の和XXと、参照画像の画素値の和Xの２乗の差から導出される第２パラメータa2を導出する際に同じ正則化項acostを加算する。正則化項が加算された第１パラメータa1と第２パラメータa2からパラメータａを導出する。これにより、線形予測の傾き成分に相当するパラメータａが実質的に1に近くなる（実際には固定シフト値iShiftを用いて、1<<iShiftに近くなる）ことにより、外れ値などがある場合において、推定されるパラメータが頑健になる。推定されるパラメータが頑健になることによって、照度補償の推定精度が向上し、符号化効率が向上する効果を奏する。
（正則化項の説明）
以下、正則化項の数学的意味を補足する。入力データ列(xi,yi)が与えられた場合に、xiからyiを以下の式により１次予測することを考える。
yi = a * xi + b 式（Ｅ−４）
この時、以下の予測誤差E（目的関数Ｅ）を最小化するパラメータａ、パラメータｂを最小２乗法により求めることが一般に行われる。
E = Σ(yi - a*xi - b)^2 式（Ｅ−５）
上記式を、パラメータａ、パラメータｂに関して各々偏微分を行って得られる式を０と置くと、予測誤差Ｅを最小化するパラメータａ、パラメータｂに関する式である正規方程式が求められる。正規方程式を解くと、パラメータａを導出する以下の式が得られる。
パラメータa = (Σxiyi -ΣxiΣyi) / (Σxixi -ΣxiΣxi) 式（Ｅ−６）
一般に、入力データ列(xi,yi)にばらつきが有る場合には、導出対象となるパラメータａ、パラメータｂが不要に大きくなることを防ぐような正則化項を導入することが行われる。この場合、予測誤差Eの代わりに、誤差E´を最小化する。
E = Σ(yi - a*xi - b)^2 + λ1*a^2+ λ2*a^2 式（Ｅ−５´）
この場合、パラメータａは以下の式により求められる。
パラメータa = (Σxiyi -ΣxiΣyi) / (Σxixi -ΣxiΣxi＋λ1) 式（Ｅ−６´´）
ところで、照度予測の場合には、xi、yiはともに同じオブジェクトの画素値であることから、パラメータaは１に近いことが予想される。従って、単純にパラメータａの大きさを０に近づけるような正則化項（λ1*a^2）を用いる予測誤差E´の代わりに、パラメータａの大きさを１に近づけるような正則化項（λ1*(a-1)^2）を用いる以下の予測誤差E´´を最小化することを考える。
E = Σ(yi - a*xi - b)^2 + λ1*(a-1)^2+ λ2*b^2 式（Ｅ−５´´）
上記式を、パラメータａ、パラメータｂに関して各々偏微分を行って得られる式を０と置くと、正規方程式が求められる。正規方程式を解くと、パラメータａを導出する以下の式が得られる。
パラメータa = (Σxiyi -ΣxiΣyi＋λ1) / (Σxixi -ΣxiΣxi＋λ1) 式（Ｅ−６´´）
上記式の右辺において、分子のΣxiyi -ΣxiΣyiが第１パラメータ、分母のΣxixi -ΣxiΣxiが第２パラメータに相当する。従って、第１パラメータ、第２パラメータに同じ正則化項λ１を加えることにより、パラメータａを１に近づける効果が得られる。なお、上記正則化項の効果は、ａ-1の２乗に比例することから、ａが１から大きく遠ざかるほど強くなり、ａが１に近い場合には殆ど正則化項の影響はなくなる。
（照度補償部３０９３Ｆ）
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｆを説明する。
図７９は、照度補償部３０９３Ｆの構成を示すブロック図である。照度補償部３０９３は、照度パラメータ推定部３０９３１Ｅと、照度補償フィルタ部３０９３２Ｆから構成される。照度パラメータ推定部３０９３１Ｅは既に説明したので説明を省略する。また、照度パラメータ推定部３０９３１Ｅに限定されず、他の推定方法を用いた照度パラメータ推定部でも良い。
照度補償フィルタ部３０９３２Ｆは、照度パラメータ推定部３０９３１Ｅが導出した推定パラメータを用いて、入力された予測画像がＬ０リストの参照リストを用いて導出された動き補償画像である場合に限定して照度補償を行う。具体的には、predFlagL0とpredFlagL1の値に応じて、以下の動作を行う。
predFlagL0が１、predFlagL1が０の場合には、以下の式により、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = ((a * predSamples[x][y]) >> iShift)+b
predFlagL0が０、predFlagL1が１の場合には、照度補償は適用しない。すなわち、以下の式のように照度補償フィルタ部３０９３２Ｆの入力となる予測画像predSamples []と出力の予測画像predSamples´[]は一致する。
predSamples´[x][y] = predSamples[x][y] 式（Ｂ−２１）
predFlagL0が１、predFlagL1が１の場合には、以下の式により、Ｌ０リストの参照ピクチャを予測画像する場合には、以下の式により、Ｌ０の照度補償前の予測画像predSamples L0 []から、Ｌ０の照度補償後の予測画像predSamples L0´[]を導出する。
predSamplesL0´[x][y] = ((a * predSamples[x][y]) >> iShift)+b
後述の重み予測部３０９４では、照度予測が適用されたＬ０の予測画像と、predSamplesL0´[x][y]と、照度予測が適用されないＬ１の予測画像predSamplesL１[x][y]とを用いて、例えば、以下の式により、予測画像が生成される。
predSamples´[x][y] = (predSamplesL0´[x][y] + predSamplesL1[x][y] + offset2)>> shift2）
ここでshift2、offset2は各々、shift2=15 - bitDepth、offset2=1<<(shift2-1)により導出する。
照度補償部３０９３Ｆでは、照度予測を用いる場合を、Ｌ０リストを用いた参照ピクチャから得られるが用いられる動き補償画像に限定する（Ｌ０限定）のため処理量を低減する効果を奏する（効果Ｆ５ｂ）。つまり、２つの参照画像に照度予測が行われるような処理量の大きい状況を避ける効果を奏する。単に双予測の場合に、照度補償を禁止する場合と異なり、双予測の場合にも、Ｌ０リストを用いた参照ピクチャに対して照度補償が行われるため、限定による性能低下が小さいこと（効果Ｆ５ｃ）が発明者の実験により得られている。
なお、双予測の場合に照度補償を禁止する構成の場合（照度補償部３０９３Ｆ´）は、以下の処理を行う。
predFlagL0が１、predFlagL1が０の場合には、以下の式により、照度補償前の予測画像predSamples[]から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = ((a * predSamples[x][y]) >> iShift)+b
なお、Ｌ０の予測画像predSamplesL0[x][y]であることを明示して、以下のように表現も可能である。
predSamplesL0´[x][y] = (a * predSamples L0 [x][y] >> iShift)+b
predFlagL0が０、predFlagL1が１の場合には、以下の式により、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = ((a * predSamples[x][y]) >> iShift)+b
なお、Ｌ１の予測画像predSamplesL1[x][y]であることを明示して、以下のように表現も可能である。
predSamplesL1´[x][y] = (a * predSamples L1 [x][y] >> iShift)+b
predFlagL0が１、predFlagL1が１の場合には、後述の重み予測部３０９４において、照度予測が適用されないＬ０の予測画像predSamplesL0[x][y]と、照度予測が適用されないＬ１の予測画像predSamplesL１[x][y]とを用いて、例えば、以下の式により、予測画像が生成される。
predSamples[x][y] = (predSamplesL0[x][y] + predSamplesL1[x][y] + offset2)>> shift2
この場合は、双予測の場合には照度予測が行われないが、２つの参照画像に照度予測が行われるような処理量の大きい状況を避ける効果（効果Ｆ５ｂ）を有する。
（照度補償部３０９３Ｇ）
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｇを説明する。照度補償部３０９３Ｇは、照度補償部３０９３Ｆと同様、Ｌ０制限を行うが、照度補償の予測式がオフセット成分のみ（パラメータｂのみ）である点が、照度補償部３０９３Ｆとは異なる。
図８３は、照度補償部３０９３Ｇの構成を示すブロック図である。照度補償部３０９３は、照度パラメータ推定部３０９３１Ｇと、照度補償フィルタ部３０９３２Ｇから構成される。照度パラメータ推定部３０９３１Ｇは、加算値導出部３０９３１３Ｂ、パラメータｂ導出部３０９３１７Ｇから構成される。

照度パラメータ推定部３０９３１Ｇは、図１３に示す参照レイヤ画像上の参照ブロックの周囲の画素Ｃを参照画像の画素値x[]、対象ブロックの周囲の画素Ｌを復号画像の画素値y[]とし、これら参照画像の画素値x[]と復号画像の画素値y[]に基づいて、復号画像の画素値y[]を参照画像の画素値xからオフセットを加算して予測する場合のパラメータであるパラメータｂを導出する。
加算値導出部３０９３１３Ｂは、復号画像の画素値の和Yと参照画像の画素値の和Xを、既に説明した式（Ｂ−２）式（Ｂ−３）により導出する。
パラメータｂ導出部３０９３１７Ｇは、復号画像の画素値の和Yから、参照画像の画素値の和Xを引いた値を、参照領域の画素数で割ることにより、以下の式によりパラメータｂを導出する。
b = ( Y - X ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift
なお、iCountShiftの右シフトは、参照領域の画素数で割ることに相当する。
照度補償フィルタ部３０９３２Ｇは、照度パラメータ推定部３０９３１Ｇが導出した推定パラメータを用いて、入力された予測画像がＬ０リストの参照リストを用いて導出された動き補償画像である場合に限定して照度補償を行う。具体的には、predFlagL0とpredFlagL1の値に応じて、以下の動作を行う。
predFlagL0が１、predFlagL1が０の場合には、以下の式により、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = predSamples[x][y]+b
predFlagL0が０、predFlagL1が１の場合には、照度補償は適用しない。すなわち、以下の式のように照度補償フィルタ部３０９３２Ｇの入力となる予測画像predSamples []と出力の予測画像predSamples´[]は一致する。
predSamples´[x][y] = predSamples[x][y]
predFlagL0が１、predFlagL1が１の場合には、以下の式により、Ｌ０リストの参照ピクチャを予測画像する場合には、以下の式により、Ｌ０の照度補償前の予測画像predSamples L0 []から、Ｌ０の照度補償後の予測画像predSamples L0´[]を導出する。
predSamplesL0´[x][y] = predSamples[x][y]+b
後述の重み予測部３０９４では、照度予測が適用されたＬ０の予測画像と、predSamplesL0´[x][y]と、照度予測が適用されないＬ１の予測画像predSamplesL１[x][y]とを用いて、例えば、以下の式により、予測画像が生成される。
predSamples´[x][y] = (predSamplesL0´[x][y] + predSamplesL1[x][y] + offset2)>> shift2 式（Ｂ−２１ＢＩ）
ここでshift2、offset2は各々、shift2=15 - bitDepth、offset2=1<<(shift2-1)により導出する。
照度補償部３０９３Ｇでは、照度予測を用いる場合をＬ０リストを用いた参照ピクチャが用いられる動き補償画像に限定する（Ｌ０限定）のため処理量を低減する効果を奏する（効果Ｆ５ｂ）。つまり、２つの参照画像に照度予測が行われるような処理量の大きい状況を避ける効果を奏する。単に双予測の場合に、照度補償を禁止する場合と異なり、双予測の場合にも、Ｌ０リストを用いた参照ピクチャに対して照度補償が行われるため、限定による性能低下が小さいこと（効果Ｆ５ｃ）が発明者の実験により得られている。
なお、双予測の場合に照度補償を禁止する構成の場合（照度補償部３０９３Ｇ´）は、以下の処理を行う。
predFlagL0が１、predFlagL1が０の場合には、以下の式により、照度補償前の予測画像predSamples[]から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = predSamples[x][y] +b
なお、Ｌ０の予測画像predSamplesL0[x][y]であることを明示して、以下のように表現も可能である。
predSamplesL0´[x][y] = predSamplesL0 [x][y]+b
predFlagL0が０、predFlagL1が１の場合には、以下の式により、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。
predSamples´[x][y] = predSamples[x][y]+b
なお、Ｌ１の予測画像predSamplesL1[x][y]であることを明示して、以下のように表現も可能である。
predSamplesL1´[x][y] = predSamples L1 [x][y]+b
predFlagL0が１、predFlagL1が１の場合には、後述の重み予測部３０９４において、照度予測が適用されないＬ０の予測画像predSamplesL0[x][y]と、照度予測が適用されないＬ１の予測画像predSamplesL１[x][y]とを用いて、例えば、以下の式により、予測画像が生成される。
predSamples[x][y] = (predSamplesL0[x][y] + predSamplesL1[x][y] + offset2)>> shift2
この場合は、双予測の場合には照度予測が行われないが、２つの参照画像に照度予測が行われるような処理量の大きい状況を避ける効果（効果Ｆ５ｃ）を有する。
（照度補償部３０９３Ｈ）
以下、照度補償部３０９３の変形例である照度補償部３０９３Ｈを説明する。
図８５は、照度補償部３０９３Ｈの構成を示すブロック図である。照度補償部３０９３は、照度パラメータ推定部３０９３１Ｈと、照度補償フィルタ部３０９３２Ｂから構成される。照度パラメータ推定部３０９３１Ｈは、加算値導出部３０９３１３Ｈ、第１パラメータ導出部３０９３１４Ｈ、第２パラメータ導出部３０９３１５Ｈ、パラメータａ導出部３０９３１６Ｈ、パラメータｂ導出部３０９３１７Ｈ、正則化項加算部３０９３１８Ｈから構成される。
照度パラメータ推定部３０９３１Ｈは、図１３に示す参照レイヤ画像上の参照ブロックの周囲の画素Ｃを参照画像の画素値x[]、対象ブロックの周囲の画素Ｌを復号画像の画素値y[]とし、これら参照画像の画素値x[]と復号画像の画素値y[]に基づいて、復号画像の画素値y[]を参照画像の画素値xから予測する場合のパラメータであるパラメータａとパラメータｂを導出する。
加算値導出部３０９３１３Ｈは、復号画像の画素値yの和Yと参照画像の画素値xの和Xを、以下の式（Ｂ−２）式（Ｂ−３）により導出する。
X = Σx[i] 式（Ｂ−２）
Y = Σy[i] 式（Ｂ−３）
ここで、Σは、参照領域に対する和であり、参照領域の画素を特定するインデックスiに対する和を導出する。y[i]は、復号画像のインデックスiにおける画素値であり、x[i]は、参照画像のインデックスiにおける画素値である。カウントシフト値iCountShiftは、参照領域のサイズ（画素数）の２の対数である。
iCountShift = log2 (参照領域の画素数) 式（Ｂ−６）
第１パラメータ導出部３０９３１４Ｈは、復号画像の画素値yの和Yから第１パラメータa1を以下の式により導出する。
a1 = Y; 式（Ｂ−７´）
第２パラメータ導出部３０９３１５Ｈは、参照画像の画素値xの和Xから第２パラメータa2を以下の式により導出する。
a2 = X; 式（Ｂ−８´）
導出された第１パラメータa１と第２パラメータa2は、パラメータａ導出部３０９３１６Ｈに出力される。
正則化加算部３０９３１８Ｈは、参照画像の画素値xの和Xから正則化項acostを導出する。
acost ＝ X >> ashift 式（Ｅ−１´）
ここで、ashiftは所定の定数であり、右シフトにより正則化項acostの大きさを調整するために用いられる。
なお、通常の画像では、参照画像の画素値xの和Xと復号画像の画素値yの和Yはほぼ等しいため、復号画像の画素値yの和Yから正則化項acostを導出しても良い。
acost ＝ Y >> ashift 式（Ｅ−１´´）
正則化項加算部３０９３１８Ｅは、第１パラメータを導出に用いるパラメータ（例えばY）に正則化項を加算する。
Y ＝ Y ＋ acost 式（Ｈ−２）
なお、この加算は、
正則化項加算部３０９３１８Ｅは、第２パラメータを導出に用いるパラメータ（例えばX）に正則化項を加算する。
X ＝ X ＋ acost 式（Ｈ−３）
なお、正則化項の加算は、第１パラメータ導出部３０９３１４Ｂおよび、第２パラメータ導出部３０９３１５Ｂで行っても良い。この場合、第１パラメータ、第２パラメータは、式（Ｂ−７´）式（Ｂ−８´）の代わりに以下の式により導出される。
a1 = Y + acost 式（Ｅ−２´´） a2 = X + acost 式（Ｅ−３´´）
図８６は、パラメータａ導出部３０９３１６Ｈの構成を示すブロック図である。パラメータａ導出部３０９３１６Ｈは、パラメータクリップ部３０９３１６１Ｈ、第２正規化シフト部３０９３１６３Ｈ、テーブルベースパラメータａ導出部３０９３１６４Ｈから構成される。
第２正規化シフト部３０９３１６３Ｈは、第２パラメータa2の大きさに応じて、以下の式により第２正規化シフト値iScaleShiftA2を導出する。導出された第２正規化シフト値iScaleShiftA2は、テーブルベースパラメータａ導出部３０９３１６４Ｈに出力される。
iScaleShiftA2 = Max(0, GetMSB( abs( a2 ) ) - 6) 式（Ｂ−１４）
第２正規化シフト部３０９３１６３Ｈは、第２パラメータa2を第２正規化シフト値iScaleShiftA2により右シフトし、正規化第２パラメータa2sを導出する。
a2s = a2 >> iScaleShiftA2 式（Ｂ−１６）
テーブルベースパラメータａ導出部３０９３１６４Ｈは、以下の式によりパラメータａシフト値iScaleShiftAを導出する。
ScaleShiftA = iScaleShiftA2 + 15 - iShift 式（Ｂ−１８´）
テーブルベースパラメータａ導出部３０９３１６４Ｈは、正規化第２パラメータa2sに応じて定まる逆数テーブル値invTableを参照し、正規化第１パラメータa1との積をとりテーブルシフト値（ScaleShiftA）で右シフトすることにより、以下の式によりパラメータａを導出する。
a = (a1 * invTable[a2s]) >> (ScaleShiftA) 式（Ｂ−１９）
図８４は、本実施形態で用いる逆数テーブル値invTable[]である。既に説明したように図８４の逆数invTable[x]は、インデックスxが０の場合に０となり、インデックスxが０以外の場合には、所定の定数M（ここでは2の15乗）をxで割って整数化した値から導出される。
パラメータａの値は、第１パラメータa1と第２パラメータa2の比(a1/a2をiShiftだけ左シフトした値)に相当する。
パラメータクリップ部３０９３１６１Ｈは、以下の演算によりパラメータａの範囲を、8ビット非負変数となる、0以上、255以下にクリップする。
a = Clip3(0, 255, a) 式（Ｂ−１２´）
パラメータｂ導出部３０９３１７Ｈは、復号画像の画素値の和Yから、参照画像の画素値の和Xにパラメータａをかけて固定シフト値iShiftだけ右シフトした値を引いた値を、参照領域の画素数で割ることにより、以下の式によりパラメータｂを導出する。
b = ( Y - ( ( a * X ) >> iShift ) + ( 1 << ( iCountShift - 1 ) ) ) >> iCountShift 式（Ｂ−２０）
なお、iCountShiftの右シフトは、参照領域の画素数で割ることに相当する。固定シフト値としては４から７の値、例えば５を用いることが適当である。
照度補償フィルタ部３０９３２Ｂは、照度パラメータ推定部３０９３１Ｂが導出した推定パラメータを用いて、照度補償前の予測画像predSamples []から、照度補償後の予測画像predSamples´[]を導出する。例えば、パラメータｂを式（Ｂ−２０）により導出する場合には以下の式を用いる。
predSamples´[x][y] = ((a * predSamples[x][y]) >> iShift)+b 式（Ｂ−２１）
上記照度パラメータ推定部３０９３１Ｈの構成では、同じ正則化項を第１パラメータa1と第２パラメータa2に加算してから、第１パラメータa1と第２パラメータa2の比に相当する値のパラメータａを算出することによって、外れ値などがある場合において、推定されるパラメータが頑健になり、符号化効率が向上する効果を奏する。なお、正則化項は、参照画像の画素値xの和Xから生成しても良いし、復号画像の画素値yの和Yから生成しても良い。
上記照度パラメータ推定部３０９３１Ｈの構成では、復号画像の画素値xの和Xから導出される第２パラメータのみを正規化し、復号画像の画素値yの和Yから導出される第１パラメータを正規化しないため、テーブルシフト値ScaleShiftAが必ず０以上になる。そのためテーブルシフト値ScaleShiftAが０以上であるか（正であるか）否かに応じて、右シフトである式（Ｂ−１９）と左シフトである式（Ｂ−１９´）で切り替えることなく、右シフトのみで導出することができる。
上記照度パラメータ推定部３０９３１Ｈの構成では、図８４に示すように、インデックスxが０の場合に０となるように逆数テーブルinvTable[x]を定義し、このように定義した、逆数テーブルinvTable[x]を、復号画像の画素値yの和Yから導出される第２パラメータ（正規化第２パラメータ）で引いた値に基づいてパラメータａを導出することにより、第２パラメータ（正規化第２パラメータ）が０であるか否かに応じて、演算方法を変更しなくても適当なパラメータａを得ることができるため、処理量が削減されるという効果を奏する。
上記照度パラメータ推定部３０９３１Ｈの構成では、パラメータクリップ部３０９３１６１Ｈにより、パラメータａを８ビット非負整数の範囲にクリップすることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット非負整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
なお、照度補償部３０９３Ｈの別の構成として、照度補償部３０９３内の、照度パラメータ推定部３０９３１Ｈにおいて、パラメータａ導出部３０９３１６Ｈの代わりに、パラメータａ導出部３０９３１６Ｈ２を用いる構成も可能である。
図８７は、パラメータａ導出部３０９３１６Ｈ２の構成を示すブロック図である。パラメータａ導出部３０９３１６Ｈ２は、パラメータクリップ部３０９３１６１Ｈ、除算パラメータａ導出部３０９３１６５Ｈから構成される。
除算パラメータａ導出部３０９３１６５Ｈは、第１パラメータと第２パラメータの比により、以下の式によりパラメータａを導出する。
a = (a1 + a2/2) / a2 式（Ｂ−１９´）
パラメータクリップ部３０９３１６１Ｈは、既に説明したように、パラメータａの範囲を、8ビット非負変数の範囲にクリップする。
上記照度パラメータ推定部３０９３１Ｈ２の構成では、同じ正則化項を第１パラメータa1と第２パラメータa2に加算してから、第１パラメータa1と第２パラメータa2の比に相当する値のパラメータａを算出することによって、外れ値などがある場合において、推定されるパラメータが頑健になり、符号化効率が向上する効果を奏する。
上記照度パラメータ推定部３０９３１Ｈの構成では、パラメータクリップ部３０９３１６１Ｈにより、パラメータａを８ビット非負整数の範囲にクリップすることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット非負整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
パラメータａ導出部３０９３１６Ｈ２は、パラメータａ導出部３０９３１６Ｈと異なり、パラメータａの導出に除算を用いる。除算は比較的処理が複雑な演算であるが、その分パラメータａの精度が向上するため、符号化効率が高くなるという効果を奏する。
（重み予測）
重み予測部３０９４は、入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（単予測の場合）で、重み予測を用いない場合には入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸ（ＬＸはＬ０もしくはＬ１）を画素ビット数に合わせる以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） - １， （ ｐｒｅｄＳａｍｐｌｅｓＬＸ［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ１ ） ＞＞ ｓｈｉｆｔ１ ）
ここで、ｓｈｉｆｔ１＝１４−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ１＝１＜＜（ｓｈｉｆｔ１−１）である。
また、参照リスト利用フラグの両者（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬ０、ｐｒｅｄＳａｍｐｌｅｓＬ１を平均し画素ビット数に合わせる以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） - １， （ ｐｒｅｄＳａｍｐｌｅｓＬ０［ ｘ ］［ ｙ ］ ＋ ｐｒｅｄＳａｍｐｌｅｓＬ１［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ２ ） ＞＞ ｓｈｉｆｔ２ ）
ここで、ｓｈｉｆｔ２＝１５−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ２＝１＜＜（ｓｈｉｆｔ２−１）である。
さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０とオフセットｏ０を導出し、以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） - １， （ （ｐｒｅｄＳａｍｐｌｅｓＬＸ［ ｘ ］［ ｙ ］ ＊ ｗ０ ＋ ２ｌｏｇ２ＷＤ - １） ＞＞ ｌｏｇ２ＷＤ ） ＋ ｏ０ ）
ここで、ｌｏｇ２ＷＤは所定のシフト量を示す変数である。
さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０、ｗ１、ｏ０、ｏ１を導出し、以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） - １， （ ｐｒｅｄＳａｍｐｌｅｓＬ０ ［ ｘ ］［ ｙ ］ ＊ ｗ０ ＋ ｐｒｅｄＳａｍｐｌｅｓＬ１［ ｘ ］［ ｙ ］ ＊ ｗ１ ＋ （（ｏ０ ＋ ｏ１ ＋ １） ＜＜ ｌｏｇ２ＷＤ） ） ＞＞ （ｌｏｇ２ＷＤ ＋ １） ）
（追加予測フラグを含む符号化データの構成）
図１４（ａ）は、インター予測パラメータ復号制御部３０３１で復号される符号化データの構成（符号化ユニットの構成）を示す図である。図１４（ａ）に示すように、追加予測フラグｘｐｒｅｄ＿ｆｌａｇは、符号化ユニット（ＣＵ）構造で、ＰｒｅｄＭｏｄｅ、ＳｋｉｐＦｌａｇの後の、予測ユニットＰＵの後に符号化される。追加予測フラグｘｐｒｅｄ＿ｆｌａｇは、追加予測フラグｘｐｒｅｄ＿ｆｌａｇより前に位置する予測ユニットのシンタックス要素により指定される各ＰＵの予測パラメータが所定の値である場合に、符号化データ中に存在する。逆に所定の値ではない場合には存在しない。
図１４（ｂ）は、各予測ユニットの符号化データの構成を示す図である。ＰＵは、ｍｅｒｇｅ＿ｍｏｄｅを含む。ｍｅｒｇｅ＿ｍｏｄｅが１、すなわち、マージ予測モードの場合にはｍｅｒｇｅ＿ｉｄｘを含む。ｍｅｒｇｅ＿ｍｏｄｅが０、すなわち、ＡＭＶＰ予測モードの場合には、ｍｅｒｇｅ＿ｉｄｘの代わりに、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ及びｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｐ＿ｉｄｘ＿ｌ１、ｍｖｄ＿ｌ１を含む。ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘはＰｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿Ｂｉのいずれかの値をとり、各々Ｌ０予測、Ｌ１予測、双予測を示す。Ｌ０予測および双予測の場合に、Ｌ０予測に関する予測パラメータｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０が含まれ、Ｌ１予測および双予測の場合に、Ｌ１予測に関する予測パラメータｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０が含まれる。
図１５は、追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。図中のｃｏｄｉｎｇ＿ｕｎｉｔは、本シンタックステーブルが符号化ユニットの符号化データであることを示す。まずｓｌｉｃｅ＿ｔｙｐｅがＩ＿ＳＬＩＣＥ以外の場合にはＣＵヘッダＣＵＨにｓｋｉｐ＿ｆｌａｇが存在するする。次に、ｓｋｉｐ＿ｆｌａｇが１の場合にはＰＵデータとしてｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）を含む。ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔではＰＵの符号化パラメータを含む。またｓｋｉｐ＿ｆｌａｇが０である場合でｓｌｉｃｅ＿ｔｙｐｅがＩ＿ＳＬＩＣＥ以外の場合には、ＣＵヘッダＣＵＨにｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが含まれる。ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇはイントラ予測を行う（ＭＯＤＥ＿ＩＮＴＲＡ）か、インター予測（ＭＯＤＥ＿ＩＮＴＲＡ）を行うかを示すフラグであり、復号後にＰｒｅｄＭｏｄｅに設定される。ＰｒｅｄＭｏｄｅがイントラ予測（ＭＯＤＥ＿ＩＮＴＲＡ）の場合の詳細な説明は省略する。ＰｒｅｄＭｏｄｅがインター予測（ＭＯＤＥ＿ＩＮＴＲＡ）の場合、ＣＵヘッダＣＵＨに分割モードｐａｒｔ＿ｍｏｄｅが含まれる。分割モードｐａｒｔ＿ｍｏｄｅは、復号後にＰａｒｔＭｏｄｅに設定される。分割モードは、ＰＡＲＴ＿２Ｎｘ２Ｎ、ＰＡＲＴ＿２ＮｘＮ、ＰＡＲＴ＿２ＮｘｎＵ、ＰＡＲＴ＿２ＮｘｎＤ、ＰＡＲＴ＿Ｎｘ２Ｎ、ＰＡＲＴ＿ｎＬｘ２Ｎ、ＰＡＲＴ＿ｎＲｘ２Ｎ、ＰＡＲＴ＿ＮｘＮのいずれかの値をとり、各々、１個、２個又は４個のＰＵデータｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）を含む。ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）の後に、ＣＵヘッダＣＵＨ（正確にはＣＵフッタ）として、追加予測フラグｘｐｒｅｄ＿ｆｌａｇとしてここでは、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇとｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが定義される。
図１５中のｄｅｐｔｈ＿ｆｌａｇは、対象レイヤがデプスであるかであるかであるか否かを示すフラグ、ｐｒｅｄ＿ｍｏｄｅはイントラ予測ＭＯＤＥ＿ＩＮＴＲＡであるかインター予測ＭＯＤＥ＿ＩＮＴＥＲであるかを示すフラグ、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓはＣＵを構成するＰＵで動き予測が使用されるかを示すフラグ、ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓはＣＵを構成するＰＵで変位予測（変位補償）が使用されるかを示すフラグである。図１５のＳＥ１５０１に示すように、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを含むか否かを示す判定式が！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ｐｒｅｄ＿ｍｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡ ＆＆ ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓと記述されるように、対象レイヤがデプスデータではなく、予測モードがイントラ予測以外で、いずれかのＰＵにおいて動き予測が使用される場合、追加予測フラグとしてｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを含む。なお！は論理否定を取る関数、＆＆は、論理積を取る関数である。また、図１５のＳＥ１５０２に示すように、ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを含むか否かを示す判定式が！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ｐｒｅｄ＿ｍｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡ ＆＆ ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓと記述されるように、対象レイヤがデプスデータではなく、予測モードがイントラ予測以外で、いずれかのＰＵにおいて変位予測が使用される場合、追加予測フラグとしてｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを含む。このような追加予測フラグ（ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇとｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）を含むか否かの判定は、後述の追加予測フラグ判定部３０３１４で行われる。
（追加予測フラグ判定部）
図１６は、追加予測フラグ判定部３０３１４の構成を示す概略図である。追加予測フラグ判定部３０３１４は、レイヤ判定部３０３１４１、全ＰＵパラメータ判定部３０３１４２を含んで構成される。レイヤ判定部３０３１４１は、対象レイヤが、ベースレイヤ（ベースビュー）であるか、ベースレイヤ（ベースビュー）でないかを判定し、さらに、対象レイヤが、デプスであるか、テクスチャであるかを判定する。レイヤ判定部３０３１４１は、対象レイヤがベースレイヤ（ベースビュー）ではなく、かつ、デプスではない場合に有効と判定し、それ以外は無効と判定する。ベースビューではないかの判定はＶｉｅｗＩｄが０ではない（ＶｉｅｗＩｄ）、デプスではない場合とは！ｄｅｐｔｈ＿ｆｌａｇで示されることから、図１５の符号化データのＳＥ１５０１、ＳＥ１５０２に示す！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄの判定を行う。さらに、全ＰＵパラメータ判定部３０３１４２は、追加予測フラグを含む対象ＣＵがイントラ予測ではないか、を判定する。すなわち図１５のＳＥ１５０１、ＳＥ１５０２に示すｐｒｅｄ＿ｍｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡの判定を行う。次に、全ＰＵパラメータ判定部３０３１４２は、対象ＣＵが含む全てのＰＵの予測パラメータを調べ、予測パラメータの値に応じて、上記追加予測フラグを上記符号化ユニットから復号するか否かを判定する。具体的には、追加予測フラグｘｐｒｅｄ＿ｆｌａｇが残差予測ｒｅｓｉ＿ｐｒｅｄ＿ｆｌａｇの場合には、予測パラメータが動き予測であるか（ＣＵに含まれるＰＵのいずれかが動き予測を含むか）を判定しｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓに設定する。なお、ＰＵが動き予測であるか、すなわち、ＰＵのベクトルが動きベクトルか否かは、既に説明したインター予測パラメータ復号制御部３０３１に含まれるリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する（以下同様）。追加予測フラグｘｐｒｅｄ＿ｆｌａｇが照度補償ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇの場合には予測パラメータが変位予測であるか（ＣＵに含まれるＰＵのいずれかが変位予測を含むか）を判定しｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓに設定する。なお、ＰＵが変位予測であるか、すなわち、ＰＵのベクトルが変位ベクトルか否かは、既に説明したインター予測パラメータ復号制御部３０３１に含まれるリファレンスレイヤ判定部３０３１１１の判定方法において真（変位ベクトルである）と判定した方法により判定する（以下同様）。
図１７は、全ＰＵパラメータ判定部３０３１４２において、ＣＵが動き予測を行うＰＵを含むか否かを示すフラグｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓの判定を行う動作を示す図である。図１７に示すように、まずｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓをｆａｌｓｅに設定する。続いて、ＣＵの分割モードｐａｒｔ＿ｍｏｄｅをチェックし、ＣＵの含む各ＰＵのｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃにより、ＰＵの予測画像生成に用いる参照レイヤのＶｉｅｗＩｄであるｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸが、対象レイヤのＶｉｅｗＩｄと等しいか否かをチェックする。
ｐａｒｔ＿ｍｏｄｅがＰＡＲＴ＿２Ｎｘ２Ｎの場合にはＣＵの含むＰＵは１つのみであり、その座標は（ｘ０， ｙ０）である。全ＰＵパラメータ判定部３０３１４２は、この１つのＰＵに動き補償を行うＰＵが含まれるかをチェックし、含まれる場合には、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓをｔｒｕｅにする。具体的には、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ１ではない場合（Ｌ０予測および双予測の場合、ｐｒｅｄＦｌａｇＬ０が１）には、Ｌ０リストが用いられるため、Ｌ０リストの参照ピクチャのビューＩＤ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌ０）が対象レイヤのビューＩＤ（ＶｉｅｗＩｄ）と等しいか否かをチェックする。対象レイヤと参照ピクチャのビューＩＤが等しい場合には動き予測であるため、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓにｔｒｕｅを設定する。さらにｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ０ではない場合（Ｌ１予測および双予測）には、Ｌ１リストが用いられるため、Ｌ１リストの参照ピクチャのビューＩＤ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌ１））が対象レイヤのビューＩＤ（ＶｉｅｗＩｄ）と等しいか否かをチェックする。対象レイヤと参照ピクチャのビューＩＤのビューＩＤが等しい場合には動き予測であるため、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓにｔｒｕｅを設定する。なお、上記ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ１ではない場合の判定は、ｐｒｅｄＦｌａｇＬ０＝１の判定と置き換えることができ、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ０ではない場合の判定は、ｐｒｅｄＦｌａｇＬ１＝１の判定と置き換えることができる。
ｐａｒｔ＿ｍｏｄｅがＰＡＲＴ＿２ＮｘＮの場合には、ＣＵの含むＰＵは２つあり、各々の座標は（ｘ０， ｙ０）、（ｘ０， ｙ０ ＋ ｎＣｂＳ ／ ２）である。ここでｎＣｂＳは対象ＣＵのサイズ（＝幅＝高さ）である。全ＰＵパラメータ判定部３０３１４２は、この１つのＰＵに動き補償を行うＰＵが含まれるかをチェックし、含まれる場合には、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓをｔｒｕｅにする。具体的には、座標（ｘ０， ｙ０）と座標の（ｘ０， ｙ０ ＋ ｎＣｂＳ ／ ２）のｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃにより、使用される参照ピクチャに対して、参照ピクチャのビューＩＤ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸ）が、対象レイヤのビューＩＤ（ＶｉｅｗＩｄ）と等しいか否かをチェックし、両者が等しい場合には、動き予測を行うｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓにｔｒｕｅを設定する。以下、それ以外のｐａｒｔ＿ｍｏｄｅの説明は省略する。
図１８は、全ＰＵパラメータ判定部３０３１４２において、ＣＵが変位予測を行うＰＵを含むか否かを示すフラグｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓの判定を行う動作を示す図である。図１８に示すように、まずｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓをｆａｌｓｅに設定する。続いて、ＣＵの分割モードｐａｒｔ＿ｍｏｄｅをチェックし、ＣＵの含む全てのＰＵのｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃとｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸをから、ＰＵに変位予測を行うＰＵが含まれるかをチェックし、含まれる場合には、ｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓをｔｒｕｅにする。例えば、ｐａｒｔ＿ｍｏｄｅがＰＡＲＴ＿２Ｎｘ２Ｎの場合にはＣＵの含むＰＵは１つのみであり、その座標は（ｘ０， ｙ０）である。全ＰＵパラメータ判定部３０３１４２は、この１つの具体的には、ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ１ではない場合（Ｌ０予測および双予測）には、Ｌ０リストが用いられるため、Ｌ０リストのｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌ０）が対象レイヤのＶｉｅｗＩｄと等しいか否かをチェックする。参照レイヤのＶｉｅｗＩｄが等しくない場合には変位予測であるため、ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓにｔｒｕｅを設定する。さらにｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃがＰｒｅｄ＿Ｌ０ではない場合（Ｌ１予測および双予測）には、Ｌ１リストが用いられるため、Ｌ１リストのｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌＸ（ｒｅｆ＿ｖｉｅｗ＿ｉｄ＿ｌ１）が対象レイヤのＶｉｅｗＩｄと等しいか否かをチェックする。参照レイヤのＶｉｅｗＩｄが等しくない場合には変位予測であるため、ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓにｔｒｕｅを設定する。以下、それ以外のｐａｒｔ＿ｍｏｄｅの動作は、ＶｉｅｗＩｄが等しいか否かの判定の部分を除き、図３９で説明したｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓの判定と等しいので説明を省略する。
以上のように、追加予測フラグ判定部３０３１４は、レイヤ判定部３０３１４１により、対象レイヤがベースレイヤ（ベースビュー）ではなく、かつ、デプスではないかを判定する。さらに、全ＰＵパラメータ判定部３０３１４２が、対象ＣＵがイントラ予測ではないかを判定する。さらに全ＰＵパラメータ判定部３０３１４２は、ＣＵが含む全てのＰＵをチェックし、いずれかのＰＵにおいて、動き予測を含む場合に、追加予測フラグである残差予測フラグｒｅｓｉ＿ｐｒｅｄ＿ｆｌａｇが符号化データに含まれると判定する。
また、追加予測フラグ判定部３０３１４は、レイヤ判定部３０３１４１により、対象レイヤがベースレイヤ（ベースビュー）ではなく、かつ、デプスではないと判定し、さらに、全ＰＵパラメータ判定部３０３１４２が、対象ＣＵがイントラ予測ではないかの判定を行う。全ＰＵパラメータ判定部３０３１４２は、さらに、ＣＵが含む全てのＰＵをチェックし、ＣＵに含まれるいずれかのＰＵにおいて、変位予測を含む場合に、追加予測フラグである照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化データに含まれると判定する。
（インター予測パラメータ復号部の変形例Ａ）
以下、インター予測パラメータ復号部３０３の変形例として、インター予測パラメータ復号部３０３Ａを説明する。変形例Ａは、動き補償画像に適用する追加予測として２つの予測方法を用いる場合において、１つ目の予測を示すフラグがオンの場合に、２つ目の予測を示すフラグを符号化データから復号せずにオフであるとして導出する。インター予測パラメータ復号部３０３Ａは、追加予測フラグ復号部３０３１１Ａ、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３を備える。図１９は、追加予測フラグ復号部３０３１１Ａが復号する符号化データの構成を示すためのシンタックステーブルである。追加予測フラグ判定部３０３１４Ａは、追加予測フラグとして２つのフラグを用いる場合（ここでは残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを用いる場合）、図１９のＳＥ１９０１に示すように、１つ目のフラグがオン（ここではｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１）である場合に、図１９のＳＥ１９０２の判定ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ ＝＝ ０が示すように、２つ目のフラグ（ここではｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が符号化データに存在しない、と判定する。なおｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ ＝＝ ０の判定は！ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの判定と同値である。追加予測フラグ復号部３０３１１Ａは、２つ目のフラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇの復号を行わない場合、２つ目のフラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを追加予測を行わないことを示す０と導出する。これにより、インター予測パラメータ復号部３０３Ａで必要としたＣＵが変位予測を含むＰＵを含むか否かのフラグｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓの導出が不要になる。なお、図１９では、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇよりも先に符号化したが、この順序を入れ替えても良い。この場合、追加予測フラグ判定部３０３１４Ａは、１つ目の追加予測フラグ（ここでは照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）がオン（ここでは１）である場合に、２つ目の追加予測フラグ（ここでは残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）は存在しないと判定し、２つ目のフラグであるｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを０と導出する。つまり、ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ＝＝０の場合に限りｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを符号化データから復号する。
以上の変形例Ａの構成では、追加予測フラグを２つ用いる場合（追加予測として残差予測と照度補償の２つを用いる場合）に、２つ目の追加予測フラグ（例えばｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が存在するか否かの判定を、１つ目の追加予測フラグの値（例えばｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）に基づいて行うため、２つ目の追加予測フラグが存在するか否かの判定の判定を各ＰＵの予測パラメータ（例えば、ＰＵの予測パラメータにおいて変位ベクトルを有するかどうかの判定ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓ）を導出することなく行えるため、追加予測フラグの復号処理が容易になるという効果を奏する。また、２つの追加予測が排他的である場合（残差予測がオンの場合には照度予測がオフ、また、その逆）には、２つの追加予測が排他的である場合には、一つの目のフラグの値がオンであれば、２つ目のフラグは必ずオフとなるため、２つ目のフラグの復号は不要である。上記、変形例Ａでは、２つのフラグの間の冗長性が削減されるため、符号化効率が向上するという効果を奏する。なお、残差予測の方法は、以下の説明に限定されず、復号装置において２つの動き補償画像の差分から残差を推定する一般化残差予測（GRP:Generalized Residual Prediction）もしくは進歩的残差予測（(ARP:Advanced Residual Prediction)と呼ばれる方法を用いても良い。なお、変形例Ａにおいて、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇの代わりに、残差予測の重みを示す残差予測ウェイトres_pred_weightを用いても良いし、残差予測の種類を示す残差予測モードres_pred_modeを用いても良い。
（インター予測パラメータ復号部の変形例Ａ２）
以下、インター予測パラメータ復号部の変形例として、インター予測パラメータ復号部３０３Ａ２を説明する。インター予測パラメータ復号部３０３Ａ２は、追加予測フラグ復号部３０３１１Ａ２、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３を備える。
図２０は、追加予測フラグ復号部３０３１１Ａ２が復号する符号化データの構成を示すためのシンタックステーブルである。変形例Ａ２の追加予測フラグ復号部３０３１１Ａ２は、追加予測フラグに２つのフラグを用いる場合、図２０のＳＥ２００１に示す１つ目のフラグ（ここではｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）が存在するか否かの判定には、ＰＵが動き予測を含むか否かを示すフラグｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓが１であるかを用い、図２０のＳＥ２００２に示す２つ目のフラグ（ここではｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が存在するか否かの判定には、１つ目の追加予測フラグ（ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）の判定に置いて導出済みのＰＵが動き予測を含むか否かを示すフラグｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓが０であるかを用いる。
なお、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇは逆でも良い。すなわち。１つ目のフラグ（ここではｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が存在するか否かの判定には、ＰＵが変位予測を含むか否かの判定ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓが１であるかを用い、２つ目のフラグ（ここではｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが存在するか否かの判定には、ＰＵが動き予測を含むか否かの判定ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓが０であるかを用いる。
以上の変形例Ａ２の構成では、以上の判定では、２つ目の追加予測フラグが存在するか否かの判定を、１つ目の追加予測フラグが存在する否かの判定に用いた値に基づいて行うため、２つ目の追加予測フラグが存在するか否かの判定の判定を各ＰＵの予測パラメータをチェックすることなく行えるため、追加予測フラグの復号処理が容易になるという効果を奏する。
（インター予測パラメータ復号部の変形例Ｂ）
以下、インター予測パラメータ復号部の変形例として、インター予測パラメータ復号部３０３Ｂを説明する。インター予測パラメータ復号部３０３Ｂは、追加予測フラグ復号部３０３１１Ｂ、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３を備える。図２１は、インター予測パラメータ復号部３０３Ｂの復号する符号化データの構成を示すためのシンタックステーブルである。図１５との違いは、図１５（ＳＥ１５０１、ＳＥ１５０２）では、追加予測フラグが存在するか否かを示す判定に用いるフラグがＣＵを構成するＰＵのいずれかの予測方法に関するフラグｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓとｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓであるのに対し、図２１（ＳＥ２１０１、ＳＥ２１０２）では、各々、第１ＰＵ（ＰＵ０）の予測方法に関するフラグｐｕ０＿ｉｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄ、ｐｕ０＿ｉｓ＿ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄに変更された点である。
（追加予測フラグ復号部３０３１１Ｂ）
追加予測フラグ復号部３０３１１Ｂは、既に説明した追加予測フラグ判定部３０３１４の代わりに、追加予測フラグ判定部３０３１４Ｂを備える。図２２は、追加予測フラグ判定部３０３１４Ｂの構成を示す概略図である。追加予測フラグ判定部３０３１４Ｂは、レイヤ判定部３０３１４１、ＰＵ０パラメータ判定部３０３１４２Ｂから構成される。レイヤ判定部３０３１４１は、既に説明したので説明を省略する。ＰＵ０パラメータ判定部３０３１４２Ｂは、追加予測フラグを含む対象ＣＵがイントラ予測ではないか、を判定する。すなわちｐｒｅｄ＿ｍｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡの判定を行う。次に、ＰＵ０パラメータ判定部３０３１４２Ｂは、対象ＣＵに含まれる最初のＰＵ（ＰＵ０）の予測パラメータを調べ、追加予測フラグｘｐｒｅｄ＿ｆｌａｇが残差予測フラグｒｅｓｉ＿ｐｒｅｄ＿ｆｌａｇの場合にはＰＵ０が動き予測を含むか否かを示す判定ｐｕ０＿ｉｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄを行い、追加予測フラグｘｐｒｅｄ＿ｆｌａｇが照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇの場合にはＰＵ０が変位予測を含むか否かの判定ｐｕ０＿ｉｓ＿ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄを行う。図２３（ａ）、（ｂ）は各々、追加予測フラグ判定部３０３１４Ｂにおいてｐｕ０＿ｉｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄ、ｐｕ０＿ｉｓ＿ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿の判定を行う動作を示す図である。図１７、図１８と異なり、ＣＵに含まれる全てのＰＵについて判定を行うことなく、ＰＵ０、すなわち、座標が（ｘ０， ｙ０）のＰＵに関する判定のみを行う。ＰＵ０に動き予測が含まれるか否かｐｕ０＿ｉｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄの判定は、参照ピクチャのビューＩＤ（ｒｅｆ＿ｖｉｅｗｉｄ＿ｌＸ）が対象レイヤのビューＩＤ（ＶｉｅｗＩｄ）と等しい場合に１、等しくない場合に０とする判定であり、ＰＵ０に動き予測が含まれるか否かｐｕ０＿ｉｓ＿ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄの判定は、ｒｅｆ＿ｖｉｅｗｉｄ＿ｌＸがＶｉｅｗＩｄが異なる場合に１、等しくない場合に０とする判定である。詳細は図１７、図１８と同様であるため説明を省略する。
以上の構成のインター予測パラメータ復号部の変形例Ｂによれば、追加予測フラグ判定部３０３１４Ｂにおいて、対象ＣＵに含まれる全てのＰＵの予測パラメータをチェックすることなく、先頭ＰＵの予測パラメータのみをチェックすれば良いため、追加予測フラグｘｐｒｅｄ＿ｆｌａｇ（ここでは、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が符号化データに含まれるか否かをチェックする処理が容易になるという効果を奏する。
（インター予測パラメータ復号部の変形例Ｃ）
以下、インター予測パラメータ復号部の変形例として、インター予測パラメータ復号部３０３Ｃを説明する。インター予測パラメータ復号部３０３Ｃは、追加予測フラグ復号部３０３１１Ｃ、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３を備える。図２４は、インター予測パラメータ復号部３０３Ｃの復号する符号化データ中の構成を示すためのシンタックステーブルである。図１５（ＳＥ１５０１、ＳＥ１５０２）および図２１（ＳＥ２１０１、ＳＥ２１０２）では、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇは個別のフラグを用いていたが、図２４では、ＳＥ２４０１に示すように残差予測と照度補償のオンオフを判定するために一つの共用フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを用いる。また、図１５および図２１では、追加予測フラグが存在するか否かを示す判定式においてｍｏｔｉｏｎ＿ｐｒｅｄ＿ｅｘｉｓｔｓ、ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓ、ｐｕ０＿ｉｓ＿ｍｏｔｉｏｎ＿ｐｒｅｄ、ｐｕ０＿ｉｓ＿ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄのようなＰＵが動き補償や変位予測を行うか否かを示す判定を用いていたが、図２４には追加予測フラグが存在するか否かを示す判定式においてＰＵの予測パラメータに関する判定を用いない。つまり、図２４のＳＥ２４０１では、！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡと示すように、対象レイヤがデプスであるか否かを示すｄｅｐｔｈ＿ｆｌａｇと、ビューＩＤを示すＶｉｅｗＩｄと、対象ＣＵの予測モードＰｒｅｄＭｏｄｅを用いて判定するが、これらは個々のＰＵの予測パラメータ（ベクトルや参照ピクチャインデックス）を用いずに判定できる要素であり、ＰＵの予測パラメータに関する判定を用いない。
（追加予測フラグ復号部３０３１１Ｃ）
図２５は、追加予測フラグ復号部３０３１１Ｃの構成を示す概略図である。追加予測フラグ復号部３０３１１Ｃは、追加予測フラグ判定部３０３１４Ｃ、残差予測判定部３０３１５、照度補償判定部３０３１６を含んで構成される。追加予測フラグ判定部３０３１４Ｃは、レイヤ判定部３０３１４１を含んで構成される。フラグ判定部３０３１４Ｃは、レイヤ判定部３０３１４１により、対象レイヤがベースレイヤ（ベースビュー）ではなく、かつ、デプスではないと判定する。さらに、追加予測フラグ判定部３０３１４Ｃは、対象ＣＵがイントラ予測ではない場合に、追加予測フラグである共用フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが符号化データに含まれると判定する。
追加予測フラグ復号部３０３１１Ｃは次に追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが含まれると判定される場合、追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを符号化データから抽出（復号）し、追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが含まれないと判定される場合、符号化データを復号することなく、追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇに０を設定する。追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが０である場合は、追加予測（残差予測と照度補償）はいずれも行われない。追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１である場合は、以下の判定により、残差予測と照度補償が行われるか否かを判定する。
残差予測判定部３０３１５は、ＣＵに含まれる各ＰＵ単位において、追加予測として残差予測が行われるか否かを判定する。残差予測判定部３０３１５は、追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１であり、かつ、対象ＰＵで、動き予測が用いられる場合には、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ＝１とする。それ以外の場合には、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ＝０とする。
照度補償判定部３０３１６は、ＣＵに含まれる各ＰＵ単位において、追加予測として照度補償が行われるか否かを判定する。照度補償判定部３０３１６は、追加予測フラグｒｅｓ＿ｐｒｅｄ＿ａｎｄ＿ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１であり、かつ、対象ＰＵで、変位予測が用いられる場合には、ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１とする。それ以外の場合には、ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ＝０とする。
以上の構成の追加予測フラグ復号部３０３１１Ｃによれば、追加予測フラグを残差予測フラグと照度補償フラグに共通の共用フラグとすることにより、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。また、追加予測フラグとして、２つのフラグ（残差予測フラグと照度補償フラグ）の代わりに１つのフラグを符号化データ中に含めるため、フラグの符号量が減少する効果を奏する。
（インター予測パラメータ復号部の変形例Ｄ）
以下、インター予測パラメータ復号部の変形例として変形例Ｄの別の構成であるインター予測パラメータ復号部３０３Ｄを説明する。インター予測パラメータ復号部３０３Ｄは、追加予測フラグ復号部３０３１１Ｄ、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３を備える。
図２６（ａ）は、インター予測パラメータ復号制御部３０３１Ｄで復号される符号化データの構成（符号化ユニットの構成）を示す図である。図１４（ａ）と異なり、追加予測フラグは、符号化ユニットのレイヤ（ＣＵヘッダＣＵＨ、ＣＵフッタＣＵＦ）には含まれない。
図２６（ｂ）は、インター予測パラメータ復号制御部３０３１Ｄで復号される符号化データの構成（予測ユニットの構成）を示す図である。追加予測フラグは、この予測ユニットのレイヤに含まれる。ＰＵは、ｍｅｒｇｅ＿ｍｏｄｅを含む。ｍｅｒｇｅ＿ｍｏｄｅが１、すなわち、マージ予測モードの場合にはｍｅｒｇｅ＿ｉｄｘを含む。ｍｅｒｇｅ＿ｉｄｘの次に追加予測フラグ（ここでは残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が含まれる。ｍｅｒｇｅ＿ｍｏｄｅが０、すなわち、ＡＭＶＰ予測モードの場合には、図１４（ｂ）で説明した通りであるので説明を省略する。
図２７は、追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。図２７のＳＥ２７０１、ＳＥ２７０３に示すに示す通り、既に図２４において説明した判定式！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡにより、マージインデックスｍｅｒｇｅ＿ｉｄｘの後に、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが含まれる。
以上の構成の追加予測フラグ復号部３０３１１Ｄによれば、追加予測フラグをマージモードの場合に限定することにより、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。なお、後述の追加予測フラグ復号部３０３１１Ｄ２も追加予測フラグ復号部３０３１１Ｄ３も、ＰＵ単位のフラグとするなど、追加予測フラグ復号部３０３１１Ｄと同様の構成である。
（追加予測フラグ復号部３０３１１Ｄ２）
図２８は、追加予測フラグ復号部３０３１１Ｄ２の別の構成を示す概略図である。追加予測フラグ復号部３０３１１Ｄ２は、追加予測フラグ判定部３０３１４の代わりに、追加予測フラグ判定部３０３１４Ｄ２を含む。また、追加予測フラグ判定部３０３１４Ｄ２は、レイヤ判定部３０３１４１とインデックス判定部３０３１４３を含んで構成される。インデックス判定部３０３１４３は、マージインデックスｍｅｒｇｅ＿ｉｄｘが所定の値であるか否かを判定する。具体的には、マージインデックスｍｅｒｇｅ＿ｉｄｘがインターレイヤ予測（インタービュー予測）で得られる予測パラメータを主に用いるインデックス（インターレイヤ予測のマージ候補）であるか否かを判定する。インターレイヤ予測（インタービュー予測）がｍｅｒｇｅ＿ｉｄｘ＝０に割り当てられる場合、ｍｅｒｇｅ＿ｉｄｘ＝０であるか否かが判定される。マージインデックスｍｅｒｇｅ＿ｉｄｘが所定の値である場合、追加予測フラグ（ここではｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）が存在すると判定される。
図２９は、追加予測フラグの符号化データ中の構成を示すためのシンタックステーブルである。図２９のＳＥ２８０１、のＳＥ２８０２に示す通り、図２７のＳＥ２７０１、ＳＥ２７０３に示す、既に図２４で説明した判定式！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡにより加え、マージインデックスｍｅｒｇｅ＿ｉｄｘが所定の値であるか否かの判定式を用いる。ここではｍｅｒｇｅ＿ｉｄｘ＝＝０である場合に限り、追加予測フラグの一つである残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが符号化データに含まれる。図７の説明で説明したインターレイヤマージ候補（動き予測）がｍｅｒｇｅ＿ｉｄｘ＝０に対応する場合には、ｍｅｒｇｅ＿ｉｄｘ＝０に限定することは、マージ候補がインターレイヤマージ候補（動き予測）である場合もしくはインターレイヤマージ候補（動き予測）である可能性が高い場合に、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇを用いるか否かを示す追加予測フラグを符号化データから復号し、そうではない場合（インターレイヤマージ候補（動き予測）ではない場合）には、残差予測を用いない。残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇをゼロにする。なお、上記で可能性が高いと記したのは、インターレイヤマージ候補（動き予測）が存在しない場合は、ｍｅｒｇｅ＿ｉｄｘ＝０が別のマージ候補である可能性があるためである。残差予測は、動き予測の場合に特に有効であるからこのような制限は、パース依存性とともに符号化効率を向上させる効果も奏する。
なおｍｅｒｇｅ＿ｉｄｘ が所定の値であるか否かを示す判定式ｍｅｒｇｅ＿ｉｄｘ＝＝０ではなく、ｍｅｒｇｅ＿ｉｄｘが所定の範囲にあるかを示す判定式でも良い。例えば、ｍｅｒｇｅ＿ｉｄｘ＜＝１を判定式としても良い。この場合、インターレイヤマージ候補（動き予測）である可能性が高い、ｍｅｒｇｅ＿ｉｄｘ＝０と、それ以外で有効性の高い、ｍｅｒｇｅ＿ｍｏｄｅ＝１がマージモード候補となる。
なお、図２９では、残差予測フラグに限定して説明したが、照度補償フラグに適用しても良い。この場合、インターレイヤマージ候補（変位予測）に対応するマージ候補がインデックスＤＶのマージ候補であるとして、ｍｅｒｇｅ＿ｉｄｘ＝＝ＤＶである場合に限り、追加予測フラグの一つである残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが符号化データに含まれるｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇを用いるか否かを示す追加予測フラグを符号化データから復号し、そうではない場合（インターレイヤマージ候補（変位予測）ではない場合）には、照度補償を用いない。残差予測フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇをゼロにする。
以上の構成の追加予測フラグ復号部３０３１１Ｄ２によれば、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、追加予測フラグ復号部３０３１１Ｄ２によれば、追加予測フラグを、マージインデックスｍｅｒｇｅ＿ｉｄｘが、インターレイヤマージ候補（インタービューマージ候補）を示す所定の値の場合のみに復号することにより、追加予測が有効ではない場合に、追加予測フラグを符号化データに含めることがないため、符号化効率が向上するという効果を奏する。
（インター予測パラメータ復号部の変形例Ｄ３）
以下、インター予測パラメータ復号部の別の変形例として変形例Ｄの別の構成であるインター予測パラメータ復号部３０３Ｄ３を説明する。
図３０（ａ）は、インター予測パラメータ復号部３０３Ｄ３で復号される符号化データの構成（符号化ユニットの構成）を示す図である。図２６（ａ）と同一で、追加予測フラグは、符号化ユニットのレイヤ（ＣＵヘッダＣＵＨ、ＣＵフッタＣＵＦ）には含まれない。
図３０（ｂ）は、インター予測パラメータ復号部３０３Ｄ３で復号される符号化データの構成（予測ユニットの構成）を示す図である。追加予測フラグは、予測ユニットのレイヤに含まれる。ＰＵは、ｍｅｒｇｅ＿ｍｏｄｅを含む。ｍｅｒｇｅ＿ｍｏｄｅが１、すなわち、マージ予測モードの場合で、既に図２４において説明した判定式！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡが真の場合に、追加予測フラグ（ここでは残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が含まれる。追加予測フラグが０の場合は符号化データにｍｅｒｇｅ＿ｉｄｘを含む、追加予測フラグが１の場合は、ｍｅｒｇｅ＿ｉｄｘは符号化データに含まれず、後述のように導出される。
図３１は、追加予測フラグが残差予測フラグ（ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）の場合の符号化データの構成を示すシンタックステーブルである。図３１のＳＥ３１０１、ＳＥ３１０２に示す通り、既に図２４において説明した判定式！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡにより、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが含まれる。さらに、追加予測フラグである残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが０の場合に符号化データにｍｅｒｇｅ＿ｉｄｘが含まれ、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１の場合には符号化データにｍｅｒｇｅ＿ｉｄｘは含まれない。
図３２は、追加予測フラグが照度補償フラグ（ｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）の場合の符号化データの構成を示すシンタックステーブルである。図３２のＳＥ３２０１、ＳＥ３２０２に示す通り、既に図２４において説明した判定式！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡが真の場合には、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に、照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが含まれる。さらに、追加予測フラグである照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが０の場合に符号化データにｍｅｒｇｅ＿ｉｄｘが含まれ、ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１の場合には符号化データにｍｅｒｇｅ＿ｉｄｘは含まれない。
図３３は、インター予測パラメータ復号制御部の変形例Ｄの別の構成Ｄ３の構成を示す概略図である。インター予測パラメータ復号制御部３０３１Ｄ３は、追加予測フラグ復号部３０３１１Ｄ３、マージインデックス復号部３０３１２Ｄ３、ベクトル候補インデックス復号部３０３１３を備える。追加予測フラグ復号部３０３１１Ｄ３は、内部に追加予測フラグ判定部３０３１４Ｄ３を備え、！ｄｅｐｔｈ＿ｆｌａｇ ＆＆ ＶｉｅｗＩｄ ＆＆ ＰｒｅｄＭｏｄｅ ！＝ ＭＯＤＥ＿ＩＮＴＲＡの判定により、追加予測フラグが存在するか否かを判定する。追加予測フラグ復号部３０３１１Ｄ３は、マージモードである場合に、追加予測フラグ判定部３０３１４Ｄ３において、追加予測フラグが含まれると判定される場合には、符号化データのＣＵヘッダＣＵＨもしくはＣＵフッタＣＵＦから追加予測フラグを抽出する。マージインデックス復号部３０３１２Ｄ３は、追加予測フラグ（ｒｅｓ＿ｐｒｅｄ＿ｆｌａｇもしくはｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が０の場合にはマージインデックスｍｅｒｇｅ＿ｉｄｘを符号化データから抽出（復号）する。逆に、追加予測フラグが１の場合にはマージインデックスｍｅｒｇｅ＿ｉｄｘを符号化データから復号せずに導出する。具体的には、追加予測フラグが残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇである場合には、マージ候補が図７で説明したインターレイヤマージ候補（動き予測）、すなわち、インターレイヤ候補（インタービュー候補）であり、特に動き予測となる場合のインデックスをマージインデックスｍｅｒｇｅ＿ｉｄｘとして設定する。例えば、インターレイヤマージ候補（動き予測）が主として（インターレイヤマージ候補（動き予測）が存在しない場合を除き）インデックス０として導出される場合には、ｍｅｒｇｅ＿ｉｄｘ＝０とする。また、追加予測フラグが照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇである場合には図７で説明したインターレイヤマージ候補（変位予測）、すなわち、マージ候補が主にインターレイヤ候補（インタービュー候補）であり、特に変位予測となる場合のインデックスをマージインデックスｍｅｒｇｅ＿ｉｄｘとして設定する。例えば、変位予測を用いたインターレイヤ候補（インタービュー候補）が主にインデックスＤＶとして導出される場合（先頭候補を０番目としてＤＶ＋１番目に導出される候補の場合）には、ｍｅｒｇｅ＿ｉｄｘ＝ＤＶとする。なお、インターレイヤ候補（インタービュー候補）の中で、動き予測の候補と変位予測の候補を分離しない場合には、インターレイヤマージ候補（動き予測）とインターレイヤマージ候補（変位予測）を区別せず、単にインターレイヤ候補（インタービュー候補）を選択しても良い。また、追加予測を行わない場合のインデックスが０〜４である場合において、追加予測を行う場合にそれ以外の番号、例えば、インターレイヤマージ候補（動き予測に５、追加予測を行うインターレイヤマージ候補（変位予測）に６というインデックスを割り当て、それらの動き予測であるか変位予測であるかが明確に区別されるマージ候補インデックスを選択しても良い。
以上の構成のインター予測パラメータ復号部３０３Ｄ３によれば、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、追加予測フラグを、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に復号し、追加予測フラグが有効である場合には、マージインデックスｍｅｒｇｅ＿ｉｄｘの範囲を制限する（例えば選択肢となる候補が１つだけの場合には、マージインデックスを含めない）ことにより、追加予測が有効ではある場合に有効ではないマージインデックスを復号しないため、符号化効率向上の効果を奏する。
（インター予測パラメータ復号部の変形例Ｄ４）
以下、インター予測パラメータ復号部の別の変形例として変形例Ｄの別の構成であるインター予測パラメータ復号部３０３Ｄ４を説明する。
図３４（ａ）は、インター予測パラメータ復号部３０３Ｄ４で復号される符号化データの構成（符号化ユニットの構成）を示す図である。追加予測フラグは、ＣＵ単位ＰＵの前に位置するＣＵヘッダＣＵＨ含まれる。
図３４（ｂ）は、インター予測パラメータ復号部３０３Ｄ４で復号される符号化データの構成（予測ユニットの構成）を示す図である。追加予測フラグは、ＰＵ単位の符号化データには含まれない。
以上の構成のインター予測パラメータ復号部３０３Ｄ４によれば、追加予測フラグをＣＵ単位のフラグとするが、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、変形例Ｄ３と同様、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に復号される追加予測フラグを利用して、追加予測フラグが１である場合（追加予測を用いる場合）には、マージインデックスｍｅｒｇｅ＿ｉｄｘの範囲を制限する（例えば１候補の場合には、マージインデックスを含めない）ことにより、追加予測が有効ではある場合に有効ではないマージインデックスを復号しないため、符号化効率向上の効果を奏する。
（画像復号装置３１の変形例Ｅ）
以下、画像復号装置３１の変形例を説明する。以下の変形例では、インター予測パラメータ復号部３０３の代わりに、インター予測パラメータ復号部３０３Ｅを備え、インター予測パラメータ復号制御部３０３１の代わりにインター予測パラメータ復号制御部３０３１Ｅを、マージ予測パラメータ導出部３０３６の代わりにマージ予測パラメータ導出部３０３６Ｅを備える。それ以外の手段は、インター予測パラメータ復号部３０３と同じであるため説明を省略する。
図３５は、インター予測パラメータ復号部３０３Ｅで復号される符号化データの構成を示す図である。図３５（ａ）は符号化ユニットの構成、図３５（ｂ）は、予測ユニットの構成を示す。図３５（ａ）、図３５（ｂ）に示すように本実施形態では、追加予測を行うか否かを示す追加予測フラグを明示的には符号化データには含めない。
図３６は、インター予測パラメータ復号制御部３０３１Ｅの構成を示す概略図である。インター予測パラメータ復号制御部３０３１Ｅは、マージインデックス復号部３０３１２Ｅ、ベクトル候補インデックス復号部３０３１３Ｅを含んで構成される。インター予測パラメータ復号部３０３と比較すると、追加予測フラグ復号部３０３１１を含まないことが特徴である。
マージ予測パラメータ導出部３０３６Ｅは、マージ候補導出部３０３６１Ｅとマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１Ｅは、マージ候補導出部３０３６１と異なり、予測パラメータとして、ベクトルｍｖＬＸや参照ピクチャインデックスｒｅｆＩｄｘＬＸだけでなく、追加予測フラグを含む。追加予測フラグは、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇである。
図３７は、マージ候補導出部３０３６１Ｅが導出するマージ候補を示す図である。図３７（ａ）は追加予測として残差予測を含む場合、図３７（ｂ）は追加予測として照度補償を含む場合、図３７（ｃ）は追加予測として残差予測と照度補償を含む場合を示す。
図３７（ａ）に示すように、マージ候補導出部３０３６１Ｅは、追加予測として残差予測を行う構成の場合には、マージ候補として、残差予測を行うマージ候補と、残差予測を行わないマージ候補を導出する。具体的には、残差予測を行わないマージ候補として、インターレイヤマージ候補（動き予測）、空間マージ候補、インターレイヤマージ候補（変位予測）、時間マージ候補、結合マージ候補、ゼロマージ候補を導出し、残差予測を行う候補として、インターレイヤマージ候補（動き予測）を導出する。なお、図３７（ａ）のインターレイヤマージ候補（動き予測）は、図７を用いて説明したインターレイヤマージ候補導出部３０３６１２１により導出されるマージ候補であり、図３７（ａ）のインターレイヤマージ候補（変位予測）はインターレイヤ変位マージ候補導出部３０３６１２３により導出されるマージ候補である（以下同様）。
図３７（ｂ）に示すように、マージ候補導出部３０３６１Ｅは、追加予測として照度補償を行う構成の場合には、マージ候補として、照度補償を行うマージ候補と、照度補償を行わないマージ候補を導出する。具体的には、照度補償を行わないマージ候補として、インターレイヤマージ候補（動き予測）、空間マージ候補、インターレイヤマージ候補（変位予測）、時間マージ候補、結合マージ候補、ゼロマージ候補を導出し、照度補償を行う候補として、インターレイヤマージ候補（変位予測）を導出する。
図３７（ｃ）に示すように、マージ候補導出部３０３６１Ｅは、追加予測として残差予測と照度補償の両者を行う構成の場合には、マージ候補として、残差予測を行うマージ候補と照度補償を行うマージ候補、残差予測と照度補償を行わないマージ候補を導出する。具体的には、残差予測と照度補償を行わないマージ候補として、インターレイヤマージ候補（動き予測）、空間マージ候補、インターレイヤマージ候補（変位予測）、時間マージ候補、結合マージ候補、ゼロマージ候補を導出し、残差予測を行う候補として、インターレイヤマージ候補（動き予測）、照度補償を行う候補として、インターレイヤマージ候補（変位予測）を導出する。
この場合、追加予測フラグをＣＵ単位のフラグもしくはＰＵ単位のフラグとして含めないため、追加予測フラグが符号化データに存在するか否かの判定が不要になる、すなわち、追加予測フラグの復号のために、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、マージ候補導出部３０３６１Ｅで追加予測を行うマージ候補と、追加予測を行わないマージ候補を導出することにより、追加予測を行うか否かはマージ候補の一つとして選択することになる。これにより、追加予測が有効ではない場合において、ＰＵ単位で追加予測を行うか否かを選択することができるため、符号化効率が向上するという効果を奏する。また、追加予測が効果的である予測パラメータの場合、例えば、インターレイヤマージ候補（動き予測）に限定して、追加予測を行うマージ候補を導出するため、追加予測が効果的ではない予測パラメータの場合に、追加予測を行う候補を設けることがないため、符号化効率が向上するという効果を奏する。
（インター予測パラメータ復号部の変形例Ｆ１）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ１を説明する。変形例Ｆ１では、追加予測として照度予測を行う場合を扱う。図４３は、インター予測パラメータ復号部３０３Ｆ１の構成を示すブロック図である。図４３に示すように、インター予測パラメータ復号部３０３Ｆ１は、照度補償フラグ復号部３０３１１Ｆ１、分割モード復号部、マージフラグ復号部３０３１７、マージインデックス復号部３０３１２、インター予測フラグ復号部、参照ピクチャインデックス復号部３０３１８、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部を備える。
照度補償フラグ復号部３０３１１Ｆ１は、照度補償フラグ判定部３０３１４Ｆ１において照度補償フラグic_enable_flagが符号化データに含まれると判定される場合、符号化データから照度補償フラグic_enable_flagを復号し、逆に符号化データに含まれないと判定される場合には、符号化データの復号を行わずに、照度補償フラグic_enable_flagに０（照度予測を行わないことを示す値）を設定する。
図４４は、照度補償フラグ復号部３０３１１Ｆ１の動作を示すフローチャートである。
Ｓ１１０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであれば（merge_flag=１）、符号化データから、照度補償フラグic_flagを復号する（Ｓ１１０５）。マージモードでなければ（merge_flag＝０）、Ｓ１１０４に遷移する。マージフラグ復号部３０３１７で復号される（以下同様）。
Ｓ１１０４：参照ピクチャインデックスref_idx_LXを参照し、対象ブロックがインターレイヤ予測（インタービュー予測）であるかを判定する。以下、インタービュー予測とインターレイヤ予測を区別せず、単にインタービュー予測と表記する。インターレイヤ予測であれば、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１１０５）。そうでなければ、ic_enable_flagに照度補償を行わないことを示す値である００を設定する（Ｓ１１０６）。マージモード以外のref_idx_LXは、参照ピクチャインデックス復号部３０３１８において符号化データから復号される（以下同様）。
図４６は、インター予測パラメータ復号部３０３Ｆ１で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。図４６示すように、条件ＳＦ１００１＆＆（条件ＳＦ１００２｜｜条件ＳＦ１００３）を満たす場合に、照度補償フラグic_enable_flagが符号化データに含まれる。
具体的には、
スライス単位の照度補償フラグslice_ic_enable_flagの条件（ＳＦ１００１）は以下の式で示される。
slice_ic_enable_flag 式（Ｆ−１）
マージモードであるか否かの条件（ＳＦ１００２）は、以下の式で示される。
merge_flag[ x0 ][ y0 ] 式（Ｆ−２）
マージモード以外（ＡＭＶＰモード）であり、参照ピクチャインデックスがインターレイヤ予測を示す条件（ＳＦ１００３）は、以下の式で示される。
(!merge_flag[ x0 ][ y0 ] &&anyIvRefPicFlag 式（Ｆ−３）
なお、anyIvRefPicFlagは、対象ブロック（対象ＣＵ）にインターレイヤ予測（インタービュー予測）が含まれるか否かを示すフラグであり、以下の式をX=0、X=1に対して実行することで導出される（Y=1-X）
anyIvRefPicFlag = anyIvRefPicFlag | |
(inter_pred_idc[ x0 ][ y0 ] ! = Pred_LY && refViewIdxLX[ x0 ][ y0 ] ! = ViewIdx) | |
(inter_pred_idc[ x0 ][ y1 ] ! = Pred_LY && refViewIdxLX[ x0 ][ y1 ] ! = ViewIdx) | |
(inter_pred_idc[ x1 ][ y0 ] ! = Pred_LY && refViewIdxLX[ x1 ][ y0 ] ! = ViewIdx) | |
(inter_pred_idc[ x1 ][ y1 ] ! = Pred_LY && refViewIdxLX[ x1 ][ y1 ] ! = ViewIdx) 式（Ｆ−４）
ここで、x1、y1は、対象ＣＵに複数の予測ユニットが含まれている場合における予測ユニットの座標を示す。具体的には、座標[x0][x0]が１つ目の予測ユニット、座標[x0][y1]が２つ目の予測ユニット、座標[x1][y0]が３つ目の予測ユニット、座標[x1][y1]が３つ目の予測ユニットに対応する。インター予測フラグinter_pred_idc[][]は、予測ユニットの予測方向を示し、Ｌ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）の何れかである。従って、インター予測フラグinter_pred_idc[][]がPred_LYではないとは、X=Y-1であるから、Pred_LXもしくはPred_BIの場合を意味する。両者ともLX予測を用いる。
refViewIdxLX[][] ! = ViewIdx)の式は、LXの参照ピクチャインデックスで指定される参照ピクチャのビューＩＤが対象ピクチャのビューＩＤと異なるか（インターレイヤ予測が用いられるか）の判定である。ここでは、インターレイヤ予測が用いられるかの判定として、ビューＩＤを用いる第２の判定方法を用いる。上記式（Ｆ−４）内では、座標[x][y]、LX予測で指定される予測ユニットにおいて、インターレイヤ予測が行われているかを示す式を、以下の式（Ｆ−５）とすると、対象ＣＵ内の予測ユニットに関する式（Ｆ−５）の論理和として定義される。
inter_pred_idc[ x][ y ] ! = Pred_LY && refViewIdxLX[ x ][ y ] ! = ViewIdx) 式（Ｆ−５）
なお、refViewIdxLX[ x ][ y ]は、座標[x][y]の予測ユニットがLXリストを用いて参照する参照ピクチャのビューＩＤを示す。LX予測の参照ピクチャリストがRefPicListLXであり、参照ピクチャインデックスがref_idx_lX[ x ][ y ]である場合、refViewIdxLX[ x0 ][ y ]は、以下の式で導出可能である。
refViewIdxLX[ x ][ y ] = ViewIdx of the RefPicListL0[ref_idx_lX[ x ][ y ]] 式（Ｆ−６）
なお、インター予測フラグinter_pred_idcと予測リストフラグpredFlagLXは相互に対応するため、インターレイヤ予測が用いられるか否かの判定式として、式（Ｆ−４）の代わりに、式（Ｆ−４´）を用いることもできる。
anyIvRefPicFlag = anyIvRefPicFlag | |
(predFlagLX[ x0 ][ y0 ] == 1 && refViewIdxLX[ x0 ][ y0 ] ! = ViewIdx) ||
(predFlagLX[ x0 ][ y1 ] == 1 && refViewIdxLX[ x0 ][ y1 ] ! = ViewIdx) ||
(predFlagLX[ x1 ][ y0 ] == 1 && refViewIdxLX[ x1 ][ y0 ] ! = ViewIdx) ||
(predFlagLX[ x1 ][ y1 ] == 1 && refViewIdxLX[ x1 ][ y1 ] ! = ViewIdx) 式（Ｆ−４´）
上記の式（Ｆ−４）では、対象ブロック（対象ＣＵ）に含まれる全ての予測ユニットについて和（||）をとることにより、対象ＣＵに含まれる予測ユニットの何れかにおいてインターレイヤ予測が用いられるかが判定される。
以上の構成の変形例Ｆ１では、予測ユニットがマージモードである場合には、参照ピクチャインデックスによらずに、照度補償フラグを符号化データから復号し、予測ユニットがＡＭＶＰモードである場合には、上記予測ユニットの参照ピクチャインデックスがインターレイヤ予測（インタービュー予測）を示す場合には、照度補償フラグを符号化データから復号し、上記の何れでもない場合には、照度補償フラグを符号化データから復号せずに照度補償を行わない。
以上の構成の変形例Ｆ１では、予測ユニットがマージモードである場合には、参照ピクチャインデックスref_idx_LXによらずに、照度補償フラグic_enable_flagを符号化データから復号するか否かを判定することにより、照度補償フラグic_enable_flagのパースに、マージモードの予測パラメータ（参照ピクチャインデックスref_idx_LX）の導出が必要であるというパース依存性を解決する効果を奏する（効果Ｆ１）。なお、マージモードの場合には、参照ピクチャインデックスref_idx_LXは、符号化データで明示的には符号化されないため、マージモードにおいてref_idx_LXを用いる従来方式では、パース依存性の問題が存在していた。マージモード以外の場合（ＡＭＶＰモードの場合）には、参照ピクチャインデックスref_idx_LXは、符号化データで明示的に符号化されるため、照度補償フラグic_enable_flagのパース時点で、参照ピクチャインデックスref_idx_LXの値は自明であり、ref_idx_LXに依存してic_enable_flagを復号してもパース依存性の問題は存在しない。
なお、照度補償を行う場合をマージモードの場合に限定する構成としても良い。この場合、照度補償フラグ復号部は、マージモードの場合にのみ、ic_enable_flagを復号し、マージモード以外の場合には、ic_enable_flagを復号しない（以下、同様）。この構成では、ＡＭＶＰモードでは照度補償を行わないため、インタービュー予測であるかの判定（参照ピクチャインデックスref_idx_LXを用いた判定）が不要になるため、照度補償フラグの導出が容易になるという効果を奏する。また、ＡＭＶＰモードにおける照度補償を行わないため予測画像生成が容易になるという効果を奏する。
さらに、上記、照度補償フラグ復号部３０３１１Ｆ１は、さらに、照度補償フラグを符号化データから復号する場合を、符号化ユニットの分割モードが分割しないことを示す２Ｎ×２Ｎの場合に限定しても良い（変形例Ｆ１´と呼ぶ）。
図４５は、２Ｎ×２Ｎに限定する場合の照度補償フラグ復号部３０３１１Ｆ１の動作を示すフローチャートである。
Ｓ１１００：分割モード復号部で符号される分割モードpart_modeを参照し、part_modeが対象符号化ユニットを分割しないことを示す２Ｎ×２Ｎか否かを判定する。２Ｎ×２Ｎ以外の場合には、照度補償フラグic_enable_flagに０を設定する（Ｓ１１０６）。２Ｎ×２Ｎの場合にはＳ１１０１に遷移する。
Ｓ１１０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであれば符号化データから、照度補償フラグic_flagを復号する（Ｓ１１０５）。マージモードでなければ、Ｓ１１０４に遷移する。
Ｓ１１０４：参照ピクチャインデックスref_idx_LXを参照し、対象ブロックがインターレイヤ予測であるかを判定する。インターレイヤ予測であれば、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１１０５）。そうでなければ、照度補償フラグic_enable_flagに０を設定する（Ｓ１１０６）
この場合には、符号化データ構成は、図４６の符号化データ構成と類似するが、条件ＳＦ１００１の代わりに条件ＳＦ１１０１が用いられる。すなわち、式（Ｆ−１）が下記の式（Ｆ−１´）に置き換えられる。
slice_ic_enable_flag && PartMode = = PART_2Nx2N 式（Ｆ−１´）
条件ＳＦ１００２、条件ＳＦ１００３は既に説明した通りであるが、条件ＳＦ１００３中のanyIvRefPicFlagの導出式は、簡略化される。具体的には、２Ｎ×２Ｎの場合、対象ＣＵに含まれる予測ユニットは一つだけであるから、式（Ｆ−４）の代わりに、以下の式（Ｆ−７）で導出可能である。
anyIvRefPicFlag = anyIvRefPicFlag | |
(inter_pred_idc[ x0 ][ y0 ] ! = Pred_LY && refViewIdxLX[ x0 ][ y0 ] ! = ViewIdx
式（Ｆ−７）
さらに、L0予測とL1予測の場合を明示的に記載すると、以下のように変形できる。
anyIvRefPicFlag = (inter_pred_idc[ x0 ][ y0 ] ! = Pred_L1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdx) || (inter_pred_idc[ x0 ][ y0 ] ! = Pred_L0 && refViewIdxL1[ x0 ][ y0 ] ! = ViewIdx) 式（Ｆ−７´）
変形例Ｆ１´の照度補償フラグ復号部は、符号化ユニットの分割モードが分割しないことを示す、２Ｎ×２Ｎである場合に、照度補償フラグic_enable_flagを符号化データから復号する。照度補償フラグic_enable_flagを復号する場合を限定することにより、照度補償フラグic_enable_flagの符号量を削減する効果を奏する。また、対象ＣＵに含まれる予測ユニットを１つに限定するため、インターレイヤ予測が含まれるか否かの判定anyIvRefPicFlagの処理量を低減する効果を奏する。また、照度補償を行う場合も２Ｎ×２Ｎに限定されるため、例えば８×８ＣＵにおいて２Ｎ×Ｎ、Ｎ×２Ｎに相当するブロックサイズが８×４、４×８の場合を除外することになるため、ブロックサイズが小さい場合に特に問題となる処理量を低減する効果を奏する。
なお、分割モードの２Ｎ×２Ｎ制限は、以下に説明する変形例Ｆ２以降の変形例においても併用することも可能である。
（インター予測パラメータ復号部の変形例Ｆ２）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ２を説明する。変形例Ｆ２では、追加予測として照度予測を行う場合を扱う。図４７は、インター予測パラメータ復号制御部３０３１Ｆ２の構成を示すブロック図である。図４７に示すように、インター予測パラメータ復号制御部３０３１Ｆ２は、照度補償フラグ復号部３０３１１Ｆ２、分割モード復号部、マージフラグ復号部３０３１７、マージインデックス復号部３０３１２、インター予測フラグ復号部、参照ピクチャインデックス復号部３０３１８、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部を備える。
照度補償フラグ復号部３０３１１Ｆ２は、照度補償フラグ判定部３０３１４Ｆ２において照度補償フラグic_enable_flagが符号化データに含まれると判定される場合、符号化データから照度補償フラグic_enable_flagを復号し、逆に符号化データに含まれないと判定される場合には、符号化データの復号を行わずに、照度補償フラグic_enable_flagに０を設定する。
図４８は、照度補償フラグ復号部３０３１１Ｆ２の動作を示すフローチャートである。
Ｓ１２０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであれば符号化データから、照度補償フラグic_flagを復号する（Ｓ１２０３）。マージモードでなければ、Ｓ１２０４に遷移する。
Ｓ１２０３：マージインデックスmerge_idxを参照し、merge_idxが所定の値であるか否かを判定する。所定の値の場合には、照度補償フラグic_enable_flagを０に設定する（Ｓ１２０６）。所定の値以外であれば、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１２０５）。merge_idxはマージインデックス復号部３０３１２で復号される（以下同様）。
Ｓ１２０４：参照ピクチャインデックスref_idx_LXを参照し、対象ブロックにインターレイヤ予測が含まれるかを判定する。インターレイヤ予測が含まれる場合（anyIvRefPicFlagが１）には、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１２０５）。そうでなければ（anyIvRefPicFlagが０）、照度補償フラグic_enable_flagに０を設定する（Ｓ１２０６）
図４９は、インター予測パラメータ復号部３０３Ｆ２で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。照度補償フラグ復号部３０３１１Ｆ２は、内部の照度補償フラグ判定部３０３１４Ｆ２において、照度補償フラグを符号化データから復号するか否かを判定する。
条件ＳＦ２００１は、既に説明した式（Ｆ−１´）で表現される。
条件ＳＦ２００２は、以下の式で表現される。
merge_flag[ x0 ][ y0 ] && merge_idx[ x0 ][ y0 ] != 0 式（Ｆ−２´）
条件ＳＦ２００３は、既に説明した式（Ｆ−３）の式で表現される。
変形例Ｆ２では、Ｓ１２０１、Ｓ１２０３で行われる式（Ｆ−２´）の判定により、マージモードの場合においても、マージインデックスが所定の値である場合には、照度補償フラグic_enable_flagを符号化データから復号せず０に設定する。マージインデックスが所定の値（ここでは０）の場合には、参照ピクチャは対象ピクチャと同一レイヤである（動き予測である）ことが多い（動き予測であることが多い）。参照ピクチャが対象ピクチャと同一レイヤである場合には照度補償は有効ではないことから、このような場合に照度補償フラグic_enable_flagを符号化データから復号することは無駄である。変形例Ｆ２では、このような場合を防ぐことができる。
上記照度補償フラグ復号部３０３１１Ｆ２は、予測画像の生成対象である予測ユニットがマージモードであり、かつ、マージフラグインデックスが所定の値以外の場合に、照度補償フラグic_enable_flagを符号化データから復号する。また、予測ユニットがＡＭＶＰモードであり、かつ、予測ユニットの参照ピクチャインデックスがインターレイヤ予測を示す場合には、照度補償フラグic_enable_flagを符号化データから復号する。上記の何れでもない場合には、照度補償フラグic_enable_flagを符号化データから復号せずに照度補償を行わない。
変形例Ｆ２では、変形例１の効果Ｆ１に加え、また、マージモードの場合に、マージフラグインデックスが所定の値以外の場合に限定して、照度補償フラグを復号（符号化）することにより、照度補償フラグの符号量を削減する効果を奏する（効果Ｆ２）。
（インター予測パラメータ復号部の変形例Ｆ３）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ３を説明する。変形例Ｆ３では、追加予測として照度予測を行う場合を扱う。図５０は、インター予測パラメータ復号制御部３０３１Ｆ３の構成を示すブロック図である。図５０に示すように、インター予測パラメータ復号制御部３０３１Ｆ３は、照度補償フラグ復号部３０３１１Ｆ３、分割モード復号部、マージフラグ復号部３０３１７、マージインデックス復号部３０３１２、インター予測フラグ復号部、参照ピクチャインデックス復号部３０３１８、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部、特定マージインデックス照度補償スキップフラグ導出部３０３１９を備える。
照度補償フラグ復号部３０３１１Ｆ３は、照度補償フラグ判定部３０３１４Ｆ３において照度補償フラグic_enable_flagが符号化データに含まれると判定される場合、符号化データから照度補償フラグic_enable_flagを復号し、逆に符号化データに含まれないと判定される場合には、符号化データの復号を行わずに、照度補償フラグic_enable_flagに０を設定する。
特定マージインデックス照度補償スキップフラグ導出部３０３１９は、符号化データから特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagを導出する。
インター予測パラメータ復号部３０３Ｆ３を含む画像復号装置３１は、エントロピー復号部３０１として、エントロピー復号部３０１Ｆ３を含んでも良い。図５３は、エントロピー復号部３０１Ｆ３の構成を示すブロックである。エントロピー復号部３０１Ｆ３は内部に特定マージインデックス照度補償スキップフラグ導出部３０３１９を含み、符号化データからic_skip_mergeidx0_flagを復号し、照度補償フラグ判定部３０３１４Ｆ３に通知する。
図５１は、照度補償フラグ復号部３０３１１Ｆ３の動作を示すフローチャートである。
Ｓ１３０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであればマージモードであれば、Ｓ１３０２に遷移し、マージモードでなければ、Ｓ１３０４に遷移する。
Ｓ１３０２：特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagが有効であるかを判定し、有効であればＳ１３０３に遷移。有効でなければ、符号化データから、照度補償フラグを復号する（Ｓ１３０５）。ic_skip_mergeidx0_flagは、特定マージインデックス照度補償スキップフラグ導出部３０３１９で復号される（以下同様）。
Ｓ１３０３：マージインデックスmerge_idxを参照し、マージインデックスmerge_idxが所定の値であるか否かを判定する。所定の値の場合には、照度補償フラグic_enable_flagを０に設定する（Ｓ１３０６）。所定の値以外であれば、符号化データから、照度補償フラグic_enable_flagを復号する（Ｓ１３０５）
Ｓ１３０４：参照ピクチャインデックスref_idx_LXを参照し、対象ブロックにインターレイヤ予測が含まれるかを判定する。インターレイヤ予測が含まれる場合（anyIvRefPicFlagが１）には、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１３０５）。そうでなければ（anyIvRefPicFlagが０）、照度補償フラグic_enable_flagに０を設定する（Ｓ１３０６）
図５２は、インター予測パラメータ復号部３０３Ｆ３で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。
条件ＳＦ１１０１は、既に説明した式（Ｆ−１´）で表現される。
条件ＳＦ１２０２は、以下の式で表現される。
merge_flag[ x0 ][ y0 ] &&(merge_idx[ x0 ][ y0 ] != 0 || !ic_skip_mergeidx0_flag) 式（Ｆ−２´´´）
条件ＳＦ１３０３は、既に説明した式（Ｆ−３）の式で表現される。
変形例Ｆ３では、Ｓ１３０１〜Ｓ１３０３で行われる式（Ｆ−２´´´）の判定により、マージモードの場合においても、ic_skip_mergeidx0_flagが１かつ、マージインデックスmerge_idxが所定の値である場合には、照度補償フラグic_enable_flagを復号せず０とする。これによりマージインデックスmerge_idxが動き予測であることが多いマージ候補であることを示す場合に、照度補償フラグic_enable_flagを復号するような無駄を防ぐことができる。変形例Ｆ３は変形例Ｆ２と異なりic_skip_mergeidx0_flagが１である場合にのみ、マージインデックスmerge_idxによる判定（マージ候補の特定）を行う。これは、参照ピクチャの構造、及びシーケンスによっては、マージインデックスmerge_idxが所定の値の場合にも、インターレイヤ予測の割合が高く、照度予測を行わないマージ候補の選定を行うと逆に符号化効率を低下させることがあるためである。
図５４は、特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagの符号化データの構成を示す図である。図５４のＳＦ３００４に示すとおり、スライスヘッダにおいて、スライス単位の照度補償フラグslice_ic_enable_flagが有効である場合に、ic_skip_mergeidx0_flagが符号化される。
変形例Ｆ３では、変形例１の効果Ｆ１に加え、変形例２の効果Ｆ２に加え、さらに、マージフラグインデックスが所定の値以外の場合に限定する場合を、特定マージインデックス照度補償スキップフラグが有効である場合に限定することにより、特定マージインデックスの場合でもインターレイヤ予測が多く用いる場合には照度補償を用いることができる。参照ピクチャと符号化対象ピクチャとのピクチャ間隔が離れた場合のような、対象ピクチャでインターレイヤ予測が多く用いられる場合では、特定マージインデックスの場合でもインターレイヤ予測が多く用いるため、照度補償を有効に活用する効果を奏する（効果Ｆ３）。
また、変形例Ｆ３の特定マージインデックス照度補償スキップフラグ導出部３０３１９は、特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagを符号化データから復号する。上記のようにマージフラグインデックスが所定の値以外の場合に限定するか否かを示すフラグを、符号化データから導出することによって、符号化装置で、ピクチャ構造や表示順序（ＰＯＣ）、シーケンスに応じて、照度予測を行わないマージ候補を設定するか否かを、設定することができるため、符号化効率が向上する効果を奏する。
（特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｂ）
変形例Ｆ３の別の構成として、ic_skip_mergeidx0_flagを符号化データから復号せず、表示順序（ＰＯＣ）から導出しても良い。以下、特定マージインデックス照度補償スキップフラグ導出部３０３１９の代わりに、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｂを用いる構成を説明する。
図５５は、階層参照構造と呼ばれる参照構造の場合の例を示す。この例は、周期８の場合であり、ＰＯＣが０、８、４、２、１、３、６、４、７の順で符号化される。ＰＯＣが８のピクチャでは、参照ピクチャは０であり、ＰＯＣが４のピクチャでは、参照ピクチャは８と０、ＰＯＣが２のピクチャでは、参照ピクチャは４と０、ＰＯＣが１のピクチャでは、参照ピクチャは２と０である。この場合、ＰＯＣが８のピクチャ（ＰＯＣ％８＝０）の場合、最も時間間隔が短い参照ピクチャまでの距離（ＰＯＣの差）は８であり、ＰＯＣが４のピクチャ（ＰＯＣ％４＝０）では４、ＰＯＣが２のピクチャ（ＰＯＣ％２＝０）では２、ＰＯＣが１のピクチャ（ＰＯＣ％２＝１）では１のように、ＰＯＣに応じて、参照ピクチャまでの時間間隔が異なる。参照ピクチャまでの時間間隔が大きい場合、異なる時間の同じレイヤの参照ピクチャよりも、同じ時間の異なるレイヤの参照ピクチャの方が対象画像に近くなるため、参照ピクチャとして使用されやすい。すなわち、インターレイヤ画像が参照ピクチャとして使用されやすい（インターレイヤ予測が使用されやすい）。
図５６（ａ）は、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｂの動作を示すフローチャートである。
Ｓ３００７Ｂ 参照ピクチャと所定の値PERIOD（ここでは８）との剰余が０である場合には、同じレイヤの参照ピクチャの時間間隔が大きく、インターレイヤ予測が使用されやすいと判定し、ic_skip_mergeidx0_flagを０とする（Ｓ３００８）。それ以外の場合には、ic_skip_mergeidx0_flagを１とする（Ｓ３００９）。
すなわち、以下の式によってic_skip_mergeidx0_flagを導出する。
ic_skip_mergeidx0_flag ＝ (（pic_order_count % PERIOD）== 0 )? 0 : 1
従って、特定の周期ではic_skip_mergeidx0_flagが１となる。この場合に、上記の照度補償フラグ復号部３０３１１Ｆ３によれば、マージインデックスが特定の値において照度補償フラグを符号化データから復号せずに０となる。
（特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｃ）
変形例Ｆ３のさらに別の構成として、ic_skip_mergeidx0_flagを符号化データから復号せず、表示順序（ＰＯＣ）と参照ピクチャリストに含まれる参照ピクチャとの距離に応じて導出しても良い。以下、特定マージインデックス照度補償スキップフラグ導出部３０３１９の代わりに、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｃを用いる構成を説明する。
図５６（ｂ）は、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｃの動作を示すフローチャートである。
Ｓ３００７Ｃ 対象ピクチャのＰＯＣと、参照ピクチャのＰＯＣが大きい場合には、同じレイヤの参照ピクチャの時間間隔が大きく、インターレイヤ予測が使用されやすいと判定し、ic_skip_mergeidx0_flagを０とする（Ｓ３００８）。それ以外の場合には、ic_skip_mergeidx0_flagを１とする（Ｓ３００９）。
参照ピクチャリストＬ０、Ｌ１に含まれる参照ピクチャを走査し、対象ピクチャと異なるレイヤの参照ピクチャの内、対象ピクチャに最も近いＰＯＣの参照ピクチャaPicＸを特定する。
具体的には、対象ピクチャがcurrPicの場合、参照ピクチャリストＬ０、Ｌ１に含まれる参照ピクチャであって、対象ピクチャと同じレイヤのピクチャaPicにおいて、ＰＯＣ間隔
DiffPicOrderCnt( aPic, currPic )
が最小となるaPicである、aPicXを特定する。特定されたaPicXと、対象ピクチャとのＰＯＣ距離が所定の値THよりも大きい場合（ステップＳ３００７ＣにおけるＰＯＣ間隔が大きい場合の判定）には、インターレイヤ予測が使用されやすいため、ic_skip_mergeidx0_flagを０とする。
ic_skip_mergeidx0_flag = DiffPicOrderCnt( aPic, currPic ) > TH ? 0 : 1
なお、上記条件は所定の値THよりも小さい場合（もしくは以下の場合）にic_skip_mergeidx0_flagを１とすることと等価である。
特定マージインデックス照度補償スキップフラグ導出部は、特定マージインデックス照度補償スキップフラグを表示順序（ＰＯＣ）を用いて導出することを特徴とする。
（特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｄ）
変形例Ｆ３のさらに別の構成として、ic_skip_mergeidx0_flagを符号化データから復号せず、参照ピクチャにおいて、イントラ予測が用いられるか否かに応じて導出しても良い。以下、特定マージインデックス照度補償スキップフラグ導出部３０３１９の代わりに、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｄを用いる構成を説明する。
図５７は、特定マージインデックス照度補償スキップフラグ導出部３０３１９Ｄの動作を示すフローチャートである。
Ｓ３００７Ｄ 対象ブロックに対応する位置に属する、参照ピクチャのブロックにおいて、イントラ予測が用いられているかを判定する。イントラ予測が用いられている場合には、インターレイヤ予測が使用されやすいと判定し、ic_skip_mergeidx0_flagを０とする（Ｓ３００８）。それ以外の場合には、ic_skip_mergeidx0_flagを１とする（Ｓ３００９）。
すなわち、以下の式によってic_skip_mergeidx0_flagを導出する。
ic_skip_mergeidx0_flag ＝ (ＰＲＥＤ＿ＭＯＤＥ [x0][y0] of xxx is MODE_INTRA)? 0 : 1
特定マージインデックス照度補償スキップフラグ導出部は、対象ブロックに対応する位置に属する、第１のレイヤ画像のブロックにおいて、イントラ予測が用いられているか否かに応じて、特定マージインデックス照度補償スキップフラグを導出することを特徴とする。
（インター予測パラメータ復号部の変形例Ｆ４）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ４を説明する。変形例Ｆ４では、追加予測として照度予測を行う場合を扱う。図５８は、インター予測パラメータ復号制御部３０３１Ｆ４の構成を示すブロック図である。図５８に示すように、インター予測パラメータ復号制御部３０３１Ｆ４は、照度補償フラグ復号部３０３１１Ｆ４、分割モード復号部、マージフラグ復号部３０３１７、マージインデックス復号部３０３１２、インター予測フラグ復号部、参照ピクチャインデックス復号部３０３１８、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部、特定マージインデックス照度補償スキップフラグ導出部３０３１９を備える。
照度補償フラグ復号部３０３１１Ｆ４は、照度補償フラグ判定部３０３１４Ｆ４において照度補償フラグic_enable_flagが符号化データに含まれると判定される場合、符号化データから照度補償フラグic_enable_flagを復号し、逆に符号化データに含まれないと判定される場合には、符号化データの復号を行わずに、照度補償フラグic_enable_flagに０を設定する。
図５９は、照度補償フラグ復号部３０３１１Ｆ４の動作を示すフローチャートである。
Ｓ１４００：分割モードpart_modeを参照し、part_modeが対象符号化ユニットを分割しないことを示す２Ｎ×２Ｎか否かを判定する。２Ｎ×２Ｎ以外の場合には、照度補償フラグic_enable_flagを０に設定する（Ｓ１４０６）。２Ｎ×２Ｎの場合にはＳ１４０１に遷移する。
Ｓ１４０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであれば（merge_flag=1）、Ｓ１４０２に遷移し、マージモードでなければ（merge_flag=0）、Ｓ１４０４に遷移する。Ｓ１４０４：対象ブロックに隣接する隣接ブロックの参照ピクチャインデックスref_idx_LXを参照し、対象ブロックにインターレイヤ予測が含まれるかを判定する。隣接ブロックにインターレイヤ予測が含まれる場合（anyNeighIvRefPicFlagが１）には、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１４０５）。そうでなければ（anyNeighIvRefPicFlagが０）、照度補償フラグic_enable_flagに０を設定する（Ｓ１４０６）
図６０は、インター予測パラメータ復号部３０３Ｆ３で復号される符号化データの構成を示す図である。
条件ＳＦ１１０１は、既に説明した式（Ｆ−１´）で表現される。
条件ＳＦ１２０２は、以下の式で表現される。
merge_flag[ x0 ][ y0 ] && anyNeighIvRefPicFlag 式（Ｆ−２´´´´）
条件ＳＦ１００３は、既に説明した式（Ｆ−３）の式で表現される。
なお、式（Ｆ−２´´´´）中のanyNeighIvRefPicFlagは、対象ブロックの座標が[x0][y0]である場合において、以下の式をX=0、X=1に対して実行することで導出される（Y=1-X）。すなわち、式（Ｆ−８）では、参照リストLXにおいて、L0とL1の両方を参照することにより、インターレイヤ予測が用いられるか否かが導出される。
anyIvRefPicFlag = anyIvRefPicFlag || inter_pred_idc[ x0-1 ][ y0 ] ! = Pred_LY && refViewIdxLX[ x0-1 ][ y0 ] ! = ViewIdx) || inter_pred_idc[ x0 ][ y0-1 ] ! = Pred_LY && refViewIdxLX[ x0 ][ y0-1 ] ! = ViewIdx) 式（Ｆ−８）
ここで、座標[x0 - 1][y0]は、対象ブロックの左に隣接するブロックの座標、座標[x0][y0-1]は、対象ブロックの上に隣接するブロックの座標を示し、上記式は、対象ブロックの左に隣接するブロックもしくは、対象ブロックの上に隣接するブロックがインターレイヤ予測（refViewIdxLX とViewIdxが異なる場合）であれば、隣接ブロックにインターレイヤ予測を用いていると判定する。
変形例Ｆ４では、予測ユニットがマージモードである場合には、対象ブロックの参照ピクチャインデックスref_idx_LXによらずに、対象ブロックに隣接するブロックの参照ピクチャインデックスref_idx_LXに応じて、照度補償フラグic_enable_flagを符号化データから復号するか否かを判定することにより、照度補償フラグic_enable_flagのパースに、対象ブロックのマージモードの予測パラメータ（参照ピクチャインデックスref_idx_LX）の導出が必要であるというパース依存性を解決する効果を奏する。
（インター予測パラメータ復号部の変形例Ｆ５）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ５を説明する。変形例Ｆ５では、追加予測として照度予測を行う場合を扱う。図６１は、インター予測パラメータ復号制御部３０３１Ｆ５の構成を示すブロック図である。図６１に示すように、インター予測パラメータ復号制御部３０３１Ｆ５は、照度補償フラグ復号部３０３１１Ｆ５、参照ピクチャインデックス復号部３０３１８を備える。
照度補償フラグ復号部３０３１１Ｆ５は、対象ＣＵに含まれる予測ユニットにおいてＬ０予測でインターレイヤ予測が行われる場合(後述のanyIvRefPicFlagInL0が１)に照度補償フラグic_enable_flagを符号化データから復号する。それ以外の場合には、ic_enable_flagに０を設定する。
図６２は、照度補償フラグ復号部３０３１１Ｆ５の動作を示すフローチャートである。
Ｓ１５０１：Ｌ０リストから導出される参照ピクチャを参照して、対象ブロックにインターレイヤ予測を行う予測ユニットが含まれるか（anyIvRefPicInL0Flag）を判定する。Ｌ０リストを用いた予測において、インターレイヤ予測を行う予測ユニットが含まれる場合（anyIvRefPicInL0Flagが１）には、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１５０５）。そうでなければ（anyIvRefPicInL0Flagが０）、照度補償フラグic_enable_flagに０を設定する（Ｓ１５０６）
anyIvRefPicInL0Flagは、対象ブロック（対象ＣＵ）の座標が[x0][y0]である場合において、以下の式により導出する。式（Ｆ−８）と異なるL0の参照リストのみを参照するため、インターレイヤ予測を行う予測ユニットが含まれるか否かの判定が容易になる。
anyIvRefPicInL0Flag = anyIvRefPicInL0Flag | |
(inter_pred_idc[ x0 ][ y0 ] ! = Pred_L1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdx) | |
(inter_pred_idc[ x0 ][ y1 ] ! = Pred_L1 && refViewIdxL0[ x0 ][ y1 ] ! = ViewIdx) | |
(inter_pred_idc[ x1 ][ y0 ] ! = Pred_L1 && refViewIdxL0[ x1 ][ y0 ] ! = ViewIdx) | |
(inter_pred_idc[ x1 ][ y1 ] ! = Pred_L1 && refViewIdxL0[ x1 ][ y1 ] ! = ViewIdx) 式（Ｆ−８´）
なお、インター予測フラグinter_pred_idcと予測リストフラグpredFlagLXは相互に対応するため、インターレイヤ予測が用いられるか否かの判定式として、式（Ｆ−８´）の代わりに以下の式を用いることもできる。
anyIvRefPicInL0Flag = anyIvRefPicInL0Flag | |
(prefFlagL0[ x0 ][ y0 ] == 1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdx) ||
(prefFlagL0[ x0 ][ y1 ] == 1 && refViewIdxL0[ x0 ][ y1 ] ! = ViewIdx) ||
(prefFlagL0[ x1 ][ y0 ] == 1 && refViewIdxL0[ x1 ][ y0 ] ! = ViewIdx) ||
(prefFlagL0[ x1 ][ y1 ] == 1 && refViewIdxL0[ x1 ][ y1 ] ! = ViewIdx) 式（Ｆ−８´´）
ここで、x1、y1は、対象ＣＵに複数の予測ユニットが含まれている場合における予測ユニットの座標を示す。具体的には、座標[x0][x0]が１つ目の予測ユニット、座標[x0][y1]が２つ目の予測ユニット、座標[x1][y0]が３つ目の予測ユニット、座標[x1][y1]が３つ目の予測ユニットに対応する。インター予測フラグinter_pred_idc[][]は、予測ユニットの予測方向を示し、Ｌ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）の何れかである。従って、インター予測フラグinter_pred_idc[][]がPred_L1ではないとは、L0予測もしくは双予測の場合を意味する。この時、L0の参照レイヤ（ここでは参照ビュー）をrefViewIdxL0により参照し、それが、対象レイヤ（対象ビュー）ViewIdx以外の場合に、Ｌ０予測にインターレイヤ予測が用いられることになる。上記式では、対象ＣＵに含まれる全ての予測ユニットにおいて、インターレイヤ予測が用いられるか否かを示すinter_pred_idc[ x0 ][ y0 ] ! = Pred_L1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdxの導出し、その和(||)を得ることによって、対象ＣＵに含まれるいずれかの予測ユニットにおいて、Ｌ０の予測が行われるか否かを示す。
なお、refViewIdxL0[ x0 ][ y ]は、座標[x][y]の予測ユニットがLXリストを用いて参照する参照ピクチャのビューＩＤを示す。式（Ｆ−６）のLXをL0に限定した以下の式により導出できる。
refViewIdxLX[ x ][ y ] = ViewIdx of the RefPicListL0[ref_idx_l0[ x ][ y ]] 式（Ｆ−６´）
式（Ｆ−８´）、式（Ｆ−８´´）では、L0の予測フラグpredFlagL0、L0の参照ピクチャインデックスref_idx_l0、L0参照ピクチャリストRefPicListL0のみを参照し、L1の予測フラグpredFlagL1、L1の参照ピクチャインデックスref_idx_l1、L1参照ピクチャリストRefPicListL1は参照しないため、インターレイヤ予測を行う予測ユニットが含まれるか否かの判定が容易になる。
図６３は、インター予測パラメータ復号部３０３Ｆ３で復号される符号化データの構成を示す図である。
条件ＳＦ１５０２は、既に説明したanyIvRefPicInL0Flagを条件とするもので、以下の式で表現される。
anyIvRefPicInL0Flag 式（Ｆ−２´´´´´）
さらに、変形例５も変形例１´と同様に、符号化ユニットの分割モードが分割しないことを示す２Ｎ×２Ｎの場合に限定しても良い（変形例Ｆ５´と呼ぶ）。符号化データの構成においては、条件ＳＦ１００１の代わりに、条件ＳＦ１１０１を用いる。また、anyIvRefPicInL0Flagでは、式（Ｆ−８）の代わりに、以下の式（Ｆ−９）を用いる。
anyIvRefPicInL0Flag = (inter_pred_idc[ x0 ][ y0 ] ! = Pred_L1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdx) 式（Ｆ−９）
なお、インター予測フラグinter_pred_idcと予測リストフラグpredFlagLXは相互に対応するため、インターレイヤ予測が用いられるか否かの判定式として、式（Ｆ−９）の代わりに以下の式を用いることもできる。
anyIvRefPicInL0Flag = (prefFlagL0[ x0 ][ y0 ] == 1 && refViewIdxL0[ x0 ][ y0 ] ! = ViewIdx) 式（Ｆ−９´）
以上、式（Ｆ−９）、式（Ｆ−９´）の判定式によれば、式（Ｆ−８´）、式（Ｆ−８´´）同様、インターレイヤ予測が行われるか否かの判定を、Ｌ１の参照ピクチャの情報だけに基づいて行うため、インターレイヤ予測が行われるか否かの判定が容易になる。
変形例Ｆ５の上記照度補償フラグ導出部は、照度補償フラグを導出する場合を、Ｌ０予測が行われる場合に限定することにより、照度補償フラグの符号量を削減する効果を奏する（効果Ｆ５a）。また、対象ＣＵに含まれる予測ユニットにおいてインターレイヤ予測が行われるか否かの判定を、Ｌ１の参照ピクチャの情報だけに基づいて行うため、インターレイヤ予測が行われるか否かの判定が容易になる（効果Ｆ５ａａ）。また、従来は、双予測の場合に、Ｌ０リストを用いた参照ピクチャによる動き補償画像と、Ｌ１リストを用いた参照ピクチャによる動き補償画像の両者に照度補償を行う可能性があるが、照度補償フラグを導出する場合を、Ｌ０リストを用いた参照ピクチャが用いられる場合に限定することによって、２つの動き補償画像の両方に照度補償を行うことがなくなるため、処理量を低減する効果を奏する（効果Ｆ５ｂ）。さらに、単に双予測の場合に、照度補償を禁止する場合と異なり、双予測の場合にも、Ｌ０リストを用いた参照ピクチャに対して照度補償が行われるため、限定による性能低下が殆ど生じないことが発明者の実験により得られている。
照度補償をＬ０に限定する変形例Ｆ５は、既に説明した変形例１〜変形例４と併用することができる。以下、変形例Ｆ６として、変形例５と変形例３を併用する場合のみを説明するが、他の例にも適用可能である。
（インター予測パラメータ復号部の変形例Ｆ６）
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ６を説明する。変形例Ｆ６では、追加予測として照度予測を行う場合を扱う。インター予測パラメータ復号制御部３０３１Ｆ６は、照度補償フラグ復号部３０３１１Ｆ６、参照ピクチャインデックス復号部３０３１８を備える。
以下、インター予測パラメータ復号部の変形例としてインター予測パラメータ復号部３０３Ｆ６を説明する。変形例Ｆ６では、追加予測として照度予測を行う場合を扱う。図６４は、インター予測パラメータ復号制御部３０３１Ｆ３の構成を示すブロック図である。図６４に示すように、インター予測パラメータ復号制御部３０３１Ｆ６は、照度補償フラグ復号部３０３１１Ｆ６、分割モード復号部、マージフラグ復号部３０３１７、マージインデックス復号部３０３１２、インター予測フラグ復号部、参照ピクチャインデックス復号部３０３１８、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部、特定マージインデックス照度補償スキップフラグ導出部３０３１９を備える。
図６５は、照度補償フラグ復号部３０３１１Ｆ６の動作を示すフローチャートである。
Ｓ１６０１：マージフラグmerge_flagを参照し、対象ブロックがマージモードであるか否か（merge_flagが１であるか否か）を判定する。対象ブロックがマージモードであればマージモードであれば、Ｓ１６０２に遷移し、マージモードでなければ、Ｓ１６０４に遷移する。
Ｓ１６０２：特定マージインデックス照度補償スキップフラグic_skip_mergeidx0_flagが有効であるかを判定し、有効であればＳ１６０３に遷移。有効でなければ、符号化データから、照度補償フラグを復号する（Ｓ１６０５）。ic_skip_mergeidx0_flagは、特定マージインデックス照度補償スキップフラグ導出部３０３１９で復号される（以下同様）。
Ｓ１６０３：マージインデックスmerge_idxを参照し、マージインデックスmerge_idxが所定の値であるか否かを判定する。所定の値の場合には、照度補償フラグic_enable_flagを０に設定する（Ｓ１６０６）。所定の値以外であれば、符号化データから、照度補償フラグic_enable_flagを復号する（Ｓ１６０５）
Ｓ１６０４：Ｌ０リストから導出される参照ピクチャを参照して、対象ブロックにインターレイヤ予測を行う予測ユニットが含まれるか（anyIvRefPicInL0Flag）を判定する。Ｌ０リストを用いた予測において、インターレイヤ予測を行う予測ユニットが含まれる場合（anyIvRefPicInL0Flagが１）には、符号化データから照度補償フラグic_enable_flagを復号する（Ｓ１６０５）。そうでなければ（anyIvRefPicInL0Flagが０）、照度補償フラグic_enable_flagに０を設定する（Ｓ１６０６）
ここで、anyIvRefPicInL0Flagの導出方法、ic_skip_mergeidx0_flagの導出方法は、変形例Ｆ５において既に説明した通りである。
図６６は、インター予測パラメータ復号部３０３Ｆ６で復号される照度補償フラグic_enable_flagの符号化データの構成を示す図である。
条件ＳＦ１１０１は、既に説明した式（Ｆ−１´）で表現される。
条件ＳＦ１２０２は、既に説明した式（Ｆ−２´´）で表現される。
条件ＳＦ１６０３は、次の式で表現される。
!merge_flag && anyIvRefPicInL0Flag 式（Ｆ−２´´´´´´）
変形例Ｆ６では、変形例１の効果Ｆ１、変形例２の効果Ｆ２、変形例３の効果Ｆ３に加え、変形例Ｆ６の効果Ｆ６ａの効果を奏する。なお、変形例Ｆ６では、対象ブロックがマージモードである場合においては、参照ピクチャインデックスによる限定を行わない。従って、対象ブロックがマージモードの場合には、照度予測を用いる場合をＬ０リストを用いた参照ピクチャが用いられる場合に必ずしも限定されない。しかしながら、後述の照度補償部３０９３Ｆもしくは照度補償部３０９３Ｇを用いることによりＬ０制限により処理量を低減する効果を奏する（効果Ｆ５ｂ）ことができる。
＜残差格納部３１３＞
残差格納部３１３は、逆量子化・逆ＤＣＴ部３１１において、第１レイヤ画像（ベースレイヤ、ベースビュー）に対して導出された残差信号を格納する。図３８は、残差格納部３１３の構成を示す図である。
図３８（ａ）は、残差予測部３０９２において、参照レイヤで得られた残差の値の範囲を制限して読み出す場合に対応する残差格納部３１３の構成である。残差格納部３１３は、残差値域制限部３１３１、残差格納メモリ３１３２、残差読み出し部３１３３から構成される。残差値域制限部３１３１は、画素のビット幅をｂｉｔＤｅｐｔｈＹとする場合に、残差の範囲を−１＜＜（ＢｉｔＤｅｐｔｈＹ−１）〜（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））−１に制限して残差格納メモリ３１３２に格納する。残差読み出し部３１３３は、残差格納メモリ３１３２に格納された残差を読み出す。
具体的には、以下の式のように、残差格納メモリ３１３２のメモリｒｅｓＳｔｏｒｅＳａｍｐｌｅｓに、残差ｒｅｓＳａｍｐｌｅｓ を記録する。
ｒｅｓＳｔｏｒｅＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］＝ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｓＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］
ここで、ｘｍｉｎ＝−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））、ｘｍａｘ ＝ （１＜＜（ＢｉｔＤｅｐｔｈＹ−１））−１、ｘ、ｙは、格納先の座標である。ｘは０以上、ｗｉｄｔｈ − １以下の整数、ｙは０以上、ｈｅｉｇｈｔ − １）以下の整数、ｗｉｄｔｈとｈｅｉｇｈｔは画面の幅と高さである。
残差格納メモリ３１３２は、残差をＢｉｔＤｅｐｔｈＹのビット幅で格納する。
残差読み出し部３１３３は、残差格納メモリ３１３２に記録した残差を以下のように読み出す。
ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘ ］［ ｙ ］＝ ］＝］＝ｒｅｓＳｔｏｒｅＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］
図３８（ｂ）は、残差格納部３１３の変形例である残差格納部３１３Ａを示す図であり、残差予測部３０９２Ａにおいて、参照レイヤの残差を読み出す際に、水平方向もしくは／かつ垂直方向の解像度を所定の倍率をＮとしてＮ分の１に間引いた位置の画素を参照する場合に対応する。残差格納部３１３Ａは、残差縮小部３１３１Ａ、残差格納メモリ３１３２、残差伸長部３１３３Ａを備える。
残差縮小部３１３１Ａは、画素のビット幅をｂｉｔＤｅｐｔｈＹとする場合に、残差の範囲を−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））〜（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））−１に制限した上で、Ｎ分の１に間引いた位置の画素の残差を残差格納メモリ３１３２に格納する。具体的には、以下の式のように、残差格納メモリ３１３２のメモリｒｅｓＳｔｏｒｅＳａｍｐｌｅｓに、残差ｒｅｓＳａｍｐｌｅｓ のＮ分の１に間引いた位置のサンプルを記録する。但しＮ＝１＜＜Ｋを満たす定数。
ｒｅｓＳｔｏｒｅＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］＝ ｃｌｉｐ３（ｘｍｉｎ， ｘｍａｘ， ｒｅｓＳａｍｐｌｅｓ［ Ｎ＊ｘ ］［ Ｎ＊ｙ ］）
ここで、ｘｍｉｎ＝−（１＜＜（ＢｉｔＤｅｐｔｈＹ−１））、ｘｍａｘ ＝ （１＜＜（ＢｉｔＤｅｐｔｈＹ−１））−１、ｘ、ｙは、格納先の座標である。ｘは０以上、（ｗｉｄｔｈ ＋ Ｎ − １） ／ Ｎ以下の整数、ｙは０以上、（ｈｅｉｇｈｔ ＋ Ｎ − １） ／ Ｎ以下の整数。ｗｉｄｔｈとｈｅｉｇｈｔは画面の幅と高さである。
残差格納メモリ３１３２は、残差をＢｉｔＤｅｐｔｈＹのビット幅で格納する。
残差伸長部３１３３Ａは、残差格納メモリ３１３２に記録した残差を以下のように読み出す。
ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘ ］［ ｙ ］ ＝ ｒｅｓＳｔｏｒｅＳａｍｐｌｅｓ［ ｘ／Ｎ ］［ ｙ／Ｎ ］
ここで、ｘ、ｙは、読み出し先の座標である。残差格納メモリ３１３２では空間方向に縮小されているため、読み出し先の座標（ｘ， ｙ）は、残差格納メモリ３１３２上の（ｘ／Ｎ， ｙ／Ｎ）に対応する。なお、この読み出し時に、線形補間などの補間処理を行っても良い。
（画像符号化装置の構成）
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図３９は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、残差格納部３１３（残差記録部）を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードｐｒｅｄＭｏｄｅを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルｍｖＬＸを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルｍｖＬＸは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルｍｖＬＸを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードｐｒｅｄＭｏｄｅを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルｄｖＬＸは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルｄｖＬＸを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ビューＩＤｖｉｅｗ＿ｉｄ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードｐｒｅｄＭｏｄｅを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスｍｅｒｇｅ＿ｉｄｘをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードｐｒｅｄＭｏｄｅを予測パラメータ符号化部１１１に出力する。
上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、追加予測として残差予測を行う場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行い、追加予測として照度補償を行う場合には、既に説明したように予測画像生成部１０１に含まれる照度補償部３０９３において照度補償予測を行う。
上記構成の残差予測部３０９２を含む動画像符号化装置によれば、対象レイヤの残差の推定において、参照レイヤで得られた残差の値の範囲を制限して読み出す。これにより、残差格納部３１３では、残差として、制限した範囲の値のみを格納すれば良いため、残差を記録するためのメモリ量を低下させる効果を奏する。
なお、残差予測部３０９２の代わりに、残差予測部３０９２Ｂを用いても良い。残差予測部３０９２Ｂを含む動画像符号化装置によれば、予測残差の導出において、輝度成分のみ残差の線形補間を行い、色差成分では、残差の線形補間を行わないことにより、予測残差の導出に用いる処理量を削減する効果を奏する。
なお、残差予測部３０９２の代わりに、残差予測部３０９２Ｃを用いても良い。残差予測部３０９２Ｃを含む動画像符号化装置によれば、予測残差の導出において、色差成分の残差に必要なビット数を削減することができるため、色差成分の残差を格納するメモリサイズを低減する効果を奏する。
なお、残差予測部３０９２の代わりに、残差予測部３０９２Ｄを用いても良い。残差予測部３０９２Ｄを含む動画像符号化装置によれば、予測残差の導出において、色差成分の残差を格納するメモリサイズを省略する効果を奏する。
なお、照度補償部３０９３の代わりに、照度補償部３０９３Ｂを用いても良い。照度補償部３０９３Ｂを含む動画像符号化装置によれば、画素ビット深度に応じて積算シフト値precShiftを用いて、積の和であるxyおよびxxを導出するため、所定の範囲、例えば３２ビットの範囲で第１パラメータと第２パラメータを導出することが可能であり、処理が容易になる効果を奏する。
なお、照度補償部３０９３の代わりに、照度補償部３０９３Ｃを用いても良い。照度補償部３０９３Ｃを含む動画像符号化装置によれば、共通シフト部３０９３１６２Ｃにより第１パラメータ、第２パラメータの両者とともに同じ正規化シフト値を用いて、値を正規化することため、処理が容易になるという効果を奏する。
なお、照度補償部３０９３の代わりに、照度補償部３０９３Ｄを用いても良い。照度補償部３０９３Ｄを含む動画像符号化装置によれば、復号画像の画素値と参照画像の画素値の積の和XYと、復号画像の画素値の和Yと参照画像の画素値の和Xの積から導出される第１パラメータa1から導出される値と、参照画像の画素値の２乗の和XXと、参照画像の画素値の和Xの２乗から導出される第２パラメータa2から導出される値との比較により、パラメータａを導出する。第２パラメータの逆数を引くテーブルinvTable[]を用いる必要が無いため処理が容易になる効果を奏する。
なお、照度補償部３０９３の代わりに、照度補償部３０９３Ｅを用いても良い。照度補償部３０９３Ｅを含む動画像符号化装置によれば、正則化項が加算された第１パラメータa1と第２パラメータa2からパラメータａを導出する。これにより、パラメータａが実質的に1に近くなる（実際には1<<iShiftに近くなる）ことにより、外れ値などがある場合において、推定されるパラメータが頑健になる。推定されるパラメータが頑健になることによって、照度補償の推定精度が向上し、符号化効率が向上する効果を奏する。
なお、照度補償部３０９３の代わりに、照度補償部３０９３Ｆを用いても良い。照度補償部３０９３Ｆを含む動画像符号化装置によれば、照度予測を用いる場合をＬ０リストを用いた参照ピクチャが用いられる動き補償画像に限定する（Ｌ０限定）のため性能を維持しながら（効果Ｆ５ｃ）、処理量を低減する効果を奏する（効果Ｆ５ｂ）
（予測画像生成部１０１の別の形態）
予測画像生成部１０１の別の形態では、残差予測部３０９２の代わりに、残差予測部３０９２Ａを備える。上記の構成によれば、残差の参照位置を制限して読み出すことにより、残差格納部３１３において、参照する位置の残差のみを格納すれば良いため、残差を記録するためのメモリ量を低下させるという効果を奏する。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸ、予測モードｐｒｅｄＭｏｄｅ、及びマージインデックスｍｅｒｇｅ＿ｉｄｘ等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームＴｅを生成し、生成した符号化ストリームＴｅを外部に出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームＴｅの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームＴｅとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードｐｒｅｄＭｏｄｅがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードｐｒｅｄＭｏｄｅがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードｐｒｅｄＭｏｄｅが示すイントラ予測モードＩｎｔｒａＩｎｔｒａＰｒｅｄＭｏｄｅをインター予測パラメータのセットとして定める。
（インター予測パラメータ符号化部の構成）
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
図４０は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、ＡＭＶＰ予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。
インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸを符号化する。
インター予測パラメータ符号化制御部１０３１は、図４１に示すように、追加予測フラグ符号化部１０３１１、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３、及び図示しない、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部１０３１３、ベクトル差分符号化部は各々、分割モードｐａｒｔ＿ｍｏｄｅ、マージフラグｍｅｒｇｅ＿ｆｌａｇ、マージインデックスｍｅｒｇｅ＿ｉｄｘ、インター予測フラグｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｘ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、予測ベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、差分ベクトルｍｖｄＬＸを符号化する。
追加予測フラグ符号化部１０３１１は、追加予測が行われるか否かを示すフラグｘｐｒｅｄ＿ｆｌａｇを符号化する。追加予測フラグ符号化部１０３１１は、内部に、追加予測フラグ判定部３０３１４を備える。追加予測フラグ判定部３０３１４は、既に説明したように、追加予測フラグｘｐｒｅｄ＿ｆｌａｇが符号化データに含まれるか否かを判定する。追加予測フラグ判定部３０３１４において、追加予測フラグが符号化データに含まれると判定された場合には、追加予測フラグ符号化部１０３１１は、エントロピー符号化部１０４に、追加予測フラグの復符号化を通知し、エントロピー符号化１０４を通じて符号化データ中に、追加予測フラグに対応するシンタックス要素を符号化する。逆に、追加予測フラグ判定部３０３１４において、符号化データに含まれない判定した場合には、追加予測フラグ符号化部１０３１１は、符号化データ中に、対応符号化単位（ＣＵ）に対応する追加予測フラグを符号化しない。
マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードｐｒｅｄＭｏｄｅがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスｍｅｒｇｅ＿ｉｄｘが入力される。マージインデックスｍｅｒｇｅ＿ｉｄｘは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスｍｅｒｇｅ＿ｉｄｘが示す参照ブロックの参照ピクチャインデックスｒｅｆＩｄｘＬＸ、ベクトルｍｖＬＸを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
ＡＭＶＰ予測パラメータ導出部１１２２は、上述のＡＭＶＰ予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
ＡＭＶＰ予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードｐｒｅｄＭｏｄｅがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルｍｖＬＸが入力される。ＡＭＶＰ予測パラメータ導出部１１２２は、入力されたベクトルｍｖＬＸに基づいて予測ベクトルｍｖｐＬＸを導出する。ＡＭＶＰ予測パラメータ導出部１１２２は、導出した予測ベクトルｍｖｐＬＸを減算部１１２３に出力する。なお、参照ピクチャインデックスｒｅｆＩｄｘ及びベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘは、予測パラメータ統合部１１２６に出力される。
（インター予測パラメータ符号化部の変形例Ａ）
以下、インター予測パラメータ符号化部の変形例としてインター予測パラメータ符号化部１０３１Ａを説明する。インター予測パラメータ符号化部１０３１Ａは、追加予測フラグ符号化部１０３１１Ａ、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３を備える。追加予測フラグ符号化部１０３１１Ａは内部に追加予測フラグ判定部３０３１４Ａを含んで構成される。
インター予測パラメータ符号化部１０３１Ａ、追加予測フラグ符号化部１０３１１Ａは、既に説明した、インター予測パラメータ復号部３０３Ａ、追加予測フラグ復号部３０３１１Ａに対応する手段であり、追加予測フラグ判定部３０３１４Ａでの追加予測フラグ
を符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ａでは、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ａでは、追加予測フラグの符号化を行う。
以上の変形例Ａの構成では、追加予測フラグを２つ用いる場合に、２つ目の追加予測フラグが存在するか否かの判定を、１つ目の追加予測フラグの値（例えばｒｅｓ＿ｐｒｅｄ＿ｆｌａｇ）に基づいて行うため、２つ目の追加予測フラグが存在するか否かの判定の判定を各ＰＵの予測パラメータ（例えば、ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓ）をチェックすることなく行えるため、追加予測フラグの復号処理が容易になるという効果を奏する。
（インター予測パラメータ符号化部の変形例Ａ２）
以下、インター予測パラメータ符号化部の変形例としてインター予測パラメータ符号化部１０３１Ａ２を説明する。インター予測パラメータ符号化部１０３１Ａ２は、追加予測フラグ符号化部１０３１１Ａ２、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３を備える。追加予測フラグ符号化部１０３１１Ａ２は内部に追加予測フラグ判定部３０３１４Ａ２を含んで構成される。
インター予測パラメータ符号化部１０３１Ａ２、追加予測フラグ符号化部１０３１１Ａ２は、既に説明した、インター予測パラメータ復号部３０３Ａ２、追加予測フラグ復号部３０３１１Ａ２に対応する手段であり、追加予測フラグ判定部３０３１４Ａ２での追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ａ２では、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ａ２では、追加予測フラグの符号化を行う。
以上の変形例Ａ２の構成では、１つ目のフラグが存在するか否かの判定には、ＰＵが変位予測を含むか否かの判定ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓが１であるかを用い、２つ目のフラグが存在するか否かの判定には、ＰＵが動き予測を含むか否かの判定ｄｉｓｐａｒｉｔｙ＿ｐｒｅｄ＿ｅｘｉｓｔｓが０であるかを用いる。以上の判定では、２つ目の追加予測フラグが存在するか否かの判定を、１つ目の追加予測フラグが存在する否かの判定に用いた値に基づいて行うため、２つ目の追加予測フラグが存在するか否かの判定の判定を各ＰＵの予測パラメータをチェックすることなく行えるため、追加予測フラグの復号処理が容易になるという効果を奏する。
（インター予測パラメータ符号化部の変形例Ｂ）
以下、インター予測パラメータ符号化部の変形例としてインター予測パラメータ符号化部１０３１Ｂを説明する。インター予測パラメータ符号化部１０３１Ｂは、追加予測フラグ符号化部１０３１１Ｂ、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３を備える。追加予測フラグ符号化部１０３１１Ｂは内部に追加予測フラグ判定部３０３１４Ｂを含んで構成される。
インター予測パラメータ符号化部１０３１Ｂ、追加予測フラグ符号化部１０３１１Ｂは、既に説明した、インター予測パラメータ復号部３０３Ｂ、追加予測フラグ復号部３０３１１Ｂに対応する手段であり、追加予測フラグ判定部３０３１４Ｂでの追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｂでは、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｂでは、追加予測フラグの符号化を行う。
以上の変形例Ｂによれば、追加予測フラグ判定部３０３１４Ｂにおいて、対象ＣＵに含まれる全てのＰＵの予測パラメータをチェックすることなく、先頭ＰＵの予測パラメータのみをチェックすれば良いため、追加予測フラグｘｐｒｅｄ（ここでは、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇと照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇ）が符号化データに含まれるか否かをチェックする処理が容易になるという効果を奏する。
（インター予測パラメータ符号化部の変形例Ｃ）
以下、インター予測パラメータ符号化部の変形例としてインター予測パラメータ符号化部１０３１Ｃを説明する。インター予測パラメータ符号化部１０３１Ｃは、追加予測フラグ符号化部１０３１１Ｃ、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３を備える。追加予測フラグ符号化部１０３１１Ｂは内部に追加予測フラグ判定部３０３１４Ｃを含んで構成される。
インター予測パラメータ符号化部１０３１Ｃ、追加予測フラグ符号化部１０３１１Ｃは、既に説明した、インター予測パラメータ復号部３０３Ｃ、追加予測フラグ復号部３０３１１Ｃに対応する手段であり、追加予測フラグ判定部３０３１４Ｃでの追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｃでは、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｃでは、追加予測フラグの符号化を行う。
以上の構成の追加予測フラグ符号化部１０３１１Ｃによれば、追加予測フラグを残差予測フラグと照度補償フラグに共通の共用フラグとすることにより、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。また、追加予測フラグとして、２つのフラグ（残差予測フラグと照度補償フラグ）の代わりに１つのフラグを符号化データ中に含めるため、フラグの符号量が減少する効果を奏する。
（インター予測パラメータ符号化部の変形例Ｄ）
以下、インター予測パラメータ符号化部の変形例としてインター予測パラメータ符号化部１０３１Ｄを説明する。インター予測パラメータ符号化部１０３１Ｄは、追加予測フラグ符号化部１０３１１Ｄ、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３を備える。追加予測フラグ符号化部１０３１１Ｂは内部に追加予測フラグ判定部３０３１４Ｃを含んで構成される。追加予測フラグ符号化部１０３１１Ｄは内部に追加予測フラグ判定部３０３１４Ｄを含んで構成される。
インター予測パラメータ符号化部１０３１Ｄ、追加予測フラグ符号化部１０３１１Ｄは、既に説明した、インター予測パラメータ復号部３０３Ｄ、追加予測フラグ復号部３０３１１Ｄに対応する手段であり、追加予測フラグ判定部３０３１４Ｄでの追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｄでは、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｄでは、追加予測フラグの符号化を行う。
（インター予測パラメータ復号部の変形例Ｄ２）
以下、インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｄ２を説明する。インター予測パラメータ符号化部１０３１Ｄ２は、追加予測フラグ符号化部１０３１１Ｄ２、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｄ２は内部に追加予測フラグ判定部３０３１４Ｄ２を含んで構成される。追加予測フラグ符号化部１０３１１Ｄは内部に追加予測フラグ判定部３０３１４Ｄ２を含んで構成される。
インター予測パラメータ符号化部１０３１Ｄ２、追加予測フラグ符号化部１０３１１Ｄ２は、既に説明した、インター予測パラメータ復号部３０３Ｄ２、追加予測フラグ復号部３０３１１Ｄ２に対応する手段であり、追加予測フラグ判定部３０３１４Ｄ２での追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｄ２では、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｄ２では、追加予測フラグの符号化を行う。
以上の構成の追加予測フラグ符号化部１０３１１Ｄ、追加予測フラグ符号化部１０３１１Ｄ２によれば、追加予測フラグをマージモードの場合に限定し、さらに、ＰＵ単位のフラグとすることにより、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、追加予測フラグ復号部３０３１１Ｄ２によれば、追加予測フラグを、マージインデックスｍｅｒｇｅ＿ｉｄｘが、インターレイヤマージ候補（インタービューマージ候補）を示す所定の値の場合のみに符号化することにより、追加予測が有効ではない場合に、追加予測フラグを符号化データに含めることがないため、符号化効率が向上するという効果を奏する。
（インター予測パラメータ符号化部の変形例Ｄ３）
以下、インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｄ３を説明する。インター予測パラメータ符号化部１０３１Ｄ３は、追加予測フラグ符号化部１０３１１Ｄ３、マージインデックス符号化部３０３１２Ｄ３、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｄ３は内部に追加予測フラグ判定部３０３１４Ｄ３を含んで構成される。追加予測フラグ符号化部１０３１１Ｄ３は内部に追加予測フラグ判定部３０３１４Ｄ３を含んで構成される。
インター予測パラメータ符号化部１０３１Ｄ３、追加予測フラグ符号化部１０３１１Ｄ３は、既に説明した、インター予測パラメータ復号部３０３Ｄ３、追加予測フラグ復号部３０３１１Ｄ３に対応する手段であり、追加予測フラグ判定部３０３１４Ｄ３での追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｄ３では、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｄ３では、追加予測フラグの符号化を行う。
以上の構成のインター予測パラメータ符号化部１０３１Ｄ３によれば、追加予測フラグをマージモードの場合に限定し、さらに、ＰＵ単位のフラグとすることにより、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、追加予測フラグを、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に符号化し、追加予測フラグが有効である場合には、マージインデックスｍｅｒｇｅ＿ｉｄｘの範囲を制限する（例えば１候補の場合には、マージインデックスを含めない）ことにより、追加予測が有効ではある場合に有効ではないマージインデックスを符号化しないため、符号化効率向上の効果を奏する。
（インター予測パラメータ符号化部の変形例Ｄ４）
以下、インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｄ４を説明する。インター予測パラメータ符号化部１０３１Ｄ４は、追加予測フラグ符号化部１０３１１Ｄ４、マージインデックス符号化部３０３１２Ｄ４、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｄ４は内部に追加予測フラグ判定部３０３１４Ｄ４を含んで構成される。追加予測フラグ符号化部１０３１１Ｄ４は内部に追加予測フラグ判定部３０３１４Ｄ４を含んで構成される。
インター予測パラメータ符号化部１０３１Ｄ４、追加予測フラグ符号化部１０３１１Ｄ４は、既に説明した、インター予測パラメータ復号部３０３Ｄ４、追加予測フラグ復号部３０３１１Ｄ４に対応する手段であり、追加予測フラグ判定部３０３１４Ｄ４での追加予測フラグを符号化データに含まれるか否かの判定方法は同じである。なお、インター予測パラメータ復号部３０３Ｄ４では、追加予測フラグを符号化データに含まれる場合、追加予測フラグの復号を行うが、インター予測パラメータ符号化部１０３１Ｄ４では、追加予測フラグの符号化を行う。
以上の構成のインター予測パラメータ復号部３０３Ｄ４によれば、追加予測フラグをＣＵ単位のフラグとするが、追加予測フラグが符号化データに存在するか否かの判定において、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなる、そのためパース依存性の課題を解決する効果を奏する。さらに、変形例Ｄ３と同様、マージインデックスｍｅｒｇｅ＿ｉｄｘの前に符号化される追加予測フラグを利用して、追加予測フラグが１である場合（追加予測を用いる場合）には、マージインデックスｍｅｒｇｅ＿ｉｄｘの範囲を制限する（例えば１候補の場合には、マージインデックスを含めない）ことにより、追加予測が有効ではある場合に有効ではないマージインデックスを符号化しないため、符号化効率向上の効果を奏する。
（画像符号化装置１１の変形例Ｅ）
以下、画像符号化装置１１の変形例を説明する。以下の変形例では、インター予測パラメータ符号化部１１２の代わりに、インター予測パラメータ符号化部１０３１Ｅを備え、マージ予測パラメータ導出部３０３６の代わりに、マージ予測パラメータ導出部３０３６Ｅを備える。それ以外の手段は、インター予測パラメータ符号化部１１２と同じであるため説明を省略する。
以上の構成の画像符号化装置１１によれば、追加予測を行うか否かの判定に、専用のシンタックス要素である追加予測フラグを用いることなく、予測パラメータを選択するためのインデックス（ここではマージインデックス）を用いる。この場合、追加予測フラグをＣＵ単位のフラグもしくはＰＵ単位のフラグとして含めないため、追加予測フラグが符号化データに存在するか否かの判定が不要になる、すなわち、追加予測フラグの符号化のために、ＰＵの予測パラメータを参照することがないため、予測パラメータとフラグの間の依存関係がなくなり、パース依存性の課題が解決される。これにより、追加予測フラグの復号処理が容易になるという効果を奏する。さらに、マージ候補導出部３０３６１Ｅで追加予測を行うマージ候補と、追加予測を行わないマージ候補を導出することにより、追加予測を行うか否かはマージ候補の一つとして選択することになる。これにより、追加予測が有効ではない場合において、ＰＵ単位で追加予測を行うか否かを選択することができるため、符号化効率が向上する。また、追加予測が効果的である予測パラメータの場合、例えば、インターレイヤマージ候補（動き予測）に限定して、追加予測を行うマージ候補を導出するため、追加予測が効果的ではない予測パラメータの場合に、追加予測を行う候補を設けることがないため、符号化効率が向上する。
（インター予測パラメータ符号化部の変形例Ｆ１）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ１を用いても良い。インター予測パラメータ符号化部１０３１Ｆ１は、追加予測フラグ符号化部１０３１１Ｆ１、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。
（インター予測パラメータ符号化部の変形例Ｆ２）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ２を用いても良い。インター予測パラメータ符号化部１０３１Ｆ２は、追加予測フラグ符号化部１０３１１Ｆ２、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｆ２は追加予測フラグ判定部３０３１４Ｆ２を備える。
（インター予測パラメータ符号化部の変形例Ｆ３）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ３を用いても良い。インター予測パラメータ符号化部１０３１Ｆ３は、追加予測フラグ符号化部１０３１１Ｆ３、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｆ３は追加予測フラグ判定部３０３１４Ｆ３を備える。
（インター予測パラメータ符号化部の変形例Ｆ４）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ４を用いても良い。インター予測パラメータ符号化部１０３１Ｆ４は、追加予測フラグ符号化部１０３１１Ｆ４、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｆ４は追加予測フラグ判定部３０３１４Ｆ４を備える。
（インター予測パラメータ符号化部の変形例Ｆ５）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ５を用いても良い。インター予測パラメータ符号化部１０３１Ｆ５は、追加予測フラグ符号化部１０３１１Ｆ５、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｆ５は追加予測フラグ判定部３０３１４Ｆ５を備える。
（インター予測パラメータ符号化部の変形例Ｆ６）
インター予測パラメータ符号化部の別の変形例としてインター予測パラメータ符号化部１０３１Ｆ５を用いても良い。インター予測パラメータ符号化部１０３１Ｆ６は、追加予測フラグ符号化部１０３１１Ｆ６、マージインデックス符号化部３０３１２、ベクトル候補インデックス符号化部３０３１３を備える。追加予測フラグ符号化部１０３１１Ｆ６は追加予測フラグ判定部３０３１４Ｆ６を備える。
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルｍｖＬＸからＡＭＶＰ予測パラメータ導出部１１２２から入力された予測ベクトルｍｖｐＬＸを減算して差分ベクトルｍｖｄＬＸを生成する。差分ベクトルｍｖｄＬＸは予測パラメータ統合部１１２６に出力する。
予測画像生成部１０１から入力された予測モードｐｒｅｄＭｏｄｅがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスｍｅｒｇｅ＿ｉｄｘをエントロピー符号化部１０４に出力する。
予測画像生成部１０１から入力された予測モードｐｒｅｄＭｏｄｅがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスｒｅｆＩｄｘＬＸ及びベクトルインデックスｍｖｐ＿ＬＸ＿ｉｄｘ、減算部１１２３から入力された差分ベクトルｍｖｄＬＸを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１−１１ｈ、画像復号装置３１−３１ｈのいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
〔まとめ〕
第１の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードである場合に、照度補償フラグを符号化データから復号し、上記予測ユニットがＡＭＶＰモードである場合には、上記予測ユニットの参照ピクチャインデックスがインターレイヤ予測を示す場合には、照度補償フラグを符号化データから復号し、上記の何れでもない場合には、照度補償フラグを符号化データから復号せずに照度補償を行わない、として導出することを特徴とする。
上記の第１の構成によれば、予測ユニットがマージモードである場合には、参照ピクチャインデックスによらずに、照度補償フラグを符号化データから復号することにより、マージモードの場合の、予測パラメータである参照ピクチャインデックスの導出が必要であるというパース依存性を解決する効果を奏する。
第２の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、符号化ユニットの分割モードが分割しないことを示す、２Ｎ×２Ｎである場合に、照度補償フラグを符号化データから復号し、それ以外の場合には、照度補償フラグを符号化データから復号せずに照度補償を行わない、として導出することを特徴とする。
上記のように、照度補償フラグを符号化する場合を符号化ユニットの分割モードが特定のモードの場合に限定することにより、照度補償フラグの符号量を削減する効果を奏する。
第３の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償部は、上記参照画像が、参照ピクチャリストＬ０を用いて指定された参照画像である場合に照度補償を行い、上記参照画像が、参照ピクチャリストＬ０以外を用いて指定された参照画像である場合には照度補償を行わないことを特徴とする。
上記のように、照度補償を行う場合を限定することにより、照度補償の処理量を削減する効果を奏する。
第４の構成の画像復号装置によれば、照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、
、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像から照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードでありマージフラグインデックスが所定の値以外の場合に、照度補償フラグを符号化データから復号し、上記予測ユニットがＡＭＶＰモードである場合には、上記予測ユニットの参照ピクチャインデックスがインターレイヤ予測を示す場合には、照度補償フラグを符号化データから復号し、上記の何れでもない場合には、照度補償フラグを符号化データから復号せずに照度補償を行わない、として導出することを特徴とする。
上記のように、予測ユニットがマージモードである場合には、参照ピクチャインデックスによらずに、照度補償フラグを符号化データから復号することにより、マージモードの場合の、予測パラメータである参照ピクチャインデックスの導出が必要であるというパース依存性を解決する効果を奏する。また、マージモードである場合にもマージフラグインデックスが所定の値以外の場合に限定して、照度補償フラグを復号（符号化）することにより、照度補償フラグの符号量を削減する効果を奏する。
第５の構成の画像復号装置によれば、特定マージインデックススキップフラグを導出する、特定マージインデックス照度補償スキップフラグ導出部を備え、
上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードでありマージフラグインデックスが所定の値以外の場合かつ上記特定マージインデックス照度補償スキップフラグが有効ではない場合、に、照度補償フラグを符号化データから復号し、上記予測ユニットがＡＭＶＰモードである場合には、上記予測ユニットの参照ピクチャインデックスがインターレイヤ予測を示す場合には、照度補償フラグを符号化データから復号し、上記の何れでもない場合には、照度補償フラグを符号化データから復号せずに照度補償を行わない、として導出することを特徴とする。
第６の構成の画像復号装置によれば、特定マージインデックス照度補償スキップフラグ導出部は、特定マージインデックス照度補償スキップフラグを符号化データから復号することを特徴とする。
上記のようにマージフラグインデックスが所定の値以外の場合に限定するか否かを示すフラグを、符号化データから導出することによって、符号化装置で、ピクチャ構造や表示順序（ＰＯＣ）、シーケンスに適した、設定することができるため、符号化効率が向上する効果を奏する。
第７の構成の画像復号装置によれば、動き補償画像に照度補償を適用する照度補償部を備え、上記照度補償部は、参照ピクチャ上の参照画像領域と、復号対象ピクチャ上の復号画像領域から照度変化パラメータとして、パラメータａとパラメータｂを導出する照度パラメータ推定部と、上記照度変化パラメータを用いて照度補償を行う照度補償フィルタを備え、照度補償フィルタは、参照ピクチャから得られる動き補償画像と上記パラメータａの積に上記パラメータｂを加え、所定の固定シフト定数だけ右シフトする、もしくは、上記パラメータａの積に所定の固定シフト定数だけ右シフトしてから上記パラメータｂを加えることで、照度補償を行い上記、照度パラメータ推定部は、参照画像の画素値の和を固定シフト値だけ左シフトした値から、パラメータａと、復号画像の画素値の和の積に基づいて、パラメータｂを導出することを特徴とする。
上記の構成の照度補償では、固定値である所定の固定シフト定数を用いて右シフトするため、変数を用いて右シフトする場合に比べて、SIMD演算などによる処理が容易になる効果を奏する。また、オフセット成分であるパラメータｂを右シフトの前に用いることにより、オフセット成分を右シフトの後に加えるよりも高い精度で演算することができる。
第８の構成の画像復号装置によれば、上記照度パラメータ推定部は、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータと、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから、パラメータａを導出し、さらに、上記照度パラメータ推定部は、画素ビット深度に応じて積算シフト値を導出し、参照画像の画素値と復号画像の画素値の積を上記積算シフト値だけ右シフトした値の和と、参照画像の画素値の和と復号画像の画素値の和の積を上記積算シフト値だけ右シフトした値から導出される第１パラメータと、参照画像の画素値の２乗を上記積算シフト値だけ右シフトした値の和と、参照画像の画素値の和の２乗を上記積算シフト値だけ右シフトした値から導出される第２パラメータから、パラメータａを導出することを特徴とする。
上記の構成の照度補償では、参照画像の画素値と復号画像の画素値の積の和、および、参照画像の画素値の和と復号画像の画素値の和の積の和をとる場合において、和をとる前に、画素ビット深度に応じて定まる積算シフト値で右シフトすることにより、所定の範囲、例えば３２ビットの範囲で第１パラメータと第２パラメータを導出することが可能であるため、処理が容易になる効果を奏する。
第９の構成の画像復号装置によれば、上記照度パラメータ推定部は、さらに、画素ビット深度の２倍と、画素数の２の対数に対応する数との和が、所定の定数以上の場合に、第１パラメータと第２パラメータを所定の固定シフト値で右シフトすることで、正規化することを特徴とする。
第１０の構成の画像復号装置によれば、上記照度パラメータ推定部は、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータと、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから、パラメータａを導出し、参照画像と復号画像から第１パラメータと第２パラメータを導出し、第２パラメータの大きさに応じて定まる正規化シフト値を導出し、上記第１パラメータと上記第２パラメータを上記正規化シフト値で右シフトすることにより正規化第１パラメータと正規化第２パラメータを導出し、正規化第１パラメータもしくは正規化第１パラメータに所定の定数をかけた値と、正規化第２パラメータからテーブルを参照することで定まるテーブル値との積を固定のシフト値だけ右シフトすることにより、パラメータａを導出することを特徴とする。
上記の構成の照度補償では、第１パラメータ、第２パラメータの両者とともに同じ正規化シフト値を用いて、値を正規化することため、第１パラメータと第２パラメータで異なる正規化パラメータを用いる場合に比べ処理が容易になるという効果を奏する。また、第１パラメータと第２パラメータで同じ正規化パラメータを用いることにより、テーブル値をかけた後のテーブルシフト値を固定値とすることができ、右シフト処理が容易になるという効果を奏する。
第１１の構成の画像復号装置によれば、上記照度パラメータ推定部は、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータと、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから、パラメータａを導出し、参照画像と復号画像から第１パラメータと第２パラメータを導出し、第１パラメータの上限を制限するためにクリップした後に正規化第１パラメータを導出するか、もしくは、正規化第１パラメータを導出した後に上限を制限するためにクリップを行うことにより、正規化第２パラメータからテーブルを参照することで定まるテーブル値をかける対象の値の範囲が制限されていることを特徴とする。
上記の構成の照度補償では、テーブル値にかける対象の値の大きさが制限されているため、第１パラメータの大きさにより定まる正規化シフト値を用いて第１パラメータの大きさを正規化することなく、第１パラメータ、第２パラメータの両者とともに同じ正規化シフト値を用いて、値を正規化する場合にも、テーブル値との積が所定の値（例えば、３２ビット範囲）を超えることなく演算を行うことができ、処理が容易になる。
第１２の構成の画像復号装置によれば、上記照度パラメータ推定部は、上記パラメータａとして、０以上、２５５以下の値を用いることを特徴とする。
上記の構成の照度補償では、パラメータａが８ビット非負整数の範囲にあることから、画素値のビット深度が８ビットである場合に、パラメータａと画素値の積を８ビット非負整数同士の積として処理することができるためSIMD演算などによる処理が容易になるという効果を奏する。
第１３の構成の画像復号装置によれば、上記パラメータａとして、０以上、１の固定シフト定数乗の２倍以下にクリップした値を用いることを特徴とする。
上記の構成の照度補償では、パラメータａの範囲を、照度補償が有効に働く範囲に限定することにより、照度予測の効果が増大するという効果を奏する。なお、照度補償パラメータが上記範囲を超える場合にも対象ブロックに関しては有効に働くこともある。しかしながら、予測画像に対して、上記範囲を超える照度予測が必要になる場合というのは、照度予測前の予測画像が適当ではないことを意味する。このような予測が適当ではないブロック、すなわち、動きベクトルや参照ピクチャなどの予測パラメータが適当ではないブロックに対して、照度補償を用いて大きな変更を加えることにより無理に予測を当てはめる場合、適当ではない予測パラメータを後続に伝えることになり、後続のブロックに悪影響を与えるため、符号化効率が低下する。
第１４の構成の画像復号装置によれば、上記、照度パラメータ推定部は、対象予測ユニットを正方形の場合のみ、照度予測を適用することを特徴とする。
上記の構成の照度補償では、動き補償ブロックのサイズを正方形に限定することにより、動き補償ブロックの横と縦の和である照度パラメータの導出に用いる復号画像と参照画像の画素数の和が２の指数乗になるため、オフセット成分であるパラメータｂを画素数の商により求める際に、動き補償ブロックのサイズの２倍の２の対数による右シフトにより導出することができる。割り算を用いずに、右シフトにより正確なオフセット値を導出することが可能であるため、処理が容易になる効果を奏する。
上記照度パラメータ推定部は、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータと、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから、パラメータａを導出し、参照画像と復号画像から第１パラメータと第２パラメータを導出し、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータから導出される値と、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから導出される値との比較により、パラメータａを導出することを特徴とする。
上記の構成の照度補償では、第１パラメータの第２パラメータの商に相当するパラメータａを導出する際に、第２パラメータの逆数を引くテーブルを用いる必要が無いため処理が容易になる効果を奏する。また、逆数を所定のサイズのテーブルで引くためには、通常第２パラメータを所定の範囲に抑えるための正規が必要になるが、この正規化処理が不要となる。また、第１パラメータと第２パラメータの逆数の積が所定の値を超えないために、第１パラメータを正規化する正規化処理も不要となる。
第１５の構成の画像復号装置によれば、上記照度補償部は、参照画像の画素値と復号画像の画素値の積の和と、参照画像の画素値の和と復号画像の画素値の和の積から導出される第１パラメータと、参照画像の画素値の２乗の和と、参照画像の画素値の和の２乗から導出される第２パラメータから、パラメータａを導出し、さらに、上記照度補償部は、第１パラメータと第２パラメータに同じ正則化項を加算するか、もしくは、第１パラメータを導出する要素および第２パラメータを導出する要素に同じ正則化項を加算する正則化項加算部を備えることを特徴とする。
これにより、パラメータａが所定の値に近くなるような正則化項を加算することにより、外れ値がある場合において、推定されるパラメータが頑健になる。推定されるパラメータが頑健になることによって、照度補償の推定精度が向上し、符号化効率が向上する効果を奏する。
第１７の構成の画像復号装置によれば、第１レイヤ画像の輝度成分の残差を記録する残差記録部と、上記残差記録部に記録された輝度成分の残差を用いて、上記第１レイヤ画像とは異なる第２レイヤ画像の予測画像を生成する予測画像生成部を備え、上記予測画像生成部は上記残差記録部から、輝度成分の残差を読み出す際に、残差を画素ビット幅から定まる所定のビット幅に収まる範囲にクリップする手段を備えることを特徴とする。
第１８の構成の画像復号装置によれば、上記画像復号装置は、第１レイヤ画像の色差成分の残差を記録せず、上記第１レイヤ画像とは異なる第２レイヤ画像の色差成分には、上記残差を用いた予測画像生成を行わないことを特徴とする。
第１９の構成の画像符号化装置によれば、第１レイヤ画像の輝度成分の残差を記録する残差記録部と、上記残差記録部に記録された輝度成分の残差を用いて、上記第１レイヤ画像とは異なる第２レイヤ画像の予測画像を生成する予測画像生成部を備え、上記予測画像生成部は上記残差記録部から、輝度成分の残差を読み出す際に、残差を画素ビット幅から定まる所定のビット幅に収まる範囲にクリップする手段を備えることを特徴とする。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１０３１Ａ…インター予測パラメータ符号化部
１０３１Ａ２…インター予測パラメータ符号化部
１０３１Ｂ…インター予測パラメータ符号化部
１０３１Ｃ…インター予測パラメータ符号化部
１０３１Ｄ…インター予測パラメータ符号化部
１０３１Ｄ２…インター予測パラメータ符号化部
１０３１Ｄ３…インター予測パラメータ符号化部
１０３１Ｄ４…インター予測パラメータ符号化部
１０３１Ｅ…インター予測パラメータ符号化部
１０３１Ｆ１…インター予測パラメータ符号化部
１０３１Ｆ２…インター予測パラメータ符号化部
１０３１Ｆ３…インター予測パラメータ符号化部
１０３１Ｆ４…インター予測パラメータ符号化部
１０３１Ｆ５…インター予測パラメータ符号化部
１０３１Ｆ６…インター予測パラメータ符号化部
１０３１１…追加予測フラグ符号化部
１０３１１Ｆ１…追加予測フラグ符号化部
１０３１１Ｆ２…追加予測フラグ符号化部
１０３１１Ｆ３…追加予測フラグ符号化部
１０３１１Ｆ４…追加予測フラグ符号化部
１０３１１Ｆ５…追加予測フラグ符号化部
１０３１１Ｆ６…追加予測フラグ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…ＡＭＶＰ予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３Ａ…インター予測パラメータ復号部
３０３Ａ２…インター予測パラメータ復号部
３０３Ｂ…インター予測パラメータ復号部
３０３Ｃ…インター予測パラメータ復号部
３０３Ｄ…インター予測パラメータ復号部
３０３Ｄ２…インター予測パラメータ復号部
３０３Ｄ３…インター予測パラメータ復号部
３０３Ｄ４…インター予測パラメータ復号部
３０３Ｅ…インター予測パラメータ復号部
３０３１…インター予測パラメータ復号制御部
３０３１Ｄ…インター予測パラメータ復号制御部
３０３１Ｅ…インター予測パラメータ復号制御部
３０３１１…追加予測フラグ復号部
３０３１１Ａ…追加予測フラグ復号部
３０３１１Ａ２…追加予測フラグ復号部
３０３１１Ｂ…追加予測フラグ復号部
３０３１１Ｃ…追加予測フラグ復号部
３０３１１Ｄ…追加予測フラグ復号部
３０３１１Ｄ２…追加予測フラグ復号部
３０３１１Ｄ３…追加予測フラグ復号部
３０３１１Ｄ４…追加予測フラグ復号部
３０３１１Ｆ１…照度補償フラグ復号部
３０３１１Ｆ２…照度補償フラグ復号部
３０３１１Ｆ３…照度補償フラグ復号部
３０３１１Ｆ４…照度補償フラグ復号部
３０３１１Ｆ５…照度補償フラグ復号部
３０３１１Ｆ６…照度補償フラグ復号部
３０３１１１…リファレンスレイヤ判定部
３０３１２…マージインデックス復号部
３０３１２Ｄ３…マージインデックス復号部
３０３１２Ｅ…マージインデックス復号部
３０３１３…ベクトル候補インデックス復号部
３０３１３Ｅ…ベクトル候補インデックス復号部
３０３１４…追加予測フラグ判定部
３０３１４Ａ…追加予測フラグ判定部
３０３１４Ａ２…追加予測フラグ判定部
３０３１４Ｂ…追加予測フラグ判定部
３０３１４Ｃ…追加予測フラグ判定部
３０３１４Ｄ…追加予測フラグ判定部
３０３１４Ｄ２…追加予測フラグ判定部
３０３１４Ｄ３…追加予測フラグ判定部
３０３１４Ｄ４…追加予測フラグ判定部
３０３１４１…レイヤ判定部
３０３１４２…全ＰＵパラメータ判定部
３０３１４２Ｂ…ＰＵ０パラメータ判定部
３０３１４３…インデックス判定部
３０３１５…残差予測判定部
３０３１６…照度補償判定部
３０３１９…特定マージインデックス照度補償スキップフラグ導出部
３０３１９Ｂ…特定マージインデックス照度補償スキップフラグ導出部
３０３１９Ｃ…特定マージインデックス照度補償スキップフラグ導出部
３０３１９Ｄ…特定マージインデックス照度補償スキップフラグ導出部
３０３２…ＡＭＶＰ予測パラメータ導出部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６Ｅ…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…インターレイヤマージ候補導出部
３０３６１２２…変位ベクトル取得部
３０３６１２３…インターレイヤ変位マージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６１Ｅ…マージ候補導出部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部
３０９２Ａ…残差予測部
３０９２Ｂ…残差予測部
３０９２Ｂ…残差予測部
３０９２Ｃ…残差予測部
３０９２Ｄ…残差予測部
３０９２１…残差取得部
３０９２１Ａ…残差取得部
３０９２２…残差フィルタ部
３０９３…照度補償部
３０９３Ｂ…照度補償部
３０９３Ｃ…照度補償部
３０９３Ｄ…照度補償部
３０９３Ｅ…照度補償部
３０９３Ｆ…照度補償部
３０９３Ｇ…照度補償部
３０９３Ｈ…照度補償部
３０９３１…照度パラメータ推定部
３０９３１Ｈ…照度パラメータ推定部
３０９３１１Ｂ…積算シフト値導出部
３０９３１２Ｂ…積算値導出部
３０９３１３Ｂ…加算値導出部
３０９３１３Ｈ…加算値導出部
３０９３１４Ｂ…第１パラメータ導出部
３０９３１４Ｃ…第１パラメータ導出部
３０９３１４Ｄ…第１パラメータ導出部
３０９３１４Ｈ…第１パラメータ導出部
３０９３１５Ｂ…第２パラメータ導出部
３０９３１５Ｈ…第２パラメータ導出部
３０９３１６Ｂ…パラメータａ導出部
３０９３１６Ｃ…パラメータａ導出部
３０９３１６Ｄ…パラメータａ導出部
３０９３１６Ｈ…パラメータａ導出部
３０９３１６Ｈ２…パラメータａ導出部
３０９３１６１Ｂ…第１パラメータクリップ部
３０９３１６１Ｈ…パラメータクリップ部
３０９３１６２Ｂ…第１パラメータシフト部
３０９３１６３Ｂ…第２パラメータシフト部
３０９３１６３Ｈ…第２正規化シフト部
３０９３１６４Ｂ…テーブルベースパラメータａ導出部
３０９３１６４Ｈ…テーブルベースパラメータａ導出部
３０９３１６５Ｈ…除算パラメータａ導出部
３０９３１６Ｃ…パラメータａ導出部
３０９３１６１Ｃ…第１パラメータクリップ部
３０９３１６２Ｃ…共通シフト部
３０９３１６４Ｃ…テーブルベースパラメータａ導出部
３０９３１７Ｂ…パラメータｂ導出部
３０９３１７Ｇ…パラメータｂ導出部
３０９３１７Ｈ…パラメータｂ導出部
３０９３１８Ｅ…正則化項加算部
３０９３１８Ｈ…正則化項加算部
３０９３２…照度補償フィルタ
３０９３２Ｂ…照度補償フィルタ部
３０９３２Ｂ´…照度補償フィルタ部
３０９３２Ｇ…照度補償フィルタ部
３０９４…重み予測部
３１０…イントラ予測画像生成部
３１０４Ｅ…ＬＭ予測部
３１０４Ｈ…ＬＭ予測部
３１０４１…ＬＭパラメータ推定部
３１０４１Ｈ…ＬＭパラメータ推定部
３１０４１１…ＬＭ積算シフト値導出部
３１０４１２…ＬＭ積算値導出部
３１０４１３…ＬＭ加算値導出部
３１０４１３Ｈ…ＬＭ加算値導出部
３１０４１４…ＬＭ第１パラメータ導出部
３１０４１４Ｈ…ＬＭ第１パラメータ導出部
３１０４１５…ＬＭ第２パラメータ導出部
３１０４１５Ｈ…ＬＭ第２パラメータ導出部
３１０４１６…ＬＭパラメータａ導出部
３１０４１６Ｈ…ＬＭパラメータａ導出部
３１０４１６Ｈ２…ＬＭパラメータａ導出部
３１０４１６１Ｈ…ＬＭパラメータクリップ部
３１０４１６３Ｈ…ＬＭ第２正規化シフト部
３１０４１６４Ｈ…ＬＭテーブルベースパラメータａ導出部
３１０４１６５Ｈ…ＬＭ除算パラメータａ導出部
３１０４１７…ＬＭパラメータｂ導出部
３１０４１７Ｈ…ＬＭパラメータｂ導出部
３１０４１８Ｅ…ＬＭ正則化項加算部
３１０４１８０Ｅ…ＬＭ正則化項導出部
３１０４１８０Ｈ…ＬＭ正則化項導出部
３１０４１８１Ｅ…ＬＭ第１パラメータ正則化項加算部
３１０４１８２Ｅ…ＬＭ第２パラメータ正則化項加算部
３１０４２…ＬＭフィルタ部
３１０４２Ｈ…ＬＭ予測フィルタ部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部
３１３Ａ…残差格納部
３１３１…残差値域制限部
３１３１Ａ…残差縮小部
３１３２…残差格納メモリ
３１３３…残差読み出し部
３１３３Ａ…残差伸長部
４１…画像表示装置

Claims (5)

  1. 照度補償を行うか否かを示す照度補償フラグを導出する照度補償フラグ導出部と、上記照度補償フラグが有効を示す値の場合に、対象画像上の対象予測ユニット周囲の画像と、上記対象予測ユニットに対応する参照画像の参照領域画像とから導出される照度変化パラメータを用いて、上記対象予測ユニットの予測画像を生成する照度補償部を備え、上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードであるか否かを判定し、マージモードであれば照度補償フラグを符号化データから復号することを特徴とする画像復号装置。
  2. 上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードであるか否かを判定し、マージインデックスが所定の値であるか否かを判定し、予測ユニットがマージモードであり、かつマージインデックスが所定の値以外であれば照度補償フラグを符号化データから復号することを特徴とする請求項１に記載の画像復号装置。
  3. 特定マージインデックス照度補償スキップフラグを導出する特定マージインデックス照度補償スキップフラグ導出部をさらに備え、
    上記照度補償フラグ導出部は、上記予測画像の生成対象である予測ユニットがマージモードであるか否かを判定し、マージインデックスが所定の値であるか否かを判定し、上記特定マージインデックス照度補償スキップフラグが有効であるか否かを判定し、予測ユニットがマージモードであり、かつ、（ｉ）マージインデックスが所定の値以外である場合、または（ｉｉ）上記特定マージインデックス照度補償スキップフラグが有効ではない場合に、照度補償フラグを符号化データから復号することを特徴とする請求項２に記載の画像復号装置。
  4. 上記特定マージインデックス照度補償スキップフラグ導出部は、上記特定マージインデックス照度補償スキップフラグをスライスヘッダから復号することを特徴とする請求項３に記載の画像復号装置。
  5. 上記照度補償フラグ導出部は、上記予測ユニットがマージモードではない場合には、上
    記予測ユニットの参照ピクチャがインタービュー予測を示す場合に、上記照度補償フラグを符号化データから復号することを特徴とする請求項１から４のいずれか１項に記載の画像復号装置。

JP2014554266A 2012-12-26 2013-11-28 画像復号装置 Expired - Fee Related JP6278900B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2012282385 2012-12-26
JP2012282385 2012-12-26
JP2013079644 2013-04-05
JP2013079644 2013-04-05
JP2013083047 2013-04-11
JP2013083047 2013-04-11
PCT/JP2013/082062 WO2014103606A1 (ja) 2012-12-26 2013-11-28 画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018004967A Division JP6435064B2 (ja) 2012-12-26 2018-01-16 画像復号装置および画像符号化装置

Publications (2)

Publication Number Publication Date
JPWO2014103606A1 JPWO2014103606A1 (ja) 2017-01-12
JP6278900B2 true JP6278900B2 (ja) 2018-02-14

Family

ID=51020700

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014554266A Expired - Fee Related JP6278900B2 (ja) 2012-12-26 2013-11-28 画像復号装置
JP2018004967A Expired - Fee Related JP6435064B2 (ja) 2012-12-26 2018-01-16 画像復号装置および画像符号化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018004967A Expired - Fee Related JP6435064B2 (ja) 2012-12-26 2018-01-16 画像復号装置および画像符号化装置

Country Status (3)

Country Link
US (2) US9948951B2 (ja)
JP (2) JP6278900B2 (ja)
WO (1) WO2014103606A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357211B2 (en) * 2012-12-28 2016-05-31 Qualcomm Incorporated Device and method for scalable and multiview/3D coding of video information
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN105340273B (zh) * 2013-04-05 2018-09-11 三星电子株式会社 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备
US20140307803A1 (en) 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US10085034B2 (en) * 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
US10321142B2 (en) * 2013-07-15 2019-06-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
WO2015056961A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
WO2015056647A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 映像符号化装置及び方法、及び、映像復号装置及び方法
EP3197163A4 (en) * 2014-10-07 2017-09-13 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using inter-layer prediction
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
US20180302641A1 (en) * 2015-10-05 2018-10-18 Sharp Kabushiki Kaisha Image predicting device for image decoding device or image encoding device
WO2018008905A1 (ko) * 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP6859715B2 (ja) * 2017-01-18 2021-04-14 富士ゼロックス株式会社 情報処理装置、三次元造形システム、及び情報処理プログラム
WO2019006363A1 (en) * 2017-06-30 2019-01-03 Vid Scale, Inc. LOCAL LIGHTING COMPENSATION USING GENERALIZED BI-PREDICTION
WO2019021803A1 (ja) * 2017-07-24 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
WO2019112394A1 (ko) 2017-12-07 2019-06-13 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
CN116684594A (zh) * 2018-04-30 2023-09-01 寰发股份有限公司 照度补偿方法及相应的电子装置
CN112740704B (zh) * 2018-09-21 2024-04-16 夏普株式会社 图像解码装置以及图像编码装置
US11290743B2 (en) * 2018-12-08 2022-03-29 Qualcomm Incorporated Interaction of illumination compensation with inter-prediction
US11985324B2 (en) 2019-03-14 2024-05-14 Hfi Innovation Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding
JP2022538069A (ja) * 2019-06-19 2022-08-31 エルジー エレクトロニクス インコーポレイティド 現在ブロックに対して最終的に予測モードを選択できない場合、インター予測を行う映像デコーディング方法及びその装置
KR20210153739A (ko) * 2019-06-19 2021-12-17 엘지전자 주식회사 디폴트 머지 모드에 기반하여 예측 샘플을 도출하는 영상 디코딩 방법 및 그 장치
JP7460664B2 (ja) 2019-06-19 2024-04-02 エルジー エレクトロニクス インコーポレイティド 決定された予測モードを適用して予測サンプルを生成する映像デコーディング方法及びその装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
KR102270787B1 (ko) * 2013-01-10 2021-06-29 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
JPWO2014103606A1 (ja) 2017-01-12
US20180199064A1 (en) 2018-07-12
WO2014103606A1 (ja) 2014-07-03
JP2018088693A (ja) 2018-06-07
US9948951B2 (en) 2018-04-17
US20150326881A1 (en) 2015-11-12
JP6435064B2 (ja) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6435064B2 (ja) 画像復号装置および画像符号化装置
ES2842109T3 (es) Predicción residual avanzada basada en bloques para la codificación de vídeo 3D
US9628795B2 (en) Block identification using disparity vector in video coding
JP6360053B2 (ja) 照度補償装置、画像復号装置、画像符号化装置
US9288507B2 (en) More accurate advanced residual prediction (ARP) for texture coding
WO2014050948A1 (ja) 画像復号装置及び画像符号化装置
US10587894B2 (en) Method and device for encoding/decoding 3D video
JPWO2014103529A1 (ja) 画像復号装置、およびデータ構造
WO2017061189A1 (ja) 画像復号装置または画像符号化装置のための画像予測装置
WO2017135151A1 (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2015056620A1 (ja) 画像復号装置、画像符号化装置
JP6118199B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。
WO2014103600A1 (ja) 符号化データ構造、および画像復号装置
WO2016056587A1 (ja) 変位配列導出装置、変位ベクトル導出装置、デフォルト参照ビューインデックス導出装置及びデプスルックアップテーブル導出装置
US20230291924A1 (en) Image decoding device, image encoding device, and method for decoding coded image
WO2015190510A1 (ja) 視点合成予測装置、画像復号装置及び画像符号化装置
JP2015080053A (ja) 画像復号装置、及び画像符号化装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6278900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees