JP7517348B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP7517348B2
JP7517348B2 JP2021564060A JP2021564060A JP7517348B2 JP 7517348 B2 JP7517348 B2 JP 7517348B2 JP 2021564060 A JP2021564060 A JP 2021564060A JP 2021564060 A JP2021564060 A JP 2021564060A JP 7517348 B2 JP7517348 B2 JP 7517348B2
Authority
JP
Japan
Prior art keywords
encoding
unit
transform
mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021564060A
Other languages
English (en)
Other versions
JPWO2021117866A1 (ja
Inventor
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021117866A1 publication Critical patent/JPWO2021117866A1/ja
Application granted granted Critical
Publication of JP7517348B2 publication Critical patent/JP7517348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、符号化の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
従来、動画像の予測残差を導出し、係数変換し、量子化して符号化する符号化方法が提案された（例えば、非特許文献１および非特許文献２参照）。非特許文献１に記載のVVC（Versatile Video Coding） Working Draftでは、ジョイント色差符号化モード(Joint CbCr mode) によらず、色差の変換スキップを適用することができた。これに対して、非特許文献２に記載のVVC VTM ソフトウエアの実装では、ジョイント色差符号化モードにおいて、色差変換スキップの適用が制限された。
非特許文献２に記載のようにジョイント色差符号化モードにおいて色差変換スキップの適用を制限する場合、ジョイント色差符号化モードにおける変換スキップフラグのシグナリングは不要である。つまり、ジョイント色差符号化モードにおける変換スキップフラグのシグナリングにより、符号量が不要に増大し、符号化効率が低減するおそれがあった。つまり、符号化効率が低減するおそれがあった。これに対して、非特許文献１に記載の方法の場合、ジョイント色差符号化モードにおいて色差変換スキップの適用が制限されないので、その変換スキップフラグの冗長による符号化効率の低減が抑制された。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Feneva, CH, 1-11 Oct 2019 Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)", JVET-P2002-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct. 2019
しかしながら、非特許文献１に記載の方法の場合、ジョイント色差符号化モードについて、変換スキップを適用する場合としない場合の両方を評価する必要がある。そのため、符号化の複雑度が増大し、符号化の負荷が増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化の負荷の増大を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する符号化モード設定部を備える画像処理装置である。
本技術の一側面の画像処理方法は、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプが、ジョイント色差符号化モードにおける変換タイプに設定され、そのジョイント色差符号化モードにおける符号化コストが導出されることにより、画像の符号化の符号化モードが設定される。
変換スキップフラグの設定について説明する図である。 符号化コスト導出のための変換スキップフラグの設定の例を示す図である。 画像符号化装置の主な構成例を示すブロック図である。 画像符号化処理の流れの例を示すフローチャートである。 符号化モード設定処理の流れの例を示すフローチャートである。 符号化モード設定処理の流れの例を示す、図５に続くフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 画像復号処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、以下の順序で説明する。
１．符号化モードの設定
２．第１の実施の形態（画像符号化装置）
３．第２の実施の形態（画像復号装置）
４．付記
＜１．符号化モードの設定＞
＜技術内容および技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知である以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
非特許文献４：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", February 2018
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となり得る。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
＜ジョイント色差符号化モードと変換スキップ＞
非特許文献１や非特許文献２に記載のVVC（Versatile Video Coding）では、直交変換をスキップ（省略）するモードである変換スキップを適用するか否かを示すフラグ情報である変換スキップフラグ（transform_skip_flag）が規定されている。図１のＡは、色差コンポーネントCbに関する変換スキップフラグのシンタックスの例を示す。図１のＢは、色差コンポーネントCrに関する変換スキップフラグのシンタックスの例を示す。
また、非特許文献１や非特許文献２に記載のVVCでは、CbとCrの両方の残差サンプルを単一の変換ブロックとして符号化するモードであるジョイント色差符号化モード（Joint CbCr mode）が用意されている。換言するに、ジョイント色差符号化モードは、CbとCrの両方の残差を導出可能な直交変換係数を符号化するモードである。このジョイント色差符号化モードでは、例えば、Cbの係数が符号化される。そして、復号の際、復号されたCbの係数を用いてCrの係数が導出される。このようにすることにより、符号化効率の向上が期待され得る。
＜符号化モードの設定における負荷の増大＞
ところで、非特許文献２に記載のVVC VTM ソフトウエアの実装では、ジョイント色差符号化モードにおいて、色差に適用される変換タイプが制限された。図１のＣにその例を示す。tu_joint_cbcr_residual_flagは、ジョイント色差符号化モードが適用されるか否かを示すフラグ情報である。tu_joint_cbcr_residual_flag = 1の場合、ジョイント色差符号化モードが適用されることを示す。tu_joint_cbcr_residual_flag = 0の場合、ジョイント色差符号化モードが適用されないことを示す（非ジョイント色差符号化モードとも称する）。
図１のＣに示されるように、非ジョイント色差符号化モードの場合、適用可能な変換タイプは、DCT2（Discrete Cosine Transform 2）と変換スキップ（TS）である。これに対して、ジョイント色差符号化モードの場合、適用可能な変換タイプはDCT2のみである。このように変換スキップの適用を制限すると、ジョイント色差符号化モードにおける変換スキップフラグのシグナリングは不要である。つまり、ジョイント色差符号化モードにおける変換スキップフラグのシグナリングにより、符号量が不要に増大し、符号化効率が低減するおそれがあった。
これに対して、非特許文献１に記載のVVC（Versatile Video Coding） Working Draftでは、ジョイント色差符号化モード(Joint CbCr mode) によらず、色差の変換スキップを適用することができた。図１のＤにその例を示す。図１のＤに示されるように、この場合、ジョイント色差符号化モードによらずDCT2と変換スキップが適用可能である。そのため、非特許文献２に記載の方法に比べて、その変換スキップフラグの冗長による符号化効率の低減を抑制することができた。
しかしながら、非特許文献１や非特許文献２に記載のVVCでは、複数の符号化モードが用意されており、その中から符号化コストが最小となる符号化モードが選択され、適用される。つまり、非特許文献１に記載の方法の場合、符号化の際に、ジョイント色差符号化モードと非ジョイント色差符号化モードのそれぞれについて、変換スキップを適用する場合としない場合の両方の符号化コストを評価する必要があった。したがって、符号化の複雑度が増大し、符号化の負荷が増大するおそれがあった。
＜変換タイプ設定の流用＞
そこで、符号化モードを設定する際に、非ジョイント色差符号化モードのときに最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、ジョイント色差符号化モードにおける符号化コストを求めるようにする。ここで、変換タイプは、上述のようにDCT2および変換スキップのいずれかであるようにしてもよい。その場合、非ジョイント色差符号化モードのときに最小符号化コストとなる色差変換スキップフラグの値を、ジョイント色差符号化モードにおける色差変換スキップフラグに設定すればよい。そのシンタックスの例を、図２に示す。図２において、「bestTsFlag [ codedCIdx ] in non-JointCbCr mode」が、非ジョイント色差符号化モードのときに最小符号化コストとなる色差変換スキップフラグを示す。また、「transform_skip_flag[codedCIdx] in JointCbCr mode」がジョイント色差符号化モードにおける色差変換スキップフラグを示す。
例えば、画像処理方法において、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する。
例えば、画像処理装置において、色差符号化モードにおける変換タイプに設定して、ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する符号化モード設定部を備えるようにする。
このようにすることにより、ジョイント色差モードにおいて、DCT2と変換スキップの両方のモードを探索することなく、ジョイント色差符号化モードの変換タイプを設定することができる。したがって、ジョイント色差符号化モードと非ジョイント色差符号化モードのそれぞれについて、変換スキップを適用する場合としない場合の両方の符号化コストを導出する場合に比べて、符号化の複雑度の増大を抑制し、符号化の負荷の増大を抑制することができる。したがって、例えば、高速に変換タイプを設定することができる。また、エンコーダのコストの増大を抑制することができる。
付言するに、非特許文献２に記載のようにジョイント色差符号化モードにおいて変換スキップの適用を制限する場合に比べて、符号化効率の低減を抑制することができる。
＜２．第１の実施の形態＞
＜画像符号化装置＞
図３は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図３に示される画像符号化装置３００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置３００は、上述の非特許文献のいずれかに記載の符号化方式で動画像の画像データを符号化することができる。
なお、図３においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図３に示されるものが全てとは限らない。つまり、画像符号化装置３００において、図３においてブロックとして示されていない処理部が存在したり、図３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図３に示されるように画像符号化装置３００は、制御部３０１、並べ替えバッファ３１１、演算部３１２、直交変換部３１３、量子化部３１４、符号化部３１５、蓄積バッファ３１６、逆量子化部３１７、逆直交変換部３１８、演算部３１９、インループフィルタ部３２０、フレームメモリ３２１、予測部３２２、およびレート制御部３２３を有する。
＜制御部＞
制御部３０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ３１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部３０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
これらの符号化パラメータの詳細については後述する。制御部３０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。例えば、ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、符号化部３１５と予測部３２２とに供給される。変換情報Tinfoは、符号化部３１５、直交変換部３１３、量子化部３１４、逆量子化部３１７、および逆直交変換部３１８に供給される。フィルタ情報Finfoは、インループフィルタ部３２０に供給される。
＜並べ替えバッファ＞
画像符号化装置３００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ３１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ３１１は、制御部３０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ３１１は、処理後の各入力画像を演算部３１２に供給する。また、並べ替えバッファ３１１は、その各入力画像（元画像）を、予測部３２２やインループフィルタ部３２０にも供給する。
＜演算部＞
演算部３１２は、処理単位のブロックに対応する画像I、および予測部３２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式に示されるように減算して、予測残差Dを導出し、それを直交変換部３１３に供給する。
D = I - P
＜直交変換部＞
直交変換部３１３は、係数変換に関する処理を実行する。例えば、直交変換部３１３は、演算部３１２から供給される予測残差Dを取得する。また、直交変換部３１３は、制御部３０１から供給される変換情報Tinfoを取得する。
直交変換部３１３は、その変換情報Tinfoに基づいて、予測残差Dに対して直交変換を行い、変換係数Coeffを導出する。例えば、直交変換部３１３は、予測残差Dをプライマリ変換してプライマリ変換係数を生成する。そして、直交変換部３１３は、そのプライマリ変換係数をセカンダリ変換してセカンダリ変換係数を生成する。直交変換部３１３は、その得られたセカンダリ変換係数を変換係数Coeffとして量子化部３１４に供給する。
なお、直交変換は、係数変換の一例であり、この例に限定されない。つまり、直交変換部３１３は、予測残差Dに対して任意の係数変換を実行することができる。付言するに、直交変換部３１３は、プライマリ変換およびセカンダリ変換として、それぞれ、任意の係数変換を実行することができる。
＜量子化部＞
量子化部３１４は、量子化に関する処理を実行する。例えば、量子化部３１４は、直交変換部３１３から供給される変換係数Coeffを取得する。また、量子化部３１４は、制御部３０１から供給される変換情報Tinfoを取得する。さらに、量子化部３１４は、その変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）する。なお、この量子化の方法は任意である。また、この量子化のレートは、レート制御部３２３により制御される。量子化部３１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数レベルlevelを、符号化部３１５および逆量子化部３１７に供給する。
＜符号化部＞
符号化部３１５は、符号化に関する処理を実行する。例えば、符号化部３１５は、量子化部３１４から供給された量子化変換係数レベルlevelを取得する。また、符号化部３１５は、制御部３０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を取得する。さらに、符号化部３１５は、インループフィルタ部３２０から供給されるフィルタ係数等のフィルタに関する情報を取得する。また、符号化部３１５は、予測部３２２から供給される最適な予測モードに関する情報を取得する。
符号化部３１５は、量子化変換係数レベルlevelを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。また、符号化部３１５は、その量子化変換係数レベルlevelから残差情報Rinfoを導出する。そして、符号化部３１５は、その導出した残差情報Rinfoを符号化し、ビット列を生成する。
符号化部３１５は、インループフィルタ部３２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含める。また、符号化部３１５は、予測部３２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部３１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
符号化部３１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部３１５は、その符号化データを蓄積バッファ３１６に供給する。
＜蓄積バッファ＞
蓄積バッファ３１６は、符号化部３１５において得られた符号化データを、一時的に保持する。蓄積バッファ３１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置３００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ３１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。
＜逆量子化部＞
逆量子化部３１７は、逆量子化に関する処理を実行する。例えば、逆量子化部３１７は、量子化部３１４から供給される量子化変換係数レベルlevelを取得する。また、逆量子化部３１７は、制御部３０１から供給される変換情報Tinfoを取得する。
逆量子化部３１７は、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部３１４において実行される量子化の逆処理である。逆量子化部３１７は、このような逆量子化により得られた変換係数Coeff_IQを、逆直交変換部３１８に供給する。
＜逆直交変換部＞
逆直交変換部３１８は、逆係数変換に関する処理を実行する。例えば、逆直交変換部３１８は、逆量子化部３１７から供給される変換係数Coeff_IQを取得する。また、逆直交変換部３１８は、制御部３０１から供給される変換情報Tinfoを取得する。
逆直交変換部３１８は、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換を実行し、予測残差D'を導出する。なお、この逆直交変換は、直交変換部３１３において実行される直交変換の逆処理である。例えば、逆直交変換部３１８は、変換係数Coeff_IQ（セカンダリ変換係数）を逆セカンダリ変換してプライマリ変換係数を生成する。また、逆直交変換部３１８は、そのプライマリ変換係数を逆プライマリ変換して予測残差D'を生成する。なお、逆セカンダリ変換は、直交変換部３１３において実行されるセカンダリ変換の逆処理である。また、逆プライマリ変換は、直交変換部３１３において実行されるプライマリ変換の逆処理である。
逆直交変換部３１８は、このような逆直交変換により得られた予測残差D'を演算部３１９に供給する。なお、逆直交変換部３１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部３１８については、復号側について行う説明（後述する）を適用することができる。
＜演算部＞
演算部３１９は、逆直交変換部３１８から供給される予測残差D'と、予測部３２２から供給される予測画像Pとを入力とする。演算部３１９は、その予測残差D'と、その予測残差D'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部３１９は、導出した局所復号画像Rlocalをインループフィルタ部３２０およびフレームメモリ３２１に供給する。
＜インループフィルタ部＞
インループフィルタ部３２０は、インループフィルタ処理に関する処理を実行する。例えば、インループフィルタ部３２０は、演算部３１９から供給される局所復号画像Rlocalと、制御部３０１から供給されるフィルタ情報Finfoと、並べ替えバッファ３１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部３２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部３２０に入力されるようにしてもよい。
インループフィルタ部３２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を実行する。インループフィルタ部３２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
例えば、インループフィルタ部３２０は、フィルタ処理として、バイラテラルフィルタを適用し得る。また、インループフィルタ部３２０は、フィルタ処理として、デブロッキングフィルタ（DBF（DeBlocking Filter））を適用し得る。さらに、インループフィルタ部３２０は、フィルタ処理として、適応オフセットフィルタ（SAO（Sample Adaptive Offset））を適用し得る。また、インループフィルタ部３２０は、フィルタ処理として、適応ループフィルタ（ALF(Adaptive Loop Filter)）を適用し得る。さらに、インループフィルタ部３２０は、フィルタ処理として、これらの内の複数のフィルタを組み合わせて適用し得る。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。例えば、インループフィルタ部３２０は、フィルタ処理として、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの４つのインループフィルタをこの順に適用する。
もちろん、インループフィルタ部３２０が実行するフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部３２０がウィーナーフィルタ等を適用するようにしてもよい。
インループフィルタ部３２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ３２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部３２０は、そのフィルタに関する情報を符号化部３１５に供給する。
＜フレームメモリ＞
フレームメモリ３２１は、画像に関するデータの記憶に関する処理を実行する。例えば、フレームメモリ３２１は、演算部３１９から供給される局所復号画像Rlocalや、インループフィルタ部３２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ３２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ３２１内のバッファへ格納する）。フレームメモリ３２１は、予測部３２２の要求に応じて、その復号画像R（またはその一部）を予測部３２２に供給する。
＜予測部＞
予測部３２２は、予測画像の生成に関する処理を実行する。例えば、予測部３２２は、制御部３０１から供給される予測モード情報Pinfoを取得する。また、予測部３２２は、並べ替えバッファ３１１から供給される入力画像（元画像）を取得する。さらに、予測部３２２は、フレームメモリ３２１から読み出す復号画像R（またはその一部）を取得する。
予測部３２２は、予測モード情報Pinfoや入力画像（元画像）を用いてインター予測やイントラ予測等の予測処理を実行する。つまり、予測部３２２は、復号画像Rを参照画像として参照して予測と動き補償を実行し、予測画像Pを生成する。
予測部３２２は、生成した予測画像Pを演算部３１２および演算部３１９に供給する。また、予測部３２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部３１５に供給する。
＜レート制御部＞
レート制御部３２３は、レート制御に関する処理を実行する。例えば、レート制御部３２３は、蓄積バッファ３１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部３１４の量子化動作のレートを制御する。
＜符号化モードの制御＞
以上のような構成の画像符号化装置３００に対して、＜１．符号化モードの設定＞において説明した本技術を適用する。つまり、＜変換タイプ設定の流用＞において上述したように、符号化モードの設定の際に、ジョイント色差符号化モードによらず、色差の変換スキップを適用することができるものとする。そして、非ジョイント色差符号化モードのときに最小符号化コストとなる変換タイプが、ジョイント色差符号化モードにおける変換タイプに設定されて、ジョイント色差符号化モードにおける符号化コストが導出されるようにする。
例えば、制御部３０１は、画像の符号化の符号化モードを設定する符号化モード設定部として作用する。そして、制御部３０１は、その符号化モードの設定において、ジョイント色差符号化モードによらず、色差の変換スキップを適用することができる。さらに、制御部３０１は、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する。
このようにすることにより、制御部３０１は、ジョイント色差モードにおいて、DCT2と変換スキップの両方のモードを探索することなく、ジョイント色差符号化モードの変換タイプを設定することができる。したがって、画像符号化装置３００は、非特許文献１に記載のようにジョイント色差符号化モードにおいて色差変換スキップの適用を制限しない場合に比べて、符号化の複雑度の増大を抑制し、符号化の負荷の増大を抑制することができる。したがって、例えば、画像符号化装置３００は、高速に変換タイプを設定することができる。また、画像符号化装置３００のコストの増大を抑制することができる。
付言するに、画像符号化装置３００は、非特許文献２に記載のようにジョイント色差符号化モードにおいて変換スキップの適用を制限する場合に比べて、符号化効率の低減を抑制することができる。
なお、図１のＤに示される例では、符号化モードの設定として、ジョイント色差符号化モードに関する設定と変換タイプの設定が実行される。この例と同様に、制御部３０１は、符号化モードの設定として、ジョイント色差符号化モードに関する設定と変換タイプの設定とを実行してもよい。
例えば、制御部３０１は、ジョイント色差符号化モードを適用するか否か（つまり、ジョイント色差符号化モードを適用するか、非ジョイント色差符号化モードを適用するか）を設定してもよい。また、制御部３０１は、ジョイント色差符号化モードを適用する場合、さらに、複数の候補の内のいずれのモードを適用するか（ジョイント色差符号化の内容）を設定しても良い。例えば、ジョイント色差符号化モードには、CrにCbと同じ係数を適用するモード、CrにCbの係数の符号反転したものを適用するモード、CrにCbの係数に1/2を乗算したものを適用するモード等、複数のモードを候補として設けることができる。さらに、制御部３０１は、変換タイプを何にするかを設定しても良い。
また、図１のＤに示される例では、ジョイント色差符号化モードにおいても変換スキップを適用し得る。この例と同様に、制御部３０１が、ジョイント色差符号化モードにおける変換タイプとして、変換スキップを適用するか否かを設定してもよい。つまり、ジョイント色差符号化モードを適用する場合、制御部３０１が、変換スキップを適用するか否かを示すフラグ情報である変換スキップフラグの値を設定しても良い。
その場合、制御部３０１は、図２に示されるように、非ジョイント色差符号化モードにおける最小符号化コストとなる変換スキップフラグの値（bestTsFlag）を、ジョイント色差符号化モードにおける変換スキップフラグ（transform_skip_flag）に設定してもよい。
また、図１のＤに示される例の場合、ジョイント色差符号化モードが適用され、変換スキップが適用されない場合（非変換スキップの場合）、変換タイプとしてDCT2が適用される。この例と同様に、制御部３０１が、ジョイント色差符号化モードにおいて変換スキップを適用しない場合、変換タイプとしてDCT2を適用してもよい。
以上のように制御部３０１が設定した符号化モードに関する情報は、例えばTinfo等として、直交変換部３１３や符号化部３１５に供給される。例えば、制御部３０１は、ジョイント色差符号化モードを適用するか否かを示すフラグ情報であるtu_joint_residual_flag、ジョイント色差符号化モードの内容を示すパラメータであるTuCResMode、変換スキップフラグ（transform_skip_flag（tsFlagとも称する））等の情報を、Tinfoとして、直交変換部３１３や符号化部３１５に供給する。
直交変換部３１３は、その情報に基づいて（つまり設定された符号化モードに従って）、演算部３１２により導出された予測残差Dを直交変換する。量子化部３１４は、直交変換部３１３により導出された変換係数Coeffを量子化する。また、符号化部３１５は、その情報に基づいて（つまり設定された符号化モードに従って）、量子化部３１４により導出された量子化変換係数レベルlevelを符号化し、符号化データを生成する。さらに、符号化部３１５は、その情報（例えば変換スキップフラグ等）を符号化し、量子化変換係数レベルlevelの符号化データに含める。
＜構成例＞
なお、これらの処理部（図３に示される制御部３０１等の各処理部）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよい。例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜画像符号化処理の流れ＞
次に、以上のような構成の画像符号化装置３００により実行される画像符号化処理の流れの例を、図４のフローチャートを参照して説明する。
画像符号化処理が開始されると、ステップＳ３０１において、並べ替えバッファ３１１は、制御部３０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
ステップＳ３０２において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像に対して、処理単位を設定する（ブロック分割する）。
ステップＳ３０３において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像についての符号化パラメータを決定（設定）する。
ステップＳ３０４において、予測部３２２は、予測処理を実行し、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部３２２は、イントラ予測を実行して最適なイントラ予測モードの予測画像等を生成する。また、予測部３２２は、インター予測を実行して最適なインター予測モードの予測画像等を生成する。さらに、予測部３２２は、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
ステップＳ３０５において、演算部３１２は、入力画像と、ステップＳ３０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部３１２は、入力画像と予測画像との予測残差Dを生成する。このようにして求められた予測残差Dは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ３０６において、直交変換部３１３は、ステップＳ３０５の処理により生成された予測残差Dに対する直交変換処理を実行し、変換係数Coeffを導出する。例えば、直交変換部３１３は、予測残差Dに対してプライマリ変換を実行してプライマリ変換係数を生成する。また、直交変換部３１３は、そのプライマリ変換係数に対してセカンダリ変換を実行してセカンダリ変換係数（変換係数Coeff）を生成する。
ステップＳ３０７において、量子化部３１４は、制御部３０１により算出された量子化パラメータを用いる等して、ステップＳ３０６の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。
ステップＳ３０８において、逆量子化部３１７は、ステップＳ３０７の処理により生成された量子化変換係数レベルlevelを、そのステップＳ３０７の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
ステップＳ３０９において、逆直交変換部３１８は、ステップＳ３０８の処理により得られた変換係数Coeff_IQを、ステップＳ３０６の直交変換処理に対応する方法で逆直交変換し、予測残差D'を導出する。例えば、逆直交変換部３１８は、変換係数Coeff_IQ（セカンダリ変換係数）に対して逆セカンダリ変換を実行してプライマリ変換係数を生成する。また、逆直交変換部３１８は、そのプライマリ変換係数に対して逆プライマリ変換を実行して予測残差D'を生成する。
なお、この逆直交変換処理は、復号側において実行される逆直交変換処理と同様である。したがって、このステップＳ３０９の逆直交変換処理については、後述する復号側についての説明を適用することができる。
ステップＳ３１０において、演算部３１９は、ステップＳ３０９の処理により導出された予測残差D'に、ステップＳ３０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
ステップＳ３１１において、インループフィルタ部３２０は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を実行する。
ステップＳ３１２において、フレームメモリ３２１は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像や、ステップＳ３１１においてフィルタ処理された、局所的に復号された復号画像を記憶する。
ステップＳ３１３において、符号化部３１５は、ステップＳ３０７の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部３１５は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部３１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部３１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
ステップＳ３１４において、蓄積バッファ３１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置３００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部３２３は、必要に応じてレート制御を実行する。
ステップＳ３１４の処理が終了すると、画像符号化処理が終了する。
＜符号化モードの制御＞
以上のような流れの画像符号化処理に対して＜１．符号化モードの設定＞において説明した本技術を適用する。つまり、＜変換タイプ設定の流用＞において上述したように、符号化モードの設定の際に、ジョイント色差符号化モードによらず、色差の変換スキップを適用することができるものとする。そして、非ジョイント色差符号化モードのときに最小符号化コストとなる変換タイプが、ジョイント色差符号化モードにおける変換タイプに設定されて、ジョイント色差符号化モードにおける符号化コストが導出されるようにする。
例えば、ステップＳ３０３において、制御部３０１は、符号化モード設定処理を実行し、画像の符号化の符号化モードを設定する。その符号化モードの設定において、ジョイント色差符号化モードによらず、色差の変換スキップを適用することができる。さらに、制御部３０１は、非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、ジョイント色差符号化モードにおける符号化コストを導出することにより、符号化モードを設定する。
直交変換部３１３は、ステップＳ３０６において、その設定された符号化モードに従って、予測残差Dを直交変換する。また、符号化部３１５は、ステップＳ３１３において、その設定された符号化モードに従って、量子化変換係数レベルlevelを符号化し、符号化データを生成する。さらに、符号化部３１５は、その符号化モードに関する情報（例えば変換スキップフラグ等）を符号化し、量子化変換係数レベルlevelの符号化データに含める。
このようにすることにより、制御部３０１は、ジョイント色差モードにおいて、DCT2と変換スキップの両方のモードを探索することなく、ジョイント色差符号化モードの変換タイプを設定することができる。したがって、画像符号化装置３００は、非特許文献１に記載のようにジョイント色差符号化モードにおいて色差変換スキップの適用を制限しない場合に比べて、符号化の複雑度の増大を抑制し、符号化の負荷の増大を抑制することができる。したがって、例えば、画像符号化装置３００は、高速に変換タイプを設定することができる。また、画像符号化装置３００のコストの増大を抑制することができる。
付言するに、画像符号化装置３００は、非特許文献２に記載のようにジョイント色差符号化モードにおいて変換スキップの適用を制限する場合に比べて、符号化効率の低減を抑制することができる。
＜符号化モード設定処理の流れ＞
図４のステップＳ３０３において実行される符号化モード設定処理の流れの例を、図５および図６のフローチャートを参照して説明する。
符号化モード設定処理が開始されると、制御部３０１は、ステップＳ３５１において、非ジョイント色差符号化モードに設定する。例えば、制御部３０１は、tu_joint_cbcr_residual_flagを偽（例えば「０」）に設定し、TuCResMode[xTbY][yTbY]を「０」に設定する。
ステップＳ３５２において、制御部３０１は、その非ジョイント色差符号化モードについて、各変換タイプの符号化コストを導出する。例えば、制御部３０１は、非ジョイント色差符号化モードにおいて、変換タイプがDCT2の場合と、変換タイプが変換スキップ（TS）の場合とのそれぞれの符号化コストを導出する。制御部３０１は、この処理を各色差コンポーネントCb,Crについて実行する。
ステップＳ３５３において、制御部３０１は、ステップＳ３５２の処理において導出した符号化コストの中で最小となる変換タイプを設定する。例えば、制御部３０１は、ステップＳ３５２の処理において導出した符号化コストが最小となる変換タイプに対応する変換スキップフラグの値をbestFlag[cIdx]へ設定する。制御部３０１は、この処理を各色差コンポーネントCb,Crについて実行する。
ステップＳ３５４において、制御部３０１は、非ジョイント色差符号化モードにおける色差cbf（coded block flag）に基づいてジョイント色差符号化モードを設定する。色差cbfは、そのブロックの変換係数を符号化するか否かを示すフラグ情報である。換言するに、色差cbfは、そのブロックに０でない変換係数が含まれるか否かを示すフラグ情報である。
例えば、制御部３０１は、tu_joint_cbcr_residual_flagを真（例えば「１」）に設定する。そして、制御部３０１は、色差コンポーネントCbの処理対象TUのcbfであるtu_cbf_cbと、色差コンポーネントCrの処理対象TUのcbfであるtu_cbf_crとに基づいて、TuCResMode[xTbY][yTbY]を設定する。
例えば、tu_cbf_cb == 1であり、かつ、tu_cbf_cr == 0である場合、制御部３０１は、TuCResMode[xTbY][yTbY]を「１」に設定する。また、tu_cbf_cb == 1であり、かつ、tu_cbf_cr == 1である場合、制御部３０１は、TuCResMode[xTbY][yTbY]を「２」に設定する。さらに、tu_cbf_cb == 0であり、かつ、tu_cbf_cr == 1である場合、制御部３０１は、TuCResMode[xTbY][yTbY]を「３」に設定する。
ステップＳ３５４の処理が終了すると、処理は図６に進む。図６のステップＳ３６１において、制御部３０１は、ステップＳ３５４において設定されたジョイント色差符号化モードに基づいて符号化コンポーネント識別子codedCIdxを設定する。例えば、制御部３０１は、TuCResMode[xTbY][yTbY]が「１」または「２」の場合codedCIdxを「１」（すなわちCb）に設定し、それ以外の場合codedCIdxを「２」（すなわちCr）に設定する。
ステップＳ３６２において、制御部３０１は、ステップＳ３５３において設定したbestTsFlag[cIdx]を、ジョイント色差符号化モードにおける変換スキップフラグtsFlag[codedCIdx]に設定する（tsFlag[codedCIdx] = bestTsFlag[cIdx]）。
ステップＳ３６３において、制御部３０１は、ジョイント色差符号化モードの符号化コストを導出する。上述したように、ステップＳ３６２において、ジョイント色差符号化モードにおける変換スキップフラグには、非ジョイント色差符号化モードにおける符号化コストが最小となる変換タイプに対応する変換スキップフラグの値が設定される。したがって、制御部３０１は、ジョイント色差符号化モードについては、その変換スキップフラグの値に対応するモードの符号化コストを導出すればよい。つまり、この場合、制御部３０１は、変換スキップを適用する場合としない場合との両方について符号化コストを導出する必要がない。したがって、制御部３０１は、ジョイント色差モードについての符号化コストをより容易に導出することができる。
ステップＳ３６４において、制御部３０１は、非ジョイント色差符号化モードの最小符号化コストとジョイント色差符号化モードの符号化コストとを比較し、その符号化コストが最小となるモードを選択する。
ステップＳ３６４の処理が終了すると、符号化モード設定処理が終了し、処理は、図４に戻る。
このようにすることにより、画像符号化装置３００は、非特許文献１に記載のようにジョイント色差符号化モードにおいて色差変換スキップの適用を制限しない場合に比べて、符号化の複雑度の増大を抑制し、符号化の負荷の増大を抑制することができる。したがって、例えば、画像符号化装置３００は、高速に変換タイプを設定することができる。また、画像符号化装置３００のコストの増大を抑制することができる。
付言するに、画像符号化装置３００は、非特許文献２に記載のようにジョイント色差符号化モードにおいて変換スキップの適用を制限する場合に比べて、符号化効率の低減を抑制することができる。
＜３．第２の実施の形態＞
＜画像復号装置＞
図７は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図７に示される画像復号装置４００は、動画像の符号化データを符号化する装置である。例えば、画像復号装置４００は、上述の非特許文献のいずれかに記載の復号方式で符号化データを復号することができる。例えば、画像復号装置４００は、上述の画像符号化装置３００により生成された符号化データ（ビットストリーム）を復号する。
なお、図７においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、画像復号装置４００において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図７において、画像復号装置４００は、蓄積バッファ４１１、復号部４１２、逆量子化部４１３、逆直交変換部４１４、演算部４１５、インループフィルタ部４１６、並べ替えバッファ４１７、フレームメモリ４１８、および予測部４１９を備えている。なお、予測部４１９は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置４００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。
＜蓄積バッファ＞
蓄積バッファ４１１は、画像復号装置４００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ４１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部４１２に供給する。
＜復号部＞
復号部４１２は、画像に関する復号についての処理を実行する。例えば、復号部４１２は、蓄積バッファ４１１から供給されるビットストリームを取得する。また、復号部４１２は、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部４１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）、SPS（Sequence Parameter Set）、PPS（Picture Parameter Set）、SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSizeや最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepthや最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepthや最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換処理および量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示す。オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
例えば、ヘッダ情報Hinfoには、コンポーネント間予測有効フラグ（ccp_enabled_flag）が含まれ得る。コンポーネント間予測有効フラグは、コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれ得る。
また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））が含まれ得る。コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
また、イントラ予測モード情報IPinfoには、多クラス線形予測モードフラグ（mclm_flag）が含まれ得る。多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
さらに、イントラ予測モード情報IPinfoには、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）が含まれ得る。色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式のような割り当て方となる。
chroma_sample_loc_type_idx == 0：Type2
chroma_sample_loc_type_idx == 1：Type3
chroma_sample_loc_type_idx == 2：Type0
chroma_sample_loc_type_idx == 3：Type1
なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（つまり、色差コンポーネントの画素位置に関する情報に格納されて）伝送される。
また、イントラ予測モード情報IPinfoには、色差MPM識別子（chroma_mpm_idx）が含まれ得る。色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
さらに、イントラ予測モード情報IPinfoには、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）が含まれ得る。
動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜変換情報Tinfo＞
変換情報Tinfoには、例えば、処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSizeが含まれ得る。なお、この処理対象変換ブロックの横幅サイズTBWSizeの代わりに、２を底とする対数値log2TBWSizeを適用してもよい。また、この処理対象変換ブロックの縦幅TBHSize代わりに、２を底とする対数値log2TBHSizeを適用してもよい。
また、変換情報Tinfoには、変換スキップフラグ（transform_skip_flag（またはts_flag））が含まれ得る。この変換スキップフラグは、係数変換（または逆係数変換）をスキップするか否かを示すフラグである。なお、この変換スキップフラグは、Y,Cb,Crのコンポーネント毎にシグナリングされてもよい（transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]）。
さらに、変換情報Tinfoには、スキャン識別子（scanIdx）、量子化パラメータ（qp）、量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））等のパラメータが含まれ得る。
もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば、残差データ有無フラグ（cbf（coded_block_flag））が含まれ得る。また、残差情報Rinfoには、ラスト非ゼロ係数X座標（last_sig_coeff_x_pos）やラスト非ゼロ係数Y座標（last_sig_coeff_y_pos）が含まれ得る。さらに、残差情報Rinfoには、サブブロック非ゼロ係数有無フラグ（coded_sub_block_flag）や非ゼロ係数有無フラグ（sig_coeff_flag）が含まれ得る。
また、残差情報Rinfoには、非ゼロ係数のレベルが１より大きいかを示すフラグであるGR1フラグ（gr1_flag）や、非ゼロ係数のレベルが２より大きいかを示すフラグであるGR2フラグ（gr2_flag）が含まれ得る。さらに、残差情報Rinfoには、非ゼロ係数の正負を示す符号であるサイン符号（sign_flag）が含まれ得る。また、残差情報Rinfoには、非ゼロ係数の残余レベルである非ゼロ係数残余レベル（coeff_abs_level_remaining）が含まれ得る。
もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜フィルタ情報Finfo＞
フィルタ情報Finfoには、フィルタ処理に関する制御情報が含まれる。例えば、フィルタ情報Finfoには、デブロッキングフィルタ(DBF)に関する制御情報が含まれ得る。また、フィルタ情報Finfoには、画素適応オフセット(SAO)に関する制御情報が含まれ得る。さらに、フィルタ情報Finfoには、適応ループフィルタ(ALF)に関する制御情報が含まれ得る。また、フィルタ情報Finfoには、その他の線形フィルタや非線形フィルタに関する制御情報が含まれ得る。
例えば、フィルタ情報Finfoには、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報が含まれ得る。また、フィルタ情報Finfoには、CU単位のフィルタOn制御情報またはOff制御情報が含まれ得る。さらに、フィルタ情報Finfoには、スライスやタイルの境界に関するフィルタOn制御情報やOff制御情報が含まれ得る。
もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
復号部４１２の説明に戻る。復号部４１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。復号部４１２は、その量子化変換係数レベルlevelを、逆量子化部４１３に供給する。
また、復号部４１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
ヘッダ情報Hinfoは、逆量子化部４１３、逆直交変換部４１４、予測部４１９、インループフィルタ部４１６に供給される。予測モード情報Pinfoは、逆量子化部４１３および予測部４１９に供給される。変換情報Tinfoは、逆量子化部４１３および逆直交変換部４１４に供給される。フィルタ情報Finfoは、インループフィルタ部４１６に供給される。
もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
＜逆量子化部＞
逆量子化部４１３は、逆量子化に関する処理を実行する。例えば、逆量子化部４１３は、復号部４１２から供給される変換情報Tinfoおよび量子化変換係数レベルlevelを取得する。また、逆量子化部４１３は、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。
なお、この逆量子化は、画像符号化装置３００の量子化部３１４による量子化の逆処理として実行される。また、この逆量子化は、画像符号化装置３００の逆量子化部３１７による逆量子化と同様の処理である。換言するに、逆量子化部３１７は、逆量子化部４１３と同様の処理（逆量子化）を実行する。
逆量子化部４１３は、導出した変換係数Coeff_IQを逆直交変換部４１４に供給する。
＜逆直交変換部＞
逆直交変換部４１４は、逆直交変換に関する処理を実行する。例えば、逆直交変換部４１４は、逆量子化部４１３から供給される変換係数Coeff_IQを取得する。また、逆直交変換部４１４は、復号部４１２から供給される変換情報Tinfoを取得する。
逆直交変換部４１４は、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換処理を実行し、予測残差D'を導出する。例えば、逆直交変換部４１４は、変換係数Coeff_IQを逆セカンダリ変換してプライマリ変換係数を生成する。また、逆直交変換部４１４は、そのプライマリ変換係数を逆プライマリ変換して予測残差D'を生成する。
なお、この逆直交変換は、画像符号化装置３００の直交変換部３１３による直交変換の逆処理として実行される。また、この逆直交変換は、画像符号化装置３００の逆直交変換部３１８による逆直交変換と同様の処理である。換言するに、逆直交変換部３１８は、逆直交変換部４１４と同様の処理（逆直交変換）を実行する。
逆直交変換部４１４は、導出した予測残差D'を演算部４１５に供給する。
＜演算部＞
演算部４１５は、画像に関する情報の加算に関する処理を実行する。例えば、演算部４１５は、逆直交変換部４１４から供給される予測残差D'を取得する。また、演算部４１５は、予測部４１９から供給される予測画像Pを取得する。演算部４１５は、以下の式に示されるように、予測残差D'とその予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出する。
Rlocal = D' + P
演算部４１５は、導出した局所復号画像Rlocalを、インループフィルタ部４１６およびフレームメモリ４１８に供給する。
＜インループフィルタ部＞
インループフィルタ部４１６は、インループフィルタ処理に関する処理を実行する。例えば、インループフィルタ部４１６は、演算部４１５から供給される局所復号画像Rlocalを取得する。また、インループフィルタ部４１６は、復号部４１２から供給されるフィルタ情報Finfoを取得する。なお、インループフィルタ部４１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
インループフィルタ部４１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を実行する。例えば、インループフィルタ部４１６は、フィルタ処理として、バイラテラルフィルタを適用し得る。また、インループフィルタ部４１６は、フィルタ処理として、デブロッキングフィルタを適用し得る。さらに、インループフィルタ部４１６は、フィルタ処理として、適応オフセットフィルタを適用し得る。また、インループフィルタ部４１６は、フィルタ処理として、適応ループフィルタを適用し得る。さらに、インループフィルタ部４１６は、フィルタ処理として、これらの内の複数のフィルタを組み合わせて適用し得る。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。例えば、インループフィルタ部４１６は、フィルタ処理として、バイラテラルフィルタ、デブロッキングフィルタ、適応オフセットフィルタ、適応ループフィルタの４つのインループフィルタをこの順に適用する。
インループフィルタ部４１６は、符号化側（例えば画像符号化装置３００のインループフィルタ部３２０）により実行されたフィルタ処理に対応するフィルタ処理を実行する。もちろん、インループフィルタ部４１６が実行するフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部４１６がウィーナーフィルタ等を適用するようにしてもよい。
インループフィルタ部４１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ４１７およびフレームメモリ４１８に供給する。
＜並べ替えバッファ＞
並べ替えバッファ４１７は、インループフィルタ部４１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ４１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ４１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ４１７は、並べ替えた復号画像R群を動画像データとして画像復号装置４００の外部に出力する。
＜フレームメモリ＞
フレームメモリ４１８は、画像に関するデータの記憶に関する処理を実行する。例えば、フレームメモリ４１８は、演算部４１５より供給される局所復号画像Rlocalを取得する。そして、フレームメモリ４１８は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築する。フレームメモリ４１８は、再構築した復号画像Rをフレームメモリ４１８内のバッファへ格納する。
また、フレームメモリ４１８は、インループフィルタ部４１６から供給される、インループフィルタ処理された局所復号画像Rlocalを取得する。そして、フレームメモリ４１８は、そのインループフィルタ処理された局所復号画像Rlocalを用いて、ピクチャ単位毎の復号画像Rを再構築する。フレームメモリ４１８は、再構築した復号画像Rをフレームメモリ４１８内のバッファへ格納する。
さらに、フレームメモリ４１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部４１９に供給する。
なお、フレームメモリ４１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
＜予測部＞
予測部４１９は、予測画像の生成に関する処理を実行する。例えば、予測部４１９は、復号部４１２から供給される予測モード情報Pinfoを取得する。また、予測部４１９は、その予測モード情報Pinfoによって指定される予測方法により予測処理を実行し、予測画像Pを導出する。その導出の際、予測部４１９は、その予測モード情報Pinfoによって指定される、フレームメモリ４１８に格納された復号画像R（またはその一部）を、参照画像として利用する。この復号画像Rは、フィルタ前のものであってもよいし、フィルタ後のものであってもよい。予測部４１９は、導出した予測画像Pを、演算部４１５に供給する。
＜構成例＞
なお、これらの処理部（蓄積バッファ４１１乃至予測部４１９）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよい。例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜画像復号処理の流れ＞
次に、以上のような構成の画像復号装置４００により実行される画像復号処理の流れの例を、図８のフローチャートを参照して説明する。
画像復号処理が開始されると、蓄積バッファ４１１は、ステップＳ４０１において、画像復号装置４００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
ステップＳ４０２において、復号部４１２は、その符号化データ（ビットストリーム）を復号し、量子化変換係数レベルlevelを得る。また、復号部４１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。
ステップＳ４０３において、逆量子化部４１３は、ステップＳ４０２の処理により得られた量子化変換係数レベルlevelに対して、符号化側で実行された量子化の逆処理である逆量子化を実行し、変換係数Coeff_IQを得る。
ステップＳ４０４において、逆直交変換部４１４は、ステップＳ４０３において得られた変換係数Coeff_IQに対して、符号化側で実行された直交変換処理の逆処理である逆直交変換処理を実行し、予測残差D'を得る。例えば、逆直交変換部４１４は、変換係数Coeff_IQ（セカンダリ変換係数）を逆セカンダリ変換してプライマリ変換係数を生成する。また、逆直交変換部４１４は、そのプライマリ変換係数を逆プライマリ変換して予測残差D'を生成する。
ステップＳ４０５において、予測部４１９は、ステップＳ４０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ４１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
ステップＳ４０６において、演算部４１５は、ステップＳ４０４において得られた予測残差D'と、ステップＳ４０５において得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
ステップＳ４０７において、インループフィルタ部４１６は、ステップＳ４０６の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を実行する。
ステップＳ４０８において、並べ替えバッファ４１７は、ステップＳ４０７の処理により得られた「フィルタ処理された局所復号画像Rlocal」を用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置４００の外部に出力される。
また、ステップＳ４０９において、フレームメモリ４１８は、ステップＳ４０６の処理により得られた局所復号画像Rlocal、および、ステップＳ４０７の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
ステップＳ４０９の処理が終了すると、画像復号処理が終了する。
＜４．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が実行される。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
＜本技術の適用対象＞
本技術は、任意の画像符号化方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化、予測等、画像符号化に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化や復号を実行する多視点画像符号化システム（または多視点画像復号システム）に適用することができる。その場合、各視点（ビュー（view））の符号化や復号において、本技術を適用するようにすればよい。
さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化を実行する階層画像符号化（スケーラブル符号化）システム（または階層画像復号システム）に適用することができる。その場合、各階層（レイヤ）の符号化や復号において、本技術を適用するようにすればよい。
また、以上においては、本技術の適用例として、画像符号化装置３００および画像復号装置４００について説明したが、本技術は、任意の構成に適用することができる。
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野や用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
コンピュータが実行するプログラムは、例えば、そのプログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、コンピュータが実行するプログラムは、そのプログラムを記述するステップの処理が、並列に実行されるようにしてもよい。さらに、コンピュータが実行するプログラムは、そのプログラムを記述するステップの処理が、呼び出されたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する符号化モード設定部
を備える画像処理装置。
（２） 前記符号化モード設定部は、前記符号化モードの設定として、前記ジョイント色差符号化モードに関する設定と前記変換タイプの設定とを実行する
（１）に記載の画像処理装置。
（３） 前記符号化モード設定部は、前記ジョイント色差符号化モードにおいて前記変換タイプとして、変換スキップを適用するかを設定する
（２）に記載の画像処理装置。
（４） 前記符号化モード設定部は、前記変換スキップを適用しない場合、前記変換タイプとしてDCT2を適用する
（３）に記載の画像処理装置。
（５） 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおける最小符号化コストとなる変換スキップフラグの値を、前記ジョイント色差符号化モードにおける前記変換スキップフラグに設定する
（３）または（４）に記載の画像処理装置。
（６） 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおける色差符号化ブロックフラグに基づいて前記ジョイント色差符号化モードを設定する
（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記符号化モード設定部は、設定した前記ジョイント色差符号化モードに基づいて符号化コンポーネント識別子を設定する
（６）に記載の画像処理装置。
（８） 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおいて、各変換タイプの符号化コストを導出し、導出した前記符号化コストの中で最小となる前記変換タイプを設定し、設定した前記変換タイプを前記ジョイント色差符号化モードにおける前記変換タイプに設定する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記符号化モード設定部は、前記非ジョイント色差符号化モードの最小符号化コストと前記ジョイント色差符号化モードの符号化コストとを比較し、前記符号化コストが最小となるモードを選択する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記符号化モード設定部により設定された前記符号化モードに従って、前記画像の係数データを直交変換する直交変換部をさらに備える
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記符号化モード設定部により設定された前記符号化モードに従って、前記直交変換部により直交変換された前記係数データを符号化する符号化部をさらに備える
（１０）に記載の画像処理装置。
（１２） 前記符号化モード設定部は、前記符号化モードとして、変換スキップを適用するかを示す変換スキップフラグを設定し、
前記符号化部は、前記符号化モード設定部により設定された前記変換スキップフラグを符号化する
（１１）に記載の画像処理装置。
（１３） 前記直交変換部により直交変換された前記係数データを量子化する量子化部をさらに備え、
前記符号化部は、前記量子化部により量子化された前記係数データを符号化する
（１１）または（１２）に記載の画像処理装置。
（１４） 前記画像と予測画像の残差を生成する演算部をさらに備え、
前記直交変換部は、前記残差の係数データを直交変換する
（１０）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する
画像処理方法。
３００ 画像符号化装置， ３０１ 制御部， ３１２ 演算部， ３１３ 直交変換部， ３１４ 量子化部， ３１５ 符号化部

Claims (15)

  1. 非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する符号化モード設定部
    を備える画像処理装置。
  2. 前記符号化モード設定部は、前記符号化モードの設定として、前記ジョイント色差符号化モードに関する設定と前記変換タイプの設定とを実行する
    請求項１に記載の画像処理装置。
  3. 前記符号化モード設定部は、前記ジョイント色差符号化モードにおいて前記変換タイプとして、変換スキップを適用するかを設定する
    請求項２に記載の画像処理装置。
  4. 前記符号化モード設定部は、前記変換スキップを適用しない場合、前記変換タイプとしてDCT2を適用する
    請求項３に記載の画像処理装置。
  5. 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおける最小符号化コストとなる変換スキップフラグの値を、前記ジョイント色差符号化モードにおける前記変換スキップフラグに設定する
    請求項３に記載の画像処理装置。
  6. 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおける色差符号化ブロックフラグに基づいて前記ジョイント色差符号化モードを設定する
    請求項２に記載の画像処理装置。
  7. 前記符号化モード設定部は、設定した前記ジョイント色差符号化モードに基づいて符号化コンポーネント識別子を設定する
    請求項６に記載の画像処理装置。
  8. 前記符号化モード設定部は、前記非ジョイント色差符号化モードにおいて、各変換タイプの符号化コストを導出し、導出した前記符号化コストの中で最小となる前記変換タイプを設定し、設定した前記変換タイプを前記ジョイント色差符号化モードにおける前記変換タイプに設定する
    請求項１に記載の画像処理装置。
  9. 前記符号化モード設定部は、前記非ジョイント色差符号化モードの最小符号化コストと前記ジョイント色差符号化モードの符号化コストとを比較し、前記符号化コストが最小となるモードを選択する
    請求項１に記載の画像処理装置。
  10. 前記符号化モード設定部により設定された前記符号化モードに従って、前記画像の係数データを直交変換する直交変換部をさらに備える
    請求項１に記載の画像処理装置。
  11. 前記符号化モード設定部により設定された前記符号化モードに従って、前記直交変換部により直交変換された前記係数データを符号化する符号化部をさらに備える
    請求項１０に記載の画像処理装置。
  12. 前記符号化モード設定部は、前記符号化モードとして、変換スキップを適用するかを示す変換スキップフラグを設定し、
    前記符号化部は、前記符号化モード設定部により設定された前記変換スキップフラグを符号化する
    請求項１１に記載の画像処理装置。
  13. 前記直交変換部により直交変換された前記係数データを量子化する量子化部をさらに備え、
    前記符号化部は、前記量子化部により量子化された前記係数データを符号化する
    請求項１１に記載の画像処理装置。
  14. 前記画像と予測画像の残差を生成する演算部をさらに備え、
    前記直交変換部は、前記残差の係数データを直交変換する
    請求項１０に記載の画像処理装置。
  15. 非ジョイント色差符号化モードにおける最小符号化コストとなる変換タイプを、ジョイント色差符号化モードにおける変換タイプに設定して、前記ジョイント色差符号化モードにおける符号化コストを導出することにより、画像の符号化の符号化モードを設定する
    画像処理方法。
JP2021564060A 2019-12-12 2020-12-11 画像処理装置および方法 Active JP7517348B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962947304P 2019-12-12 2019-12-12
US62/947,304 2019-12-12
PCT/JP2020/046263 WO2021117866A1 (ja) 2019-12-12 2020-12-11 画像処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024095120A Division JP2024113189A (ja) 2019-12-12 2024-06-12 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2021117866A1 JPWO2021117866A1 (ja) 2021-06-17
JP7517348B2 true JP7517348B2 (ja) 2024-07-17

Family

ID=76329997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564060A Active JP7517348B2 (ja) 2019-12-12 2020-12-11 画像処理装置および方法

Country Status (6)

Country Link
US (1) US20220394256A1 (ja)
EP (2) EP4401407A2 (ja)
JP (1) JP7517348B2 (ja)
KR (1) KR20220113369A (ja)
CN (1) CN114762327A (ja)
WO (1) WO2021117866A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022082B2 (en) * 2019-09-27 2024-06-25 Sk Telecom Co., Ltd. Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus
CN114503566A (zh) * 2019-10-10 2022-05-13 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
AU2019275552B2 (en) * 2019-12-03 2022-10-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Bappaditya Ray, Geert Van der Auwera and Marta Karczewicz，On the combination of JCCR and TS，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0408-v2，17th Meeting: Brussels, BE，2020年01月，pp.1-8
Benjamin Bross et al.，Versatile Video Coding (Draft 7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P2001 (version 14)，16th Meeting: Geneva, CH，2019年11月14日，pp.77-79, 159-161
Christian Helmrich et al.，CE7-related: Joint chroma residual coding with multiple modes，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0282-v3，14th Meeting: Geneva, CH，2019年03月，pp.1-10
Takeshi Tsukuba et al.，CE8-2.1: Transform Skip for Chroma with limiting maximum number of context-coded bin in TS residual，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0058-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-10
Takeshi Tsukuba et al.，On Transform Skip in JointCbCr mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0101-v1，17th Meeting: Brussels, BE，2019年12月，pp.1-6
Xiaoyu Xiu et al.，AHG11: Encoder improvements on JCCR with chroma transform skip mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0514_r1，17th Meeting: Brussels, BE，2020年01月，pp.1-5

Also Published As

Publication number Publication date
WO2021117866A1 (ja) 2021-06-17
EP4050896B1 (en) 2024-06-12
JPWO2021117866A1 (ja) 2021-06-17
US20220394256A1 (en) 2022-12-08
KR20220113369A (ko) 2022-08-12
EP4401407A2 (en) 2024-07-17
EP4050896A4 (en) 2022-12-21
CN114762327A (zh) 2022-07-15
EP4050896A1 (en) 2022-08-31

Similar Documents

Publication Publication Date Title
JP7517350B2 (ja) 画像処理装置および方法
US20210144376A1 (en) Image processing apparatus and method
JP7528944B2 (ja) 画像処理装置および方法
JP7235030B2 (ja) 画像処理装置および方法
JP2024105675A (ja) 画像処理装置および方法
US20240040137A1 (en) Image processing apparatus and method
US20210385456A1 (en) Image processing apparatus and method
US20210006836A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP7235031B2 (ja) 画像処理装置および方法
WO2019188464A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2022255395A1 (ja) 画像処理装置および方法
WO2022044845A1 (ja) 画像処理装置および方法
WO2021117500A1 (ja) 画像処理装置、ビットストリーム生成方法、係数データ生成方法、および量子化係数生成方法
JP7517348B2 (ja) 画像処理装置および方法
WO2020008714A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2024113189A (ja) 画像処理装置および方法
JP7484923B2 (ja) 画像処理装置および方法
US20240275970A1 (en) Image processing device and method
JP2022002352A (ja) 画像処理装置および方法
US20240163437A1 (en) Image processing device and method
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617

R150 Certificate of patent or registration of utility model

Ref document number: 7517348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150