JP7494858B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP7494858B2
JP7494858B2 JP2021558326A JP2021558326A JP7494858B2 JP 7494858 B2 JP7494858 B2 JP 7494858B2 JP 2021558326 A JP2021558326 A JP 2021558326A JP 2021558326 A JP2021558326 A JP 2021558326A JP 7494858 B2 JP7494858 B2 JP 7494858B2
Authority
JP
Japan
Prior art keywords
transform
lfnst
control information
component
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558326A
Other languages
English (en)
Other versions
JPWO2021100588A1 (ja
Inventor
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021100588A1 publication Critical patent/JPWO2021100588A1/ja
Application granted granted Critical
Publication of JP7494858B2 publication Critical patent/JP7494858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
従来、動画像の予測残差を導出し、係数変換し、量子化して符号化する符号化方法が提案された（例えば、非特許文献１）。非特許文献１に記載のVVC（Versatile Video Coding）では、プライマリ変換後の変換係数に対して、セカンダリ変換としてLFNST（Low Frequency Non-Separable Transform）を行い、さらにエナジーコンパクションを改善する符号化ツールがあった。そして、このセカンダリ変換に関する制御情報であるセカンダリ変換制御情報がシグナリングされた（つまり、セカンダリ変換制御情報が符号化され、復号側に伝送された）。
このセカンダリ変換制御情報として、例えば、LFNSTのモードを示すLFNST識別子（lfnst_idx）がシグナリングされた。このLFNST識別子は、ツリータイプ（treeType）と変換スキップフラグ（transform_skip_flag）の値に応じてシグナリングされた。変換スキップフラグは、画像符号化において、上述のプライマリ変換やセカンダリ変換等を含む係数変換をスキップ（省略）するか否かを示すフラグ情報である。なお、この変換スキップフラグは、画像復号において、その係数変換の逆処理（逆変換）をスキップ（省略）するか否かも示す。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct 2019
しかしながら、非特許文献１に記載の方法の場合、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真（例えば１）である場合にも、そのLFNST識別子がシグナルされるので、冗長となるおそれがあった。つまり、符号化効率が低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する符号化部を備える画像処理装置である。
本技術の一側面の画像処理方法は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する画像処理方法である。
本技術の他の側面の画像処理装置は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する復号部を備える画像処理装置である。
本技術の他の側面の画像処理方法は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化が省略され、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報が符号化される。
本技術の他の側面の画像処理装置および方法においては、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号が省略され、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定され、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。
LFNST識別子に関するシンタックステーブルの例を示す図である。 ツリータイプと変換スキップフラグに基づくLFNST識別子の例を示す図である。 ツリータイプと変換スキップフラグに基づくLFNST識別子の例を示す図である。 LFNST識別子に関するシンタックステーブルの例を示す図である。 符号化条件conditionの例を示す図である。 LFNST識別子に関するシンタックステーブルの例を示す図である。 符号化条件conditionの例を示す図である。 ツリータイプと変換スキップフラグに基づくLFNST識別子の例を示す図である。 ツリータイプと変換スキップフラグに基づくLFNST識別子の例を示す図である。 ツリータイプと変換スキップフラグに基づくLFNST識別子の例を示す図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を示すフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 画像符号化処理の流れの例を示すフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 画像復号処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．LFNST識別子のシグナリングパタン
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．第３の実施の形態（画像符号化装置）
５．第４の実施の形態（画像復号装置）
６．付記
＜１．LFNST識別子のシグナリングパタン＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
非特許文献１：（上述）
非特許文献２：Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 7 (VTM 7)", JVET-P2002-v1, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct. 2019
非特許文献３：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
非特許文献４：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", February 2018
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
＜LFNST識別子＞
非特許文献１に記載のVVC（Versatile Video Coding）では、プライマリ変換後の変換係数に対して、セカンダリ変換としてLFNST（Low Frequency Non-Separable Transform）を行い、さらにエナジーコンパクションを改善する符号化ツールがあった。そして、このセカンダリ変換に関する制御情報であるセカンダリ変換制御情報がシグナリングされた（つまり、セカンダリ変換制御情報がエンコーダにおいて符号化され、復号側（デコーダ）に伝送された）。
このセカンダリ変換制御情報として、例えば、LFNSTのモードを示す識別子であるLFNST識別子（lfnst_idx）がシグナリングされた。LFNST識別子（lfnst_idx）の値が「０」の場合、セカンダリ変換（LFNST）をスキップ（省略）することを示す。また、LFNST識別子（lfnst_idx）の値が「１」の場合、第１の方法によるセカンダリ変換が適用されることを示す。さらに、LFNST識別子（lfnst_idx）の値が「２」の場合、第２の方法によるセカンダリ変換が適用されることを示す。なお、後述するように、このLFNST識別子（lfnst_idx）のシグナリングは、スキップ（省略）することもできる。LFNST識別子（lfnst_idx）のシグナリングがスキップされた場合、復号側（デコーダ）は、その値を推定する。
デコーダは、このように符号化側（エンコーダ）からシグナリングされたLFNST識別子（または推定したLFNST識別子）に基づいて、エンコーダにおいて行われたセカンダリ変換に対応するモードで、そのセカンダリ変換の逆処理である逆セカンダリ変換を行うことができた。つまり、セカンダリ変換制御情報は、逆セカンダリ変換に関する制御情報とも言える。また、LFNST識別子は、逆セカンダリ変換として行われるLFNSTの逆処理のモードを示す識別子とも言える。
上述のようにLFNST識別子をシグナリングすることにより、符号化側（エンコーダ）が復号側（デコーダ）における逆セカンダリ変換を制御することができた。つまり、エンコーダは、デコーダに、符号化時のセカンダリ変換に対応するモードで逆セカンダリ変換を行わせることができた。
非特許文献１に記載のVVCにおける、このLFNST識別子に関するシンタックステーブルの例を図１に示す。図１に示されるように、このシンタックステーブルの上から７段目および８段目の条件を満たす場合、上から９段目に示されるLFNST識別子（lfnst_idx）がシグナリングされた。つまり、このLFNST識別子は、ツリータイプ（treeType）と変換スキップフラグ（transform_skip_flag）の値に応じてシグナリングされた。変換スキップフラグは、画像符号化において、上述のプライマリ変換やセカンダリ変換等を含む係数変換をスキップ（省略）するか否かを示すフラグ情報である。なお、この変換スキップフラグは、画像復号において、その係数変換の逆処理（逆変換）をスキップ（省略）するか否かも示す。
このツリータイプと変換スキップフラグの組み合わせとLFNST識別子のシグナリングとの対応関係の例を図２に示す。図２において、ツリータイプは、SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMAの３種類がある。また、transform_skip_flag[0]は、輝度（Y）成分の変換スキップフラグを示す。transform_skip_flag[1]は、色差（Cb）成分の変換スキップフラグを示す。transform_skip_flag[2]は、色差（Cr）成分の変換スキップフラグを示す。図２に示される表の各変換スキップフラグの列の「０」および「１」は、その変換スキップフラグの値を示す。この例では、値「１」は真を示し、値「０」は偽を示す。なお、各ツリータイプの有効でないコンポーネント（Y,Cb,Cr）の変換スキップフラグはシグナリングされない。図２においては、そのような有効でないコンポーネントの変換スキップフラグの値が「－」で示されている。
この例においては、transform_skip_flag[0]の値が「０」である場合、または、ツリータイプがDUAL_TREE_CHROMAの場合、LFNST識別子がシグナリングされ得る（possible）。それ以外の場合、LFNST識別子のシグナリングはスキップ（省略）される。この場合、デコーダにおいては、LFNST識別子の値が「０」であると推定される（Infer to 0）。
しかしながら、図２の表の最下行に示されるように、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真（例えば１）である場合にも、そのLFNST識別子がシグナリングされた。上述のように、変換スキップフラグが真の場合、係数変換（逆係数変換）がスキップされるため、セカンダリ変換（逆セカンダリ変換）もスキップされる。ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）の場合、有効なコンポーネントは、CbとCrであるので、これらの成分の変換スキップフラグが真であるならば、セカンダリ変換（逆セカンダリ変換）は必ずスキップされる。したがって、LFNST識別子のシグナリングは冗長となるおそれがあった。つまり、符号化効率が不要に低減するおそれがあった。
＜方法１＞
そこで、有効なコンポーネントにおいて、少なくとも１つのコンポーネントの変換スキップフラグが真の場合、LFNST識別子のシグナリングがスキップされるようにする（方法１）。
例えば、画像処理方法において、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化するようにする。
例えば、画像処理装置において、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化する符号化部を備えるようにする。
例えば、画像処理方法において、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成するようにする。
例えば、画像処理装置において、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成する復号部を備えるようにする。
なお、セカンダリ変換制御情報に関する復号とは、セカンダリ変換制御情報が符号化されて生成されたビットストリーム（符号化データとも称する）を復号して、そのセカンダリ変換制御情報を生成することである。また、セカンダリ変換のスキップを示す所定の値は、任意である。例えば、「０」であってもよい。
なお、セカンダリ変換制御情報は、セカンダリ変換に関する制御情報であればどのような情報であってもよいが、例えば、セカンダリ変換（および逆セカンダリ変換）のタイプを示す識別子であるセカンダリ変換識別子を含んでもよい。
また、セカンダリ変換は、どのような係数変換であってもよいが、例えば、LFNST（Low Frequency Non-Separable Transform）であってもよい。その場合、逆セカンダリ変換は、LFNSTの逆処理であってもよい。また、この場合、セカンダリ変換識別子は、LFNST識別子（lfnst_idx）である。そして、セカンダリ変換のスキップを示す所定の値は「０」であってもよい（lfnst_idx == 0）。
この方法１を適用する場合の、ツリータイプと変換スキップフラグの組み合わせとLFNST識別子のシグナリングとの対応関係の例を図３に示す。図３は、図２の表に対応する表である。セカンダリ変換は、LFNSTであり、セカンダリ変換情報としてLFNST識別子がシグナリングされる。また、セカンダリ変換のスキップを示す所定の値は「０」であるとする（lfnst_idx == 0）。
図２の場合と同様に、ツリータイプは、SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMAの３種類がある。また、transform_skip_flag[0]は、輝度（Y）成分の変換スキップフラグを示す。transform_skip_flag[1]は、色差（Cb）成分の変換スキップフラグを示す。transform_skip_flag[2]は、色差（Cr）成分の変換スキップフラグを示す。各変換スキップフラグの列の「０」および「１」は、その変換スキップフラグの値を示す。この例では、値「１」は真を示し、値「０」は偽を示す。なお、各ツリータイプの有効でないコンポーネント（Y,Cb,Cr）の変換スキップフラグ（「－」で示される変換スキップフラグ）はシグナリングされない。
この例においては、ツリータイプに関わらず、有効なコンポーネントの内の全てのコンポーネントの変換スキップフラグが偽（値「０」）の場合のみ、LFNST識別子がシグナリングされ得る（possible）。有効なコンポーネントの内の少なくとも１つのコンポーネントの変換スキップフラグが真（値「１」）の場合、LFNST識別子のシグナリングはスキップ（省略）される。その場合、復号側（デコーダ）においては、LFNST識別子の値が「０」（つまり、セカンダリ変換のスキップを示す値）であると推定される（Infer to 0）。
このようにすることにより、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる（図３の表の最下行）。そして、このようにLFNST識別子のシグナリングがスキップされても、デコーダは、そのLFNST識別子に基づいて逆セカンダリ変換をスキップすることができる。つまり、デコーダは、シグナリングされた変換スキップフラグと矛盾しない値のLFNST識別子を得ることができ、正しく画像復号を行うことができる。換言するに、エンコーダは、デコーダにおける逆セカンダリ変換を正しく制御することができる。
すなわち、上述の方法１を適用することにより、LFNST識別子のシグナリングの冗長性を抑制することができ、符号化効率の低減を抑制することができる。
例えば、画像符号化のツリータイプがシングルツリー（SINGLE_TREE）の場合、Y、Cb、およびCrが有効なコンポーネントである。したがって、この場合、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内、少なくとも１つが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。なお、Y成分変換スキップフラグとは、Y成分の変換スキップフラグ（transform_skip_flag[0]）のことである。Cb成分変換スキップフラグとは、Cb成分の変換スキップフラグ（transform_skip_flag[1]）のことである。Cr成分変換スキップフラグとは、Cr成分の変換スキップフラグ（transform_skip_flag[2]）のことである。
これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがシングルツリーの場合、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内、少なくとも１つが真であれば、セカンダリ変換制御情報に関する復号がスキップされる。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
なお、図２の例の場合、ツリータイプがシングルツリーであり、かつ、Y成分変換スキップフラグが偽（transform_skip_flag[0] == 0）の場合、LFNST識別子（lfnst_idx）がシグナリングされた。
これに対して、図３の例の場合、ツリータイプがシングルツリーであり、かつ、Y成分変換スキップフラグが偽の場合、さらに、Cb成分変換スキップフラグとCr成分変換スキップフラグも偽でなければ（transform_skip_flag[1] == 0 && transform_skip_flag[2] == 0）、LFNST識別子（lfnst_idx）のシグナリングはスキップされる。したがって、デコーダにおいて、バッファの容量増大を抑制することができる。また、復号処理の遅延の増大を抑制することができる。
例えば、画像符号化のツリータイプがデュアルツリールマ（DUAL_TREE_LUMA）の場合、輝度Yが有効なコンポーネントである。したがって、この場合、Y成分変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがデュアルツリールマの場合、Y成分変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号がスキップされる。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
例えば、画像符号化のツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）の場合、色差CbとCrが有効なコンポーネントである。したがってこの場合、Cb成分変換スキップフラグおよびCr成分変換スキップフラグの内、少なくとも１つが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Cb成分変換スキップフラグおよびCr成分変換スキップフラグが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがデュアルツリークロマの場合、Cb成分変換スキップフラグおよびCr成分変換スキップフラグの内、少なくとも１つが真であれば、セカンダリ変換制御情報に関する復号が省略される。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Cb成分変換スキップフラグおよびCr成分変換スキップフラグが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
非特許文献１に記載のVVCにこの方法１を適用する場合の、LFNST識別子に関するシンタックステーブルの例を図４に示す。この場合、エンコーダ（またはデコーダ）は、ツリータイプ毎に、有効なコンポーネントについて変数nonTsUsedを図４の最上段に示されるように設定される。この変数nonTsUsedは、変換スキップが適用されていないか否かを示す変数である。この値が真（例えば「１」）の場合、変換スキップが適用されていないことを示す。この値が偽（例えば「０」）の場合、変換スキップが適用されたことを示す。
例えば、ツリータイプがデュアルツリールマの場合、Y成分変換スキップフラグが偽であれば（treeType == DUAL_TREE_LUMA && transform_skip_flag[x0][y0][0] == 0）、変数nonTsUsedは真に設定される（nonTsUsed == 1）。これに対して、Y成分変換スキップフラグが真であれば、変数nonTsUsedは偽に設定される（nonTsUsed == 0）。
また、ツリータイプがデュアルツリークロマの場合、Cb成分変換スキップフラグおよびCr成分変換スキップフラグが偽であれば（treeType == DUAL_TREE_CHROMA && transform_skip_flag[x0][y0][1] == 0 && transform_skip_flag[x0][y0][2] == 0）、変数nonTsUsedは真に設定される（nonTsUsed == 1）。これに対して、Cb成分変換スキップフラグまたはCr成分変換スキップフラグが真であれば、変数nonTsUsedは偽に設定される（nonTsUsed == 0）。
さらに、ツリータイプがシングルツリーの場合、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが偽であれば（treeType == SINGLE_TREE && transform_skip_flag[x0][y0][0] == 0 && transform_skip_flag[x0][y0][1] == 0 && transform_skip_flag[x0][y0][2] == 0）、変数nonTsUsedは真に設定される（nonTsUsed == 1）。これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内の少なくとも１つが真であれば、変数nonTsUsedは偽に設定される（nonTsUsed == 0）。
そして、その変数nonTsUsedを条件の１つとして用いて、LFNST識別子（lfnst_idx）をシグナリングするか否かが制御される。例えば、この変数nonTsUsedが真であり（nonTsUsed == 1）、その他の条件を満たす場合、エンコーダは、LFNST識別子（lfnst_idx）を符号化する。またデコーダは、そのLFNST識別子（lfnst_idx）に関する復号を行う。
また、この変数nonTsUsedが偽である場合（nonTsUsed == 0）、エンコーダは、LFNST識別子（lfnst_idx）の符号化をスキップする。またデコーダは、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子（lfnst_idx）の値が「０」であると推定する。
図５は、図４のシンタックステーブルと等価の、LFNST識別子の符号化条件（復号条件）conditionを示す図である。例えば、エンコーダは、ツリータイプ毎に、変数NonTsUsed（図５の上側）を設定する。そして、エンコーダは、その変数NonTsUsedを条件の１つとして用い、LFNST識別子の符号化条件condition（図５の下側）を設定する。そして、エンコーダは、その符号化条件conditionが真の場合、LFNST識別子（lfnst_idx）をシグナリングする。符号化条件conditionが偽の場合、エンコーダは、LFNST識別子（lfnst_idx）のシグナリングをスキップする。
例えば、デコーダは、ツリータイプ毎に、変数NonTsUsed（図５の上側）を設定する。そして、デコーダは、その変数NonTsUsedを条件の１つとして用い、LFNST識別子の復号条件condition（図５の下側）を設定する。そして、デコーダは、その復号条件conditionが真の場合、ビットストリームを復号し、シグナリングされたLFNST識別子（lfnst_idx）を得る。復号条件conditionが偽の場合、デコーダは、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子（lfnst_idx）の値が「０」であると推定する。
このようにすることにより、非特許文献１に記載のVVCにおいて、符号化効率の低減を抑制することができる。
なお、図６に示されるシンタックステーブルのように、条件式に否定表現を用いてもよい。図６に示されるシンタックステーブルは、図４に示されるシンタックステーブルに対応するが、図４の変数nonTsUsedの代わりに、変数TsUsedを用いている。変数TsUsedは、変換スキップが適用されたか否かを示す変数であり、この値が真（例えば「１」）の場合、変換スキップが適用されたことを示す。この値が偽（例えば「０」）の場合、変換スキップが適用されていないことを示す。
例えば、変数TsUsedは、図６の最上段に示されるように設定される。すなわち、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内の少なくとも１つが真であれば（transform_skip_flag[x0][y0][0] == 1 || transform_skip_flag[x0][y0][1] == 1 || transform_skip_flag[x0][y0][2] == 1）、変数TsUsedは真に設定される（TsUsed == 1）。これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが偽であれば、変数TsUsedは偽に設定される（TsUsed == 0）。
そして、その変数TsUsedを条件の１つとして用いて、LFNST識別子（lfnst_idx）をシグナリングするか否かが制御される。例えば、この変数TsUsedが偽であり（TsUsed == 0）、その他の条件を満たす場合、エンコーダは、LFNST識別子（lfnst_idx）を符号化し、デコーダは、そのLFNST識別子（lfnst_idx）に関する復号を行う。
また、この変数TsUsedが真である場合（TsUsed == 1）、エンコーダは、LFNST識別子（lfnst_idx）の符号化をスキップする。そしてデコーダは、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子（lfnst_idx）の値が「０」であると推定する。
図７は、図６のシンタックステーブルと等価の、LFNST識別子の符号化条件（復号条件）conditionを示す図である。例えば、エンコーダは、変数TsUsed（図７の上側）を設定する。そして、エンコーダは、その変数TsUsedを条件の１つとして用い、LFNST識別子の符号化条件condition（図７の下側）を設定する。そして、エンコーダは、その符号化条件conditionが真の場合、LFNST識別子（lfnst_idx）をシグナリングする。符号化条件conditionが偽の場合、エンコーダは、LFNST識別子（lfnst_idx）のシグナリングをスキップする。
例えば、デコーダは、変数TsUsed（図７の上側）を設定する。そして、デコーダは、その変数TsUsedを条件の１つとして用い、LFNST識別子の復号条件condition（図７の下側）を設定する。そして、デコーダは、その復号条件conditionが真の場合、ビットストリームを復号し、シグナリングされたLFNST識別子（lfnst_idx）を得る。復号条件conditionが偽の場合、デコーダは、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子（lfnst_idx）の値が「０」であると推定する。
このようにすることにより、非特許文献１に記載のVVCにおいて、符号化効率の低減を抑制することができる。
＜方法２＞
例えば、有効なコンポーネントにおいて、全てのコンポーネントの変換スキップフラグが真の場合、LFNST識別子のシグナリングがスキップされるようにしてもよい（方法２）。
例えば、画像符号化における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
また例えば、画像復号における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成してもよい。
方法２においても、方法１の場合と同様に、セカンダリ変換制御情報に関する復号とは、セカンダリ変換制御情報が符号化されて生成されたビットストリームを復号して、そのセカンダリ変換制御情報を生成することを示す。また、セカンダリ変換のスキップを示す所定の値は、任意である。
さらに、セカンダリ変換制御情報は、セカンダリ変換に関する制御情報であればどのような情報であってもよい。例えば、セカンダリ変換（および逆セカンダリ変換）のタイプを示す識別子であるセカンダリ変換識別子を含んでもよい。
また、セカンダリ変換は、どのような係数変換であってもよい。例えば、LFNSTであってもよい。その場合、逆セカンダリ変換は、LFNSTの逆処理であってもよい。また、この場合、セカンダリ変換識別子は、LFNST識別子（lfnst_idx）である。そして、セカンダリ変換のスキップを示す所定の値は「０」であってもよい（lfnst_idx == 0）。
この方法２を適用する場合の、ツリータイプと変換スキップフラグの組み合わせとLFNST識別子のシグナリングとの対応関係の例を図８に示す。図８は、図２の表に対応する表である。セカンダリ変換は、LFNSTであり、セカンダリ変換情報としてLFNST識別子がシグナリングされる。また、セカンダリ変換のスキップを示す所定の値は「０」であるとする（lfnst_idx == 0）。
図２の場合と同様に、ツリータイプは、SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMAの３種類がある。また、transform_skip_flag[0]は、Y成分変換スキップフラグを示す。transform_skip_flag[1]は、Cb成分変換スキップフラグを示す。transform_skip_flag[2]は、Cr成分変換スキップフラグを示す。各変換スキップフラグの列の「０」および「１」は、その変換スキップフラグの値を示す。この例では、値「１」は真を示し、値「０」は偽を示す。なお、各ツリータイプの有効でないコンポーネント（Y,Cb,Cr）の変換スキップフラグ（「－」で示される変換スキップフラグ）はシグナリングされない。
この例においては、ツリータイプに関わらず、有効なコンポーネントの内の少なくとも１つのコンポーネントの変換スキップフラグが偽（値「０」）の場合、LFNST識別子がシグナリングされ得る（possible）。有効なコンポーネントの内の全てのコンポーネントの変換スキップフラグが真（値「１」）の場合のみ、LFNST識別子のシグナリングはスキップ（省略）される。その場合、復号側（デコーダ）においては、LFNST識別子の値が「０」（つまり、セカンダリ変換のスキップを示す値）であると推定される（Infer to 0）。
このようにすることにより、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる（図８の表の最下行）。そして、このようにLFNST識別子のシグナリングがスキップされても、デコーダは、そのLFNST識別子に基づいて逆セカンダリ変換をスキップすることができる。つまり、デコーダは、シグナリングされた変換スキップフラグと矛盾しない値のLFNST識別子を得ることができ、正しく画像復号を行うことができる。換言するに、エンコーダは、デコーダにおける逆セカンダリ変換を正しく制御することができる。
すなわち、上述の方法２を適用することにより、LFNST識別子のシグナリングの冗長性を抑制することができ、符号化効率の低減を抑制することができる。
例えば、画像符号化のツリータイプがシングルツリー（SINGLE_TREE）の場合、Y、Cb、およびCrが有効なコンポーネントである。したがって、この場合、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内、少なくとも１つが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがシングルツリーの場合、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号がスキップされる。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内、少なくとも１つが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
なお、図２の例の場合、画像復号のツリータイプがシングルツリーであって、Y成分変換スキップフラグが真（transform_skip_flag[0] == 1）であるとき、LFNST識別子（lfnst_idx）のシグナリングがスキップされた。したがって、このときCb成分変換スキップフラグやCr成分変換スキップフラグが偽（transform_skip_flag[1] == 0 || transform_skip_flag[2] == 0）であっても、Cb成分やCr成分に対してセカンダリ変換（LFNST）を適用することができなかった。そのため、Cb成分やCr成分の符号化効率が低減するおそれがあった。
これに対して図８の例の場合、上述のように、Y成分変換スキップフラグ、Cb成分変換スキップフラグ、およびCr成分変換スキップフラグの内の少なくとも１つが偽であれば、LFNST識別子がシグナリングされ得る。つまり、画像復号のツリータイプがシングルツリーであって、Y成分変換スキップフラグが真（transform_skip_flag[0] == 1）であるときも、Cb成分変換スキップフラグやCr成分変換スキップフラグが偽（transform_skip_flag[1] == 0 || transform_skip_flag[2] == 0）であれば、Cb成分やCr成分に対してセカンダリ変換（LFNST）を適用することができる。そのため、Cb成分やCr成分の符号化効率の低減を抑制することができる。
例えば、画像符号化のツリータイプがデュアルツリールマ（DUAL_TREE_LUMA）の場合、輝度Yが有効なコンポーネントである。したがって、この場合、Y成分変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがデュアルツリールマの場合、Y成分変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号がスキップされる。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Y成分変換スキップフラグが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
例えば、画像符号化のツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）の場合、色差CbとCrが有効なコンポーネントである。したがってこの場合、Cb成分変換スキップフラグおよびCr成分変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化がスキップされる。つまり、この場合、LFNST識別子（lfnst_idx）のシグナリングがスキップされる。そして、デコーダにおいては、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Cb成分変換スキップフラグおよびCr成分変換スキップフラグの内の少なくとも１つが偽であれば、セカンダリ変換制御情報が符号化され得る（possible）。つまり、LFNST識別子（lfnst_idx）がシグナリングされる。
また、例えば、画像復号のツリータイプがデュアルツリークロマの場合、Cb成分変換スキップフラグおよびCr成分変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号が省略される。そして、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定される。つまり、この場合、LFNST識別子（lfnst_idx）に関する復号がスキップされる。そして、LFNST識別子の値が「０」と推定される（Infer to 0）。これに対して、Cb成分変換スキップフラグおよびCr成分変換スキップフラグの内の少なくとも１つが偽であれば、ビットストリームが復号されてセカンダリ変換制御情報が生成される。つまり、シグナリングされたLFNST識別子（lfnst_idx）が得られる。
＜方法３＞
例えば、ツリータイプがシングルツリーの場合と、デュアルツリールマの場合は、非特許文献１に記載の方法と同様の方法でLFNST識別子のシグナリングが制御され、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）の場合のみ、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真のとき、LFNST識別子のシグナリングがスキップされるようにしてもよい（方法３）。
例えば、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化をスキップし、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
また例えば、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号をスキップし、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成してもよい。
方法３においても、方法１の場合と同様に、セカンダリ変換制御情報に関する復号とは、セカンダリ変換制御情報が符号化されて生成されたビットストリームを復号して、そのセカンダリ変換制御情報を生成することを示す。また、セカンダリ変換のスキップを示す所定の値は、任意である。
さらに、セカンダリ変換制御情報は、セカンダリ変換に関する制御情報であればどのような情報であってもよい。例えば、セカンダリ変換（および逆セカンダリ変換）のタイプを示す識別子であるセカンダリ変換識別子を含んでもよい。
また、セカンダリ変換は、どのような係数変換であってもよい。例えば、LFNSTであってもよい。その場合、逆セカンダリ変換は、LFNSTの逆処理であってもよい。また、この場合、セカンダリ変換識別子は、LFNST識別子（lfnst_idx）である。そして、セカンダリ変換のスキップを示す所定の値は「０」であってもよい（lfnst_idx == 0）。
この方法３を適用する場合の、ツリータイプと変換スキップフラグの組み合わせとLFNST識別子のシグナリングとの対応関係の例を図９に示す。図９は、図２の表に対応する表である。セカンダリ変換は、LFNSTであり、セカンダリ変換情報としてLFNST識別子がシグナリングされる。また、セカンダリ変換のスキップを示す所定の値は「０」であるとする（lfnst_idx == 0）。
図２の場合と同様に、ツリータイプは、SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMAの３種類がある。また、transform_skip_flag[0]は、Y成分変換スキップフラグを示す。transform_skip_flag[1]は、Cb成分変換スキップフラグを示す。transform_skip_flag[2]は、Cr成分変換スキップフラグを示す。各変換スキップフラグの列の「０」および「１」は、その変換スキップフラグの値を示す。この例では、値「１」は真を示し、値「０」は偽を示す。なお、各ツリータイプの有効でないコンポーネント（Y,Cb,Cr）の変換スキップフラグ（「－」で示される変換スキップフラグ）はシグナリングされない。
この例においては、ツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、LFNST識別子がシグナリングされ得る（possible）。これに対して、全てのコンポーネントの変換スキップフラグが真（値「１」）であれば、LFNST識別子の符号化がスキップ（省略）される。その場合、復号側（デコーダ）においては、LFNST識別子の値が「０」（つまり、セカンダリ変換のスキップを示す値）であると推定される（Infer to 0）。
なお、ツリータイプがシングルツリーの場合とデュアルツリールマの場合は、非特許文献１に記載の方法と同様の方法でLFNST識別子のシグナリングが制御される。つまり、LFNST識別子のシグナリングが図２の表の場合と同様に制御される。
このようにすることにより、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる（図９の表の最下行）。そして、このようにLFNST識別子のシグナリングがスキップされても、デコーダは、そのLFNST識別子に基づいて逆セカンダリ変換をスキップすることができる。つまり、デコーダは、シグナリングされた変換スキップフラグと矛盾しない値のLFNST識別子を得ることができ、正しく画像復号を行うことができる。換言するに、エンコーダは、デコーダにおける逆セカンダリ変換を正しく制御することができる。
すなわち、上述の方法３を適用することにより、LFNST識別子のシグナリングの冗長性を抑制することができ、符号化効率の低減を抑制することができる。
＜方法４＞
例えば、ツリータイプがシングルツリーの場合と、デュアルツリールマの場合は、非特許文献１に記載の方法と同様の方法でLFNST識別子のシグナリングが制御され、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）の場合のみ、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真のとき、LFNST識別子のシグナリングがスキップされるようにしてもよい（方法４）。
例えば、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化をスキップし、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
また例えば、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号をスキップし、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成してもよい。
方法４においても、方法１の場合と同様に、セカンダリ変換制御情報に関する復号とは、セカンダリ変換制御情報が符号化されて生成されたビットストリームを復号して、そのセカンダリ変換制御情報を生成することを示す。また、セカンダリ変換のスキップを示す所定の値は、任意である。
さらに、セカンダリ変換制御情報は、セカンダリ変換に関する制御情報であればどのような情報であってもよい。例えば、セカンダリ変換（および逆セカンダリ変換）のタイプを示す識別子であるセカンダリ変換識別子を含んでもよい。
また、セカンダリ変換は、どのような係数変換であってもよい。例えば、LFNSTであってもよい。その場合、逆セカンダリ変換は、LFNSTの逆処理であってもよい。また、この場合、セカンダリ変換識別子は、LFNST識別子（lfnst_idx）である。そして、セカンダリ変換のスキップを示す所定の値は「０」であってもよい（lfnst_idx == 0）。
この方法４を適用する場合の、ツリータイプと変換スキップフラグの組み合わせとLFNST識別子のシグナリングとの対応関係の例を図１０に示す。図１０は、図２の表に対応する表である。セカンダリ変換は、LFNSTであり、セカンダリ変換情報としてLFNST識別子がシグナリングされる。また、セカンダリ変換のスキップを示す所定の値は「０」であるとする（lfnst_idx == 0）。
図２の場合と同様に、ツリータイプは、SINGLE_TREE、DUAL_TREE_LUMA、DUAL_TREE_CHROMAの３種類がある。また、transform_skip_flag[0]は、Y成分変換スキップフラグを示す。transform_skip_flag[1]は、Cb成分変換スキップフラグを示す。transform_skip_flag[2]は、Cr成分変換スキップフラグを示す。各変換スキップフラグの列の「０」および「１」は、その変換スキップフラグの値を示す。この例では、値「１」は真を示し、値「０」は偽を示す。なお、各ツリータイプの有効でないコンポーネント（Y,Cb,Cr）の変換スキップフラグ（「－」で示される変換スキップフラグ）はシグナリングされない。
この例においては、ツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが偽であれば、LFNST識別子がシグナリングされ得る（possible）。これに対して、少なくとも１つのコンポーネントの変換スキップフラグが真（値「１」）であれば、LFNST識別子の符号化がスキップ（省略）される。その場合、復号側（デコーダ）においては、LFNST識別子の値が「０」（つまり、セカンダリ変換のスキップを示す値）であると推定される（Infer to 0）。
なお、方法３の場合と同様に、ツリータイプがシングルツリーの場合とデュアルツリールマの場合は、非特許文献１に記載の方法と同様の方法でLFNST識別子のシグナリングが制御される。つまり、LFNST識別子のシグナリングが図２の表の場合と同様に制御される。
このようにすることにより、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる（図１０の表の最下行）。そして、このようにLFNST識別子のシグナリングがスキップされても、デコーダは、そのLFNST識別子に基づいて逆セカンダリ変換をスキップすることができる。つまり、デコーダは、シグナリングされた変換スキップフラグと矛盾しない値のLFNST識別子を得ることができ、正しく画像復号を行うことができる。換言するに、エンコーダは、デコーダにおける逆セカンダリ変換を正しく制御することができる。
すなわち、上述の方法４を適用することにより、LFNST識別子のシグナリングの冗長性を抑制することができ、符号化効率の低減を抑制することができる。
＜組み合わせ＞
上述した方法１乃至方法４は、それらの一部または全部を適宜組み合わせて適用することができる。
＜２．第１の実施の形態＞
＜符号化装置＞
＜１．LFNST識別子のシグナリングパタン＞において説明した本技術（方法１乃至方法４）は、いずれも任意の装置において適用することができる。以下において本技術の適用例について説明する。図１１は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１１に示される符号化装置１００は、LFNST識別子（lfnst_idx）を符号化する装置である。符号化装置１００は、例えば、CABAC（Context-based Adaptive Binary Arithmetic Code）を適用して符号化を行う。
なお、図１１においては、処理部やデータの流れ等の主なものを示しており、図１１に示されるものが全てとは限らない。つまり、符号化装置１００において、図１１においてブロックとして示されていない処理部が存在したり、図１１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１１に示されるように、符号化装置１００は、LFNST識別子符号化部１０１を有する。
LFNST識別子符号化部１０１は、LFNST識別子の符号化に関する処理を行う。例えば、LFNST識別子符号化部１０１は、外部より、LFNST識別子（lfnst_idx）を取得する。LFNST識別子符号化部１０１は、取得したLFNST識別子を符号化し、ビットストリームを生成する。LFNST識別子符号化部１０１は、生成したビットストリームを符号化装置１００の外部に出力する。このビットストリームは、例えば、通信媒体等を介して復号側（デコーダ）に伝送されたり、記憶媒体に記憶されたりする。
また、LFNST識別子符号化部１０１は、LFNST識別子の符号化に利用する各種パラメータを取得する。例えば、LFNST識別子符号化部１０１は、treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等のパラメータを取得する。これらのパラメータは、上述の非特許文献（例えば非特許文献１）に記載のパラメータである。
そして、LFNST識別子符号化部１０１は、これらのパラメータを用いて、＜１．LFNST識別子のシグナリングパタン＞において説明したように、LFNST識別子（lfnst_idx）の符号化（シグナリング）の制御を行う。
例えば、LFNST識別子符号化部１０１は、上述の方法１を適用して、このLFNST識別子の符号化の制御を行う。つまり、LFNST識別子符号化部１０１は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化する。
例えば、LFNST識別子符号化部１０１は、図４に示されるシンタックステーブルに従って、LFNST識別子の符号化を制御する。なお、LFNST識別子符号化部１０１が、図６に示されるシンタックステーブルに従って、LFNST識別子の符号化を制御するようにしてもよい。これらのシンタックステーブルに従うことにより、LFNST識別子符号化部１０１は、図３に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
なお、LFNST識別子符号化部１０１は、上述の方法２を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、LFNST識別子符号化部１０１が、画像符号化における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、LFNST識別子符号化部１０１は、図８に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、LFNST識別子符号化部１０１は、上述の方法３を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、LFNST識別子符号化部１０１が、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、LFNST識別子符号化部１０１は、図９に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、LFNST識別子符号化部１０１は、上述の方法４を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、LFNST識別子符号化部１０１が、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、LFNST識別子符号化部１０１は、図１０に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
方法１乃至方法４の内のいずれの方法を適用する場合も、LFNST識別子符号化部１０１は、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる。したがって、符号化装置１００は、符号化効率の低減を抑制することができる。
＜符号化処理の流れ＞
次に、この符号化装置１００により実行される符号化処理の流れの例を、図１２のフローチャートを参照して説明する。
符号化処理が開始されると、符号化装置１００のLFNST識別子符号化部１０１は、ステップＳ１０１において、LFNST識別子の符号化条件conditionを導出する。例えば、＜１．LFNST識別子のシグナリングパタン＞において上述した方法１を適用する場合、LFNST識別子符号化部１０１は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化する。例えば、LFNST識別子符号化部１０１は、図５に示される変数NonTsUsedを導出し、その導出した変数NonTsUsedを用いて、図５に示される符号化条件conditionを導出する。
なお、LFNST識別子符号化部１０１が、図７に示される変数TsUsedを導出し、その導出した変数TsUsedを用いて、図７に示される符号化条件conditionを導出してもよい。また、LFNST識別子符号化部１０１が、方法２乃至方法４の内のいずれかを適用し、符号化条件conditionを導出してもよい。
ステップＳ１０２において、LFNST識別子符号化部１０１は、その符号化条件conditionを満たすか否かを判定する。つまり、LFNST識別子符号化部１０１は、ステップＳ１０１において導出した符号化条件conditionが真であるか否かを判定する。この符号化条件conditionが真であると判定された場合、処理はステップＳ１０３に進む。
ステップＳ１０３において、LFNST識別子符号化部１０１は、LFNST識別子（lfnst_idx）を符号化し、ビットストリームを生成する。つまり、符号化条件conditionを満たす場合、LFNST識別子符号化部１０１は、LFNST識別子（lfnst_idx）を符号化し、ビットストリームを生成する。このビットストリームは、例えば、通信媒体を介してデコーダに供給される。また、このビットストリームは、記憶媒体に記憶されてもよい。ステップＳ１０３の処理が終了すると符号化処理が終了する。
また、ステップＳ１０２において、ステップＳ１０１において導出した符号化条件conditionが偽であると判定された場合、処理はステップＳ１０４に進む。
ステップＳ１０４において、LFNST識別子符号化部１０１は、LFNST識別子（lfnst_idx）の符号化をスキップ（省略）する。つまり、符号化条件conditionを満たさない場合、LFNST識別子符号化部１０１は、LFNST識別子（lfnst_idx）の符号化をスキップする。つまり、この場合、LFNST識別子のビットストリームは生成されない（すなわち、LFNST識別子がシグナリングされない）。ステップＳ１０４の処理が終了すると符号化処理が終了する。
このように符号化処理を実行することにより、LFNST識別子符号化部１０１は、方法１乃至方法４の内のいずれの方法を適用する場合も、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真であるとき、そのLFNST識別子のシグナリングをスキップすることができる。したがって、符号化装置１００は、符号化効率の低減を抑制することができる。
＜補足＞
なお、符号化装置１００（LFNST識別子符号化部１０１）は、LFNST識別子の例に限らず、任意のセカンダリ変換識別子（任意のセカンダリ変換制御情報）を符号化してもよい。つまり、セカンダリ変換は、LFNSTに限定されず、任意の係数変換であってもよい。また、上述した方法１乃至方法４は、それらの一部または全部を適宜組み合わせて適用することができる。
＜３．第２の実施の形態＞
＜復号装置＞
図１３は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１３に示される復号装置２００は、LFNST識別子（lfnst_idx）のビットストリーム（符号化データ）を復号する装置である。復号装置２００は、符号化装置１００の符号化方式に対応する復号方式（例えばCABAC）を適用して復号を行う。例えば、復号装置２００は、符号化装置１００により生成されたビットストリームを復号する。
なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、復号装置２００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１３に示されるように、復号装置２００は、LFNST識別子復号部２０１を有する。
LFNST識別子復号部２０１は、LFNST識別子に関する復号に関する処理を行う。例えば、LFNST識別子復号部２０１は、外部より、ビットストリームを取得する。LFNST識別子復号部２０１は、取得したビットストリームを復号し、LFNST識別子（lfnst_idx）を生成する。LFNST識別子復号部２０１は、その生成したLFNST識別子を復号装置２００の外部に出力する。このLFNST識別子は、例えば、通信媒体等を介して復号側（デコーダ）に伝送されたり、記憶媒体に記憶されたりする。
また、LFNST識別子復号部２０１は、LFNST識別子に関する復号に利用する各種パラメータを取得する。例えば、LFNST識別子復号部２０１は、treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等のパラメータを取得する。これらのパラメータは、上述の非特許文献（例えば非特許文献１）に記載のパラメータである。
これらのパラメータは、エンコーダ（例えば符号化装置１００）において符号化され、ビットストリームとして供給される（つまり、シグナリングされる）。復号装置２００は、このビットストリームを取得し、復号することにより、これらのパラメータを生成する。なお、この復号は、LFNST識別子復号部２０１の外部の復号部（図示せず）において行われてもよいし、LFNST識別子復号部２０１が行ってもよい。
そして、LFNST識別子復号部２０１は、これらのパラメータを用いて、＜１．LFNST識別子のシグナリングパタン＞において説明したように、LFNST識別子（lfnst_idx）の復号の制御を行う。
例えば、LFNST識別子復号部２０１は、上述の方法１を適用して、このLFNST識別子に関する復号の制御を行う。つまり、LFNST識別子復号部２０１は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成する。
例えば、LFNST識別子復号部２０１は、図４に示されるシンタックステーブルに従って、LFNST識別子に関する復号を制御する。なお、LFNST識別子復号部２０１が、図６に示されるシンタックステーブルに従って、LFNST識別子に関する復号を制御するようにしてもよい。これらのシンタックステーブルに従うことにより、LFNST識別子復号部２０１は、図３に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
なお、LFNST識別子復号部２０１は、上述の方法２を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、LFNST識別子復号部２０１が、画像復号における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、LFNST識別子復号部２０１が、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、LFNST識別子復号部２０１は、図８に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、LFNST識別子復号部２０１は、上述の方法３を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、LFNST識別子復号部２０１が、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号をスキップ（省略）し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、LFNST識別子復号部２０１が、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、LFNST識別子復号部２０１は、図９に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、LFNST識別子復号部２０１は、上述の方法４を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、LFNST識別子復号部２０１が、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、LFNST識別子復号部２０１は、図１０に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
方法１乃至方法４の内のいずれの方法を適用する場合も、LFNST識別子復号部２０１は、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子に関する復号をスキップすることができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
＜復号処理の流れ＞
次に、この復号装置２００により実行される復号処理の流れの例を、図１４のフローチャートを参照して説明する。
復号処理が開始されると、復号装置２００のLFNST識別子復号部２０１は、ステップＳ２０１において、LFNST識別子の復号条件conditionを導出する。例えば、＜１．LFNST識別子のシグナリングパタン＞において上述した方法１を適用する場合、LFNST識別子復号部２０１は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行う。例えば、LFNST識別子復号部２０１は、図５に示される変数NonTsUsedを導出し、その導出した変数NonTsUsedを用いて、図５に示される復号条件conditionを導出する。
なお、LFNST識別子復号部２０１が、図７に示される変数TsUsedを導出し、その導出した変数TsUsedを用いて、図７に示される復号条件conditionを導出してもよい。また、LFNST識別子復号部２０１が、方法２乃至方法４の内のいずれかを適用し、復号条件conditionを導出してもよい。
ステップＳ２０２において、LFNST識別子復号部２０１は、その復号条件conditionを満たすか否かを判定する。つまり、LFNST識別子復号部２０１は、ステップＳ２０１において導出した復号条件conditionが真であるか否かを判定する。この復号条件conditionが真であると判定された場合、処理はステップＳ２０３に進む。
ステップＳ２０３において、LFNST識別子復号部２０１は、ビットストリームを復号し、LFNST識別子（lfnst_idx）を生成する。つまり、復号条件conditionを満たす場合、LFNST識別子復号部２０１は、ビットストリームを復号し、LFNST識別子（lfnst_idx）を生成する。ステップＳ２０３の処理が終了すると復号処理が終了する。
また、ステップＳ２０２において、ステップＳ２０１において導出した復号条件conditionが偽であると判定された場合、処理はステップＳ２０４に進む。
ステップＳ２０４において、LFNST識別子復号部２０１は、LFNST識別子（lfnst_idx）に関する復号をスキップ（省略）する。つまり、復号条件conditionを満たさない場合、LFNST識別子復号部２０１は、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子の値が「０」であると推定する（lfnst_idx = 0）。ステップＳ２０４の処理が終了すると復号処理が終了する。
このように復号処理を実行することにより、LFNST識別子復号部２０１は、方法１乃至方法４の内のいずれの方法を適用する場合も、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真であるとき、そのLFNST識別子に関する復号をスキップすることができる。したがって、復号装置２００は、符号化効率の低減を抑制することができる。
＜補足＞
なお、復号装置２００（LFNST識別子復号部２０１）は、LFNST識別子の例に限らず、任意のセカンダリ変換識別子（任意のセカンダリ変換制御情報）に関する復号を行ってもよい。つまり、逆セカンダリ変換は、LFNSTの逆処理に限定されず、任意の逆係数変換であってもよい。また、上述した方法１乃至方法４は、それらの一部または全部を適宜組み合わせて適用することができる。
＜４．第３の実施の形態＞
＜画像符号化装置＞
図１５は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１５に示される画像符号化装置３００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置３００は、上述の非特許文献のいずれかに記載の符号化方式で動画像の画像データを符号化することができる。
なお、図１５においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、画像符号化装置３００において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１５に示されるように画像符号化装置３００は、制御部３０１、並べ替えバッファ３１１、演算部３１２、直交変換部３１３、量子化部３１４、符号化部３１５、蓄積バッファ３１６、逆量子化部３１７、逆直交変換部３１８、演算部３１９、インループフィルタ部３２０、フレームメモリ３２１、予測部３２２、およびレート制御部３２３を有する。
＜制御部＞
制御部３０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ３１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部３０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfo等）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
これらの符号化パラメータの詳細については後述する。制御部３０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
ヘッダ情報Hinfoは、各ブロックに供給される。
予測モード情報Pinfoは、符号化部３１５と予測部３２２とに供給される。
変換情報Tinfoは、符号化部３１５、直交変換部３１３、量子化部３１４、逆量子化部３１７、および逆直交変換部３１８に供給される。
フィルタ情報Finfoは、インループフィルタ部３２０に供給される。
＜並べ替えバッファ＞
画像符号化装置３００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ３１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ３１１は、制御部３０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ３１１は、処理後の各入力画像を演算部３１２に供給する。また、並べ替えバッファ３１１は、その各入力画像（元画像）を、予測部３２２やインループフィルタ部３２０にも供給する。
＜演算部＞
演算部３１２は、処理単位のブロックに対応する画像I、および予測部３２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを以下の式に示されるように減算して、予測残差Dを導出し、それを直交変換部３１３に供給する。
D = I - P
＜直交変換部＞
直交変換部３１３は、係数変換に関する処理を行う。例えば、直交変換部３１３は、演算部３１２から供給される予測残差Dを取得する。また、直交変換部３１３は、制御部３０１から供給される変換情報Tinfoを取得する。
直交変換部３１３は、その変換情報Tinfoに基づいて、予測残差Dに対して直交変換を行い、変換係数Coeffを導出する。例えば、直交変換部３１３は、予測残差Dに対してプライマリ変換を行ってプライマリ変換係数を生成し、そのプライマリ変換係数に対してセカンダリ変換を行ってセカンダリ変換係数を生成する。直交変換部３１３は、その得られたセカンダリ変換係数を変換係数Coeffとして量子化部３１４に供給する。
なお、直交変換は、係数変換の一例であり、この例に限定されない。つまり、直交変換部３１３は、予測残差Dに対して任意の係数変換を行うことができる。付言するに、直交変換部３１３は、プライマリ変換およびセカンダリ変換として、それぞれ、任意の係数変換を行うことができる。
＜量子化部＞
量子化部３１４は、量子化に関する処理を行う。例えば、量子化部３１４は、直交変換部３１３から供給される変換係数Coeffを取得する。また、量子化部３１４は、制御部３０１から供給される変換情報Tinfoを取得する。さらに、量子化部３１４は、その変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）する。なお、この量子化の方法は任意である。また、この量子化のレートは、レート制御部３２３により制御される。量子化部３１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数レベルlevelを、符号化部３１５および逆量子化部３１７に供給する。
＜符号化部＞
符号化部３１５は、符号化に関する処理を行う。例えば、符号化部３１５は、量子化部３１４から供給された量子化変換係数レベルlevelを取得する。また、符号化部３１５は、制御部３０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を取得する。さらに、符号化部３１５は、インループフィルタ部３２０から供給されるフィルタ係数等のフィルタに関する情報を取得する。また、符号化部３１５は、予測部３２２から供給される最適な予測モードに関する情報を取得する。
符号化部３１５は、量子化変換係数レベルlevelを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。また、符号化部３１５は、その量子化変換係数レベルlevelから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。
符号化部３１５は、インループフィルタ部３２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含める。また、符号化部３１５は、予測部３２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部３１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
符号化部３１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部３１５は、その符号化データを蓄積バッファ３１６に供給する。
＜蓄積バッファ＞
蓄積バッファ３１６は、符号化部３１５において得られた符号化データを、一時的に保持する。蓄積バッファ３１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置３００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ３１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。
＜逆量子化部＞
逆量子化部３１７は、逆量子化に関する処理を行う。例えば、逆量子化部３１７は、量子化部３１４から供給される量子化変換係数レベルlevelを取得する。また、逆量子化部３１７は、制御部３０１から供給される変換情報Tinfoを取得する。
逆量子化部３１７は、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部３１４において行われる量子化の逆処理である。逆量子化部３１７は、このような逆量子化により得られた変換係数Coeff_IQを、逆直交変換部３１８に供給する。
＜逆直交変換部＞
逆直交変換部３１８は、逆係数変換に関する処理を行う。例えば、逆直交変換部３１８は、逆量子化部３１７から供給される変換係数Coeff_IQを取得する。また、逆直交変換部３１８は、制御部３０１から供給される変換情報Tinfoを取得する。
逆直交変換部３１８は、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換を行い、予測残差D'を導出する。なお、この逆直交変換は、直交変換部３１３において行われる直交変換の逆処理である。例えば、逆直交変換部３１８は、変換係数Coeff_IQ（セカンダリ変換係数）に対して逆セカンダリ変換を行ってプライマリ変換係数を生成する。また、逆直交変換部３１８は、そのプライマリ変換係数に対して逆プライマリ変換を行って予測残差D'を生成する。なお、逆セカンダリ変換は、直交変換部３１３において行われるセカンダリ変換の逆処理である。また、逆プライマリ変換は、直交変換部３１３において行われるプライマリ変換の逆処理である。
逆直交変換部３１８は、このような逆直交変換により得られた予測残差D'を演算部３１９に供給する。なお、逆直交変換部３１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部３１８については、復号側について行う説明（後述する）を適用することができる。
＜演算部＞
演算部３１９は、逆直交変換部３１８から供給される予測残差D'と、予測部３２２から供給される予測画像Pとを入力とする。演算部３１９は、その予測残差D'と、その予測残差D'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部３１９は、導出した局所復号画像Rlocalをインループフィルタ部３２０およびフレームメモリ３２１に供給する。
＜インループフィルタ部＞
インループフィルタ部３２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部３２０は、演算部３１９から供給される局所復号画像Rlocalと、制御部３０１から供給されるフィルタ情報Finfoと、並べ替えバッファ３１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部３２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部３２０に入力されるようにしてもよい。
インループフィルタ部３２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部３２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
例えば、インループフィルタ部３２０は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
もちろん、インループフィルタ部３２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部３２０がウィーナーフィルタ等を適用するようにしてもよい。
インループフィルタ部３２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ３２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部３２０は、そのフィルタに関する情報を符号化部３１５に供給する。
＜フレームメモリ＞
フレームメモリ３２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ３２１は、演算部３１９から供給される局所復号画像Rlocalや、インループフィルタ部３２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ３２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ３２１内のバッファへ格納する）。フレームメモリ３２１は、予測部３２２の要求に応じて、その復号画像R（またはその一部）を予測部３２２に供給する。
＜予測部＞
予測部３２２は、予測画像の生成に関する処理を行う。例えば、予測部３２２は、制御部３０１から供給される予測モード情報Pinfoを取得する。また、予測部３２２は、並べ替えバッファ３１１から供給される入力画像（元画像）を取得する。さらに、予測部３２２は、フレームメモリ３２１から読み出す復号画像R（またはその一部）を取得する。
予測部３２２は、予測モード情報Pinfoや入力画像（元画像）を用いてインター予測やイントラ予測等の予測処理を行う。つまり、予測部３２２は、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。
予測部３２２は、生成した予測画像Pを演算部３１２および演算部３１９に供給する。また、予測部３２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部３１５に供給する。
＜レート制御部＞
レート制御部３２３は、レート制御に関する処理を行う。例えば、レート制御部３２３は、蓄積バッファ３１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部３１４の量子化動作のレートを制御する。
＜LFNST識別子の符号化制御＞
以上のような構成の画像符号化装置３００に対して、＜１．LFNST識別子のシグナリングパタン＞において説明した本技術を適用することができる。
例えば、直交変換部３１３は、セカンダリ変換としてLFNSTを行い、セカンダリ変換制御情報（セカンダリ変換識別子）としてLFNST識別子（lfnst_idx）を符号化部３１５に供給する（矢印３３１）。なお、直交変換部３１３は、そのLFNST識別子（lfnst_idx）を逆直交変換部３１８にも供給する（矢印３３２）。
符号化部３１５は、符号化装置１００（図１１）のLFNST識別子符号化部１０１を有する。そのLFNST識別子符号化部１０１は、直交変換部３１３から供給されるLFNST識別子を取得する。LFNST識別子符号化部１０１は、取得したLFNST識別子を符号化し、ビット列を生成する。符号化部３１５は、その生成したビット列を他の情報のビット列と多重化し、符号化データを生成する。符号化部３１５は、その符号化データを蓄積バッファ３１６に供給する。
また、LFNST識別子符号化部１０１は、制御部３０１から変換情報Tinfoとして供給される、図１１に示されるようなLFNST識別子の符号化の制御に用いられる各種パラメータを取得する。例えば、LFNST識別子符号化部１０１は、treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等のパラメータを取得する。これらのパラメータは、上述の非特許文献（例えば非特許文献１）に記載のパラメータである。
そして、LFNST識別子符号化部１０１（つまり符号化部３１５）は、これらのパラメータを用いて、＜１．LFNST識別子のシグナリングパタン＞において説明したように、LFNST識別子（lfnst_idx）の符号化（シグナリング）の制御を行う。
例えば、符号化部３１５は、上述の方法１を適用して、このLFNST識別子の符号化の制御を行う。つまり、符号化部３１５は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化する。
例えば、符号化部３１５は、図４に示されるシンタックステーブルに従って、LFNST識別子の符号化を制御する。なお、符号化部３１５が、図６に示されるシンタックステーブルに従って、LFNST識別子の符号化を制御するようにしてもよい。これらのシンタックステーブルに従うことにより、符号化部３１５は、図３に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
なお、符号化部３１５は、上述の方法２を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、符号化部３１５が、画像符号化における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、符号化部３１５は、図８に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、符号化部３１５は、上述の方法３を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、符号化部３１５が、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、符号化部３１５は、図９に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、符号化部３１５は、上述の方法４を適用して、このLFNST識別子の符号化の制御を行ってもよい。つまり、符号化部３１５が、画像符号化のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化してもよい。
このようにすることにより、符号化部３１５は、図１０に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子の符号化を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
方法１乃至方法４の内のいずれの方法を適用する場合も、符号化部３１５は、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子のシグナリングをスキップすることができる。したがって、画像符号化装置３００は、符号化効率の低減を抑制することができる。
＜構成例＞
なお、これらの処理部（制御部３０１、並べ替えバッファ３１１乃至レート制御部３２３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜画像符号化処理の流れ＞
次に、以上のような構成の画像符号化装置３００により実行される画像符号化処理の流れの例を、図１６のフローチャートを参照して説明する。
画像符号化処理が開始されると、ステップＳ３０１において、並べ替えバッファ３１１は、制御部３０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
ステップＳ３０２において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。
ステップＳ３０３において、制御部３０１は、並べ替えバッファ３１１が保持する入力画像についての符号化パラメータを決定（設定）する。
ステップＳ３０４において、予測部３２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部３２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
ステップＳ３０５において、演算部３１２は、入力画像と、ステップＳ３０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部３１２は、入力画像と予測画像との予測残差Dを生成する。このようにして求められた予測残差Dは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ３０６において、直交変換部３１３は、ステップＳ３０５の処理により生成された予測残差Dに対する直交変換処理を行い、変換係数Coeffを導出する。例えば、直交変換部３１３は、予測残差Dに対してプライマリ変換を行ってプライマリ変換係数を生成し、そのプライマリ変換係数に対してセカンダリ変換を行ってセカンダリ変換係数（変換係数Coeff）を生成する。
ステップＳ３０７において、量子化部３１４は、制御部３０１により算出された量子化パラメータを用いる等して、ステップＳ３０６の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。
ステップＳ３０８において、逆量子化部３１７は、ステップＳ３０７の処理により生成された量子化変換係数レベルlevelを、そのステップＳ３０７の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
ステップＳ３０９において、逆直交変換部３１８は、ステップＳ３０８の処理により得られた変換係数Coeff_IQを、ステップＳ３０６の直交変換処理に対応する方法で逆直交変換し、予測残差D'を導出する。例えば、逆直交変換部３１８は、変換係数Coeff_IQ（セカンダリ変換係数）に対して逆セカンダリ変換を行ってプライマリ変換係数を生成する。また、逆直交変換部３１８は、そのプライマリ変換係数に対して逆プライマリ変換を行って予測残差D'を生成する。
なお、この逆直交変換処理は、復号側において行われる逆直交変換処理と同様である。したがって、このステップＳ３０９の逆直交変換処理については、後述する復号側についての説明を適用することができる。
ステップＳ３１０において、演算部３１９は、ステップＳ３０９の処理により導出された予測残差D'に、ステップＳ３０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
ステップＳ３１１において、インループフィルタ部３２０は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
ステップＳ３１２において、フレームメモリ３２１は、ステップＳ３１０の処理により導出された、局所的に復号された復号画像や、ステップＳ３１１においてフィルタ処理された、局所的に復号された復号画像を記憶する。
ステップＳ３１３において、符号化部３１５は、ステップＳ３０７の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部３１５は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部３１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部３１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
ステップＳ３１４において、蓄積バッファ３１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置３００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部３２３は、必要に応じてレート制御を行う。
ステップＳ３１４の処理が終了すると、画像符号化処理が終了する。
＜LFNST識別子の符号化制御＞
以上のような流れの画像符号化処理に対して＜１．LFNST識別子のシグナリングパタン＞において説明した本技術を適用することができる。
例えば、ステップＳ３０６において、直交変換部３１３は、セカンダリ変換としてLFNSTを行う。直交変換部３１３は、そのセカンダリ変換（LFNST）についてのセカンダリ変換制御情報（セカンダリ変換識別子）としてLFNST識別子（lfnst_idx）を生成する。
ステップＳ３１３において、符号化部３１５（のLFNST識別子符号化部１０１）は、そのLFNST識別子を符号化する。その際、符号化部３１５は、変換情報Tinfoに基づいてそのLFNST識別子の符号化を制御する。つまり、符号化部３１５は、ステップＳ３１３の処理の１つとして、図１２のフローチャートで示される符号化処理を行う。
例えば、ステップＳ１０１において、符号化部３１５は、変換情報Tinfoに含まれる上述した各種パラメータに基づいて、LFNST識別子の符号化条件conditionを導出する。ステップＳ１０２において、符号化部３１５は、その符号化条件conditionを満たすか否かを判定する。この符号化条件conditionが真であると判定された場合、符号化部３１５は、ステップＳ１０３において、LFNST識別子を符号化し、ビット列を生成する。符号化部３１５は、その生成したビット列を他の情報のビット列と多重化し、符号化データを生成する。つまり、この場合、LFNST識別子がシグナリングされる。
また、ステップＳ１０２において、ステップＳ１０１において導出した符号化条件conditionが偽であると判定された場合、符号化部３１５は、ステップＳ１０４において、LFNST識別子の符号化をスキップ（省略）する。つまり、この場合、LFNST識別子のビット列は生成されない。すなわち、LFNST識別子がシグナリングされない。
以上のような符号化処理において、符号化部３１５（のLFNST識別子符号化部１０１）は、例えば、＜１．LFNST識別子のシグナリングパタン＞において上述した方法１を適用する。つまり、符号化部３１５は、画像符号化における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報を符号化する。
その場合、符号化部３１５は、ステップＳ１０１において、図５に示される変数NonTsUsedを導出し、その導出した変数NonTsUsedを用いて、図５に示される符号化条件conditionを導出する。なお、符号化部３１５が、図７に示される変数TsUsedを導出し、その導出した変数TsUsedを用いて、図７に示される符号化条件conditionを導出してもよい。また、符号化部３１５が、方法２乃至方法４の内のいずれかを適用し、符号化条件conditionを導出してもよい。
このように画像符号化処理を実行することにより、符号化部３１５は、方法１乃至方法４の内のいずれの方法を適用する場合も、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真であるとき、そのLFNST識別子のシグナリングをスキップすることができる。したがって、画像符号化装置３００は、符号化効率の低減を抑制することができる。
＜補足＞
なお、画像符号化装置３００は、セカンダリ変換として任意の係数変換を適用することができる。したがって、符号化部３１５は、LFNST識別子の例に限らず、任意のセカンダリ変換識別子（任意のセカンダリ変換制御情報）を符号化することができる。また、上述した方法１乃至方法４は、それらの一部または全部を適宜組み合わせて適用することができる。
＜５．第４の実施の形態＞
＜画像復号装置＞
図１７は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図１７に示される画像復号装置４００は、動画像の符号化データを符号化する装置である。例えば、画像復号装置４００は、上述の非特許文献のいずれかに記載の復号方式で符号化データを復号することができる。例えば、画像復号装置４００は、上述の画像符号化装置３００により生成された符号化データ（ビットストリーム）を復号する。
なお、図１７においては、処理部（ブロック）やデータの流れ等の主なものを示しており、図１７に示されるものが全てとは限らない。つまり、画像復号装置４００において、図１７においてブロックとして示されていない処理部が存在したり、図１７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図１７において、画像復号装置４００は、蓄積バッファ４１１、復号部４１２、逆量子化部４１３、逆直交変換部４１４、演算部４１５、インループフィルタ部４１６、並べ替えバッファ４１７、フレームメモリ４１８、および予測部４１９を備えている。なお、予測部４１９は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置４００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。
＜蓄積バッファ＞
蓄積バッファ４１１は、画像復号装置４００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ４１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部４１２に供給する。
＜復号部＞
復号部４１２は、画像に関する復号についての処理を行う。例えば、復号部４１２は、蓄積バッファ４１１から供給されるビットストリームを取得する。また、復号部４１２は、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部４１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
例えば、ヘッダ情報Hinfoには、コンポーネント間予測有効フラグ（ccp_enabled_flag）が含まれ得る。コンポーネント間予測有効フラグは、コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれ得る。
また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））が含まれ得る。コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
また、イントラ予測モード情報IPinfoには、多クラス線形予測モードフラグ（mclm_flag）が含まれ得る。多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
さらに、イントラ予測モード情報IPinfoには、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）が含まれ得る。色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式のような割り当て方となる。
chroma_sample_loc_type_idx == 0：Type2
chroma_sample_loc_type_idx == 1：Type3
chroma_sample_loc_type_idx == 2：Type0
chroma_sample_loc_type_idx == 3：Type1
なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（つまり、色差コンポーネントの画素位置に関する情報に格納されて）伝送される。
また、イントラ予測モード情報IPinfoには、色差MPM識別子（chroma_mpm_idx）が含まれ得る。色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
さらに、イントラ予測モード情報IPinfoには、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）が含まれ得る。
動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜変換情報Tinfo＞
変換情報Tinfoには、例えば、処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSizeが含まれ得る。なお、この処理対象変換ブロックの横幅サイズTBWSizeの代わりに、２を底とする対数値log2TBWSizeを適用してもよい。また、この処理対象変換ブロックの縦幅TBHSize代わりに、２を底とする対数値log2TBHSizeを適用してもよい。
また、変換情報Tinfoには、変換スキップフラグ（transform_skip_flag（またはts_flag））が含まれ得る。この変換スキップフラグは、係数変換（または逆係数変換）をスキップするか否かを示すフラグである。なお、この変換スキップフラグは、Y,Cb,Crのコンポーネント毎にシグナリングされてもよい（transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]）。
さらに、変換情報Tinfoには、スキャン識別子（scanIdx）、量子化パラメータ（qp）、量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））等のパラメータが含まれ得る。
もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば、残差データ有無フラグ（cbf（coded_block_flag））が含まれ得る。また、残差情報Rinfoには、ラスト非ゼロ係数X座標（last_sig_coeff_x_pos）やラスト非ゼロ係数Y座標（last_sig_coeff_y_pos）が含まれ得る。さらに、残差情報Rinfoには、サブブロック非ゼロ係数有無フラグ（coded_sub_block_flag）や非ゼロ係数有無フラグ（sig_coeff_flag）が含まれ得る。
また、残差情報Rinfoには、非ゼロ係数のレベルが１より大きいかを示すフラグであるGR1フラグ（gr1_flag）や、非ゼロ係数のレベルが２より大きいかを示すフラグであるGR2フラグ（gr2_flag）が含まれ得る。さらに、残差情報Rinfoには、非ゼロ係数の正負を示す符号であるサイン符号（sign_flag）が含まれ得る。また、残差情報Rinfoには、非ゼロ係数の残余レベルである非ゼロ係数残余レベル（coeff_abs_level_remaining）が含まれ得る。
もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
＜フィルタ情報Finfo＞
フィルタ情報Finfoには、フィルタ処理に関する制御情報が含まれる。例えば、フィルタ情報Finfoには、デブロッキングフィルタ(DBF)に関する制御情報が含まれ得る。また、フィルタ情報Finfoには、画素適応オフセット(SAO)に関する制御情報が含まれ得る。さらに、フィルタ情報Finfoには、適応ループフィルタ(ALF)に関する制御情報が含まれ得る。また、フィルタ情報Finfoには、その他の線形・非線形フィルタに関する制御情報が含まれ得る。
例えば、フィルタ情報Finfoには、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報が含まれ得る。また、フィルタ情報Finfoには、CU単位のフィルタOn/Off制御情報が含まれ得る。さらに、フィルタ情報Finfoには、スライスやタイルの境界に関するフィルタOn/Off制御情報が含まれ得る。
もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
復号部４１２の説明に戻る。復号部４１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。復号部４１２は、その量子化変換係数レベルlevelを、逆量子化部４１３に供給する。
また、復号部４１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
ヘッダ情報Hinfoは、逆量子化部４１３、逆直交変換部４１４、予測部４１９、インループフィルタ部４１６に供給される。予測モード情報Pinfoは、逆量子化部４１３および予測部４１９に供給される。変換情報Tinfoは、逆量子化部４１３および逆直交変換部４１４に供給される。フィルタ情報Finfoは、インループフィルタ部４１６に供給される。
もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
＜逆量子化部＞
逆量子化部４１３は、逆量子化に関する処理を行う。例えば、逆量子化部４１３は、復号部４１２から供給される変換情報Tinfoおよび量子化変換係数レベルlevelを取得する。また、逆量子化部４１３は、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。
なお、この逆量子化は、画像符号化装置３００の量子化部３１４による量子化の逆処理として行われる。また、この逆量子化は、画像符号化装置３００の逆量子化部３１７による逆量子化と同様の処理である。換言するに、逆量子化部３１７は、逆量子化部４１３と同様の処理（逆量子化）を行う。
逆量子化部４１３は、導出した変換係数Coeff_IQを逆直交変換部４１４に供給する。
＜逆直交変換部＞
逆直交変換部４１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部４１４は、逆量子化部４１３から供給される変換係数Coeff_IQを取得する。また、逆直交変換部４１４は、復号部４１２から供給される変換情報Tinfoを取得する。
逆直交変換部４１４は、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換処理を行い、予測残差D'を導出する。例えば、逆直交変換部４１４は、変換係数Coeff_IQに対して逆セカンダリ変換を行ってプライマリ変換係数を生成し、そのプライマリ変換係数に対してプライマリ変換を行い、予測残差D'を生成する。
なお、この逆直交変換は、画像符号化装置３００の直交変換部３１３による直交変換の逆処理として行われる。また、この逆直交変換は、画像符号化装置３００の逆直交変換部３１８による逆直交変換と同様の処理である。換言するに、逆直交変換部３１８は、逆直交変換部４１４と同様の処理（逆直交変換）を行う。
逆直交変換部４１４は、導出した予測残差D'を演算部４１５に供給する。
＜演算部＞
演算部４１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部４１５は、逆直交変換部４１４から供給される予測残差D'を取得する。また、演算部４１５は、予測部４１９から供給される予測画像Pを取得する。演算部４１５は、以下の式に示されるように、予測残差D'とその予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出する。
Rlocal = D' + P
演算部４１５は、導出した局所復号画像Rlocalを、インループフィルタ部４１６およびフレームメモリ４１８に供給する。
＜インループフィルタ部＞
インループフィルタ部４１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部４１６は、演算部４１５から供給される局所復号画像Rlocalを取得する。また、インループフィルタ部４１６は、復号部４１２から供給されるフィルタ情報Finfoを取得する。なお、インループフィルタ部４１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
インループフィルタ部４１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。例えば、インループフィルタ部４１６は、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
インループフィルタ部４１６は、符号化側（例えば画像符号化装置３００のインループフィルタ部３２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部４１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部４１６がウィーナーフィルタ等を適用するようにしてもよい。
インループフィルタ部４１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ４１７およびフレームメモリ４１８に供給する。
＜並べ替えバッファ＞
並べ替えバッファ４１７は、インループフィルタ部４１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ４１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ４１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ４１７は、並べ替えた復号画像R群を動画像データとして画像復号装置４００の外部に出力する。
＜フレームメモリ＞
フレームメモリ４１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ４１８は、演算部４１５より供給される局所復号画像Rlocalを取得する。そして、フレームメモリ４１８は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築する。フレームメモリ４１８は、再構築した復号画像Rをフレームメモリ４１８内のバッファへ格納する。
また、フレームメモリ４１８は、インループフィルタ部４１６から供給される、インループフィルタ処理された局所復号画像Rlocalを取得する。そして、フレームメモリ４１８は、そのインループフィルタ処理された局所復号画像Rlocalを用いて、ピクチャ単位毎の復号画像Rを再構築する。フレームメモリ４１８は、再構築した復号画像Rをフレームメモリ４１８内のバッファへ格納する。
さらに、フレームメモリ４１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部４１９に供給する。
なお、フレームメモリ４１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
＜予測部＞
予測部４１９は、予測画像の生成に関する処理を行う。例えば、予測部４１９は、復号部４１２から供給される予測モード情報Pinfoを取得する。また、予測部４１９は、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部４１９は、その予測モード情報Pinfoによって指定される、フレームメモリ４１８に格納された復号画像R（またはその一部）を、参照画像として利用する。この復号画像Rは、フィルタ前のものであってもよいし、フィルタ後のものであってもよい。予測部４１９は、導出した予測画像Pを、演算部４１５に供給する。
＜LFNST識別子の符号化制御＞
以上のような構成の画像符号化装置３００に対して、＜１．LFNST識別子のシグナリングパタン＞において説明した本技術を適用することができる。
例えば、逆直交変換部４１４は、逆セカンダリ変換としてLFNSTの逆処理を行う。その際、逆直交変換部４１４は、復号部４１２からセカンダリ変換制御情報（セカンダリ変換識別子）として供給されるLFNST識別子（lfnst_idx）を取得する（矢印４３１）。そして、逆直交変換部４１４は、そのLFNST識別子に従って逆セカンダリ変換を行う。
つまり、復号部４１２は、そのLFNST識別子（lfnst_idx）を逆直交変換部４１４に供給する（矢印４３１）。復号部４１２は、復号装置２００（図１３）のLFNST識別子復号部２０１を有する。例えば、LFNST識別子がシグナリングされた場合、LFNST識別子復号部２０１は、ビットストリームを復号してそのLFNST識別子を生成し、逆直交変換部４１４に供給する。LFNST識別子がシグナリングされなかった場合、LFNST識別子復号部２０１は、LFNST識別子に関する復号を省略し、その値を「０」と推定し、値「０」のLFNST識別子を逆直交変換部４１４に供給する。
その際、LFNST識別子復号部２０１は、シグナリングされた変換情報Tinfoに基づいて、LFNST識別子がシグナリングされたか否か（LFNST識別子に関する復号を行うか否か）を判定する。例えば、復号部４１２は、ビットストリームを復号して変換情報Tinfoを生成する。LFNST識別子復号部２０１は、その変換情報Tinfoに含まれる、LFNST識別子に関する復号に利用する各種パラメータを取得する。例えば、LFNST識別子復号部２０１は、treeType、transform_skip_flag[0]、transform_skip_flag[1]、transform_skip_flag[2]、lfnstWidth、lfnstHeight、sps_lfnst_enabled_flag、intra_mip_flag、cbWidth、cbHeight、IntraSubPartitionSplitType、LfnstDcOnly、LfnstZeroOutSigCoefFlag等のパラメータを取得する。これらのパラメータは、上述の非特許文献（例えば非特許文献１）に記載のパラメータである。
復号部４１２は、ビットストリームを復号することにより、これらのパラメータを生成する。そして、LFNST識別子復号部２０１は、これらのパラメータを用いて、＜１．LFNST識別子のシグナリングパタン＞において説明したように、LFNST識別子（lfnst_idx）の復号の制御を行う。
例えば、復号部４１２は、上述の方法１を適用して、このLFNST識別子に関する復号の制御を行う。つまり、復号部４１２は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値がセカンダリ変換のスキップを示す所定の値であると推定し、全てのコンポーネントの変換スキップフラグが偽であれば、ビットストリームを復号してセカンダリ変換制御情報を生成する。
例えば、復号部４１２は、図４に示されるシンタックステーブルに従って、LFNST識別子に関する復号を制御する。なお、復号部４１２が、図６に示されるシンタックステーブルに従って、LFNST識別子に関する復号を制御するようにしてもよい。これらのシンタックステーブルに従うことにより、復号部４１２は、図３に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
なお、復号部４１２は、上述の方法２を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、復号部４１２が、画像復号における有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、復号部４１２が、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、復号部４１２は、図８に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、復号部４１２は、上述の方法３を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、復号部４１２が、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、全てのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号をスキップ（省略）し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、復号部４１２が、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、復号部４１２は、図９に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
また、復号部４１２は、上述の方法４を適用して、このLFNST識別子に関する復号の制御を行ってもよい。つまり、復号部４１２が、画像復号のツリータイプがデュアルツリークロマであり、そのデュアルツリークロマにおいて有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換制御情報に関する復号を省略し、そのセカンダリ変換制御情報の値が「０」であると推定してもよい。また、全てのコンポーネントの変換スキップフラグが偽であれば、復号部４１２が、セカンダリ変換制御情報に関する復号を行ってもよい。
このようにすることにより、復号部４１２は、図１０に示される表のように、ツリータイプと変換スキップフラグに応じてLFNST識別子に関する復号を制御することができる。各ツリータイプにおける制御方法は＜１．LFNST識別子のシグナリングパタン＞において上述した通りである。
方法１乃至方法４の内のいずれの方法を適用する場合も、復号部４１２は、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真である場合に、そのLFNST識別子に関する復号をスキップすることができる。したがって、画像復号装置４００は、符号化効率の低減を抑制することができる。
＜構成例＞
なお、これらの処理部（蓄積バッファ４１１乃至予測部４１９）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
＜画像復号処理の流れ＞
次に、以上のような構成の画像復号装置４００により実行される画像復号処理の流れの例を、図１８のフローチャートを参照して説明する。
画像復号処理が開始されると、蓄積バッファ４１１は、ステップＳ４０１において、画像復号装置４００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
ステップＳ４０２において、復号部４１２は、その符号化データ（ビットストリーム）を復号し、量子化変換係数レベルlevelを得る。また、復号部４１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。
ステップＳ４０３において、逆量子化部４１３は、ステップＳ４０２の処理により得られた量子化変換係数レベルlevelに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数Coeff_IQを得る。
ステップＳ４０４において、逆直交変換部４１４は、ステップＳ４０３において得られた変換係数Coeff_IQに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差D'を得る。例えば、逆直交変換部４１４は、変換係数Coeff_IQ（セカンダリ変換係数）に対して逆セカンダリ変換を行ってプライマリ変換係数を生成し、そのプライマリ変換係数に対して逆プライマリ変換を行って予測残差D'を生成する。
ステップＳ４０５において、予測部４１９は、ステップＳ４０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ４１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
ステップＳ４０６において、演算部４１５は、ステップＳ４０４において得られた予測残差D'と、ステップＳ４０５において得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
ステップＳ４０７において、インループフィルタ部４１６は、ステップＳ４０６の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
ステップＳ４０８において、並べ替えバッファ４１７は、ステップＳ４０７の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置４００の外部に出力される。
また、ステップＳ４０９において、フレームメモリ４１８は、ステップＳ４０６の処理により得られた局所復号画像Rlocal、および、ステップＳ４０７の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
ステップＳ４０９の処理が終了すると、画像復号処理が終了する。
＜LFNST識別子に関する復号制御＞
以上のような流れの画像復号処理に対して＜１．LFNST識別子のシグナリングパタン＞において説明した本技術を適用することができる。例えば、ステップＳ４０２において、復号部４１２（のLFNST識別子復号部２０１）は、ビットストリームを復号してLFNST識別子を生成する。そして、逆直交変換部４１４は、ステップＳ４０４において、そのLFNST識別子に従って逆セカンダリ変換を行う。
その際、復号部４１２は、変換情報Tinfoに基づいてそのLFNST識別子に関する復号を制御する。つまり、復号部４１２は、ステップＳ４０２の処理の１つとして、図１４のフローチャートで示される復号処理を行う。
例えば、ステップＳ２０１において、復号部４１２は、変換情報Tinfoに含まれる上述した各種パラメータに基づいて、LFNST識別子の復号条件conditionを導出する。ステップＳ２０２において、復号部４１２は、その復号条件conditionを満たすか否かを判定する。この復号条件conditionが真であると判定された場合、LFNST識別子がシグナリングされたので、復号部４１２は、ステップＳ２０３において、ビットストリームを復号し、そのシグナリングされたLFNST識別子（lfnst_idx）を得る。
また、ステップＳ２０２において、ステップＳ２０１において導出した復号条件conditionが偽であると判定された場合、LFNST識別子がシグナリングされなかったので、復号部４１２は、ステップＳ２０４において、LFNST識別子（lfnst_idx）に関する復号をスキップ（省略）する。つまり、復号条件conditionを満たさない場合、復号部４１２は、LFNST識別子（lfnst_idx）に関する復号をスキップし、そのLFNST識別子の値が「０」であると推定する（lfnst_idx = 0）。
以上のような復号処理において、復号部４１２（のLFNST識別子復号部２０１）は、例えば、＜１．LFNST識別子のシグナリングパタン＞において上述した方法１を適用する。つまり、復号部４１２は、画像復号における有効なコンポーネントの内、少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、全てのコンポーネントの変換スキップフラグが偽であれば、セカンダリ変換制御情報に関する復号を行う。
その場合、復号部４１２は、ステップＳ２０１において、図５に示される変数NonTsUsedを導出し、その導出した変数NonTsUsedを用いて、図５に示される符号化条件conditionを導出する。なお、復号部４１２が、図７に示される変数TsUsedを導出し、その導出した変数TsUsedを用いて、図７に示される符号化条件conditionを導出してもよい。また、復号部４１２が、方法２乃至方法４の内のいずれかを適用し、符号化条件conditionを導出してもよい。
このように画像復号処理を実行することにより、復号部４１２は、方法１乃至方法４の内のいずれの方法を適用する場合も、ツリータイプがデュアルツリークロマ（DUAL_TREE_CHROMA）であって、画像のCb成分とCr成分の両方の変換スキップフラグが真であるとき、そのLFNST識別子に関する復号をスキップすることができる。したがって、画像復号装置４００は、符号化効率の低減を抑制することができる。
＜補足＞
なお、画像復号装置４００は、逆セカンダリ変換として任意の逆係数変換を適用することができる。したがって、復号部４１２は、LFNST識別子の例に限らず、任意のセカンダリ変換識別子（任意のセカンダリ変換制御情報）に関する復号を行ってもよい。また、上述した方法１乃至方法４は、それらの一部または全部を適宜組み合わせて適用することができる。
＜６．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図１９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
また、以上においては、本技術の適用例として、符号化装置１００、復号装置２００、画像符号化装置３００、および画像復号装置４００について説明したが、本技術は、任意の構成に適用することができる。
例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 画像符号化における有効なコンポーネントの内、
少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
符号化部
を備える画像処理装置。
（２） 前記符号化部は、前記画像符号化のツリータイプがシングルツリーの場合、
Y成分の前記変換スキップフラグであるY成分変換スキップフラグ、Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
前記Y成分変換スキップフラグ、前記Cb成分変換スキップフラグ、および前記Cr成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）に記載の画像処理装置。
（３） 前記符号化部は、前記画像符号化のツリータイプがデュアルツリールマの場合、
Y成分の前記変換スキップフラグであるY成分変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
前記Y成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）または（２）に記載の画像処理装置。
（４） 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマの場合、
Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
前記Cb成分変換スキップフラグおよび前記Cr成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記セカンダリ変換制御情報は、前記セカンダリ変換のタイプを示す識別子であるセカンダリ変換識別子を含む
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記セカンダリ変換は、LFNST（Low Frequency Non-Separable Transform）である
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記符号化部は、前記画像符号化における有効なコンポーネントの内、
全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
少なくとも１つのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 画像符号化における有効なコンポーネントの内、
少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
画像処理方法。
（１１） 画像復号における有効なコンポーネントの内、
少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する
復号部
を備える画像処理装置。
（１２） 前記復号部は、前記画像復号のツリータイプがシングルツリーの場合、
Y成分の前記変換スキップフラグであるY成分変換スキップフラグ、Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
前記Y成分変換スキップフラグ、前記Cb成分変換スキップフラグ、および前記Cr成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）に記載の画像処理装置。
（１３） 前記復号部は、前記画像復号のツリータイプがデュアルツリールマの場合、
Y成分の前記変換スキップフラグであるY成分変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
前記Y成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）または（１２）に記載の画像処理装置。
（１４） 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマの場合、
Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
前記Cb成分変換スキップフラグおよび前記Cr成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記セカンダリ変換制御情報は、前記セカンダリ変換のタイプを示す識別子であるセカンダリ変換識別子を含む
（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記セカンダリ変換は、LFNST（Low Frequency Non-Separable Transform）である
（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記復号部は、前記画像復号における有効なコンポーネントの内、
全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
少なくとも１つのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 画像復号における有効なコンポーネントの内、
少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する
画像処理方法。
１００ 符号化装置， １０１ LFNST識別子符号化部， ２００ 復号装置， ２０１ LFNST識別子復号部， ３００ 画像符号化装置， ３０１ 制御部， ３１３ 直交変換部， ３１５ 符号化部， ４００ 画像復号装置， ４１２ 復号部， ４１４ 逆直交変換部

Claims (20)

  1. 画像符号化における有効なコンポーネントの内、
    少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    符号化部
    を備える画像処理装置。
  2. 前記符号化部は、前記画像符号化のツリータイプがシングルツリーの場合、
    Y成分の前記変換スキップフラグであるY成分変換スキップフラグ、Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    前記Y成分変換スキップフラグ、前記Cb成分変換スキップフラグ、および前記Cr成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  3. 前記符号化部は、前記画像符号化のツリータイプがデュアルツリールマの場合、
    Y成分の前記変換スキップフラグであるY成分変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    前記Y成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  4. 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマの場合、
    Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    前記Cb成分変換スキップフラグおよび前記Cr成分変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  5. 前記セカンダリ変換制御情報は、前記セカンダリ変換のタイプを示す識別子であるセカンダリ変換識別子を含む
    請求項１に記載の画像処理装置。
  6. 前記セカンダリ変換は、LFNST（Low Frequency Non-Separable Transform）である
    請求項１に記載の画像処理装置。
  7. 前記符号化部は、前記画像符号化における有効なコンポーネントの内、
    全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  8. 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
    全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  9. 前記符号化部は、前記画像符号化のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
    少なくとも１つのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報の符号化を省略し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    請求項１に記載の画像処理装置。
  10. 画像符号化における有効なコンポーネントの内、
    少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報の符号化を省略し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、前記セカンダリ変換制御情報を符号化する
    画像処理方法。
  11. 画像復号における有効なコンポーネントの内、
    少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    復号部
    を備える画像処理装置。
  12. 前記復号部は、前記画像復号のツリータイプがシングルツリーの場合、
    Y成分の前記変換スキップフラグであるY成分変換スキップフラグ、Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    前記Y成分変換スキップフラグ、前記Cb成分変換スキップフラグ、および前記Cr成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  13. 前記復号部は、前記画像復号のツリータイプがデュアルツリールマの場合、
    Y成分の前記変換スキップフラグであるY成分変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    前記Y成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  14. 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマの場合、
    Cb成分の前記変換スキップフラグであるCb成分変換スキップフラグ、およびCr成分の前記変換スキップフラグであるCr成分変換スキップフラグの内、少なくとも１つが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    前記Cb成分変換スキップフラグおよび前記Cr成分変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  15. 前記セカンダリ変換制御情報は、前記セカンダリ変換のタイプを示す識別子であるセカンダリ変換識別子を含む
    請求項１１に記載の画像処理装置。
  16. 前記セカンダリ変換は、LFNST（Low Frequency Non-Separable Transform）である
    請求項１１に記載の画像処理装置。
  17. 前記復号部は、前記画像復号における有効なコンポーネントの内、
    全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  18. 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
    全てのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    少なくとも１つのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  19. 前記復号部は、前記画像復号のツリータイプがデュアルツリークロマであり、前記デュアルツリークロマにおいて有効なコンポーネントの内、
    少なくとも１つのコンポーネントの前記変換スキップフラグが真であれば、前記セカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、前記ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    請求項１１に記載の画像処理装置。
  20. 画像復号における有効なコンポーネントの内、
    少なくとも１つのコンポーネントの変換スキップフラグが真であれば、セカンダリ変換に関する制御情報であるセカンダリ変換制御情報に関する復号を省略し、前記セカンダリ変換制御情報の値が前記セカンダリ変換のスキップを示す所定の値であると推定し、
    全てのコンポーネントの前記変換スキップフラグが偽であれば、ビットストリームを復号して前記セカンダリ変換制御情報を生成する
    画像処理方法。
JP2021558326A 2019-11-22 2020-11-12 画像処理装置および方法 Active JP7494858B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962939102P 2019-11-22 2019-11-22
US62/939102 2019-11-22
PCT/JP2020/042196 WO2021100588A1 (ja) 2019-11-22 2020-11-12 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2021100588A1 JPWO2021100588A1 (ja) 2021-05-27
JP7494858B2 true JP7494858B2 (ja) 2024-06-04

Family

ID=75981242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558326A Active JP7494858B2 (ja) 2019-11-22 2020-11-12 画像処理装置および方法

Country Status (10)

Country Link
US (1) US20220385904A1 (ja)
EP (1) EP4064707A4 (ja)
JP (1) JP7494858B2 (ja)
KR (1) KR20220104154A (ja)
CN (1) CN114731443A (ja)
AU (1) AU2020389252A1 (ja)
BR (1) BR112022009359A2 (ja)
MX (1) MX2022005833A (ja)
TW (1) TW202127898A (ja)
WO (1) WO2021100588A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019275552B2 (en) * 2019-12-03 2022-10-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit
US20230063796A1 (en) * 2019-12-29 2023-03-02 Lg Electronics Inc. Transform-based image coding method and device for same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3019490A1 (en) * 2016-05-13 2017-11-16 Sony Corporation Image processing apparatus and method
EP3989579A4 (en) * 2019-06-18 2023-06-21 Electronics and Telecommunications Research Institute PICTURE ENCODING/DECODING METHOD AND APPARATUS USING SECONDARY TRANSFORMATION AND RECORDING MEDIUM WITH BITSTREAM STORED THEREON
JP2022548220A (ja) * 2019-09-10 2022-11-17 エックスリス、コーポレーション 映像信号符号化／復号化方法及びそのための装置
US11457229B2 (en) * 2019-12-23 2022-09-27 Qualcomm Incorporated LFNST signaling for chroma based on chroma transform skip

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al.，Versatile Video Coding (Draft 7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P2001 (version 14)，16th Meeting: Geneva, CH，2019年11月14日，pp.68-72,77-79,148-154,159-161
Man-Shu Chiang et al.，LFNST signalling cleanup with TS checking，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0193-v2，17th Meeting: Brussels, BE，2020年01月，pp.1-11
Takeshi Tsukuba et al.，CE8: Chroma Transform Skip (CE8-3.2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0081-v2，15th Meeting: Gothenburg, SE，2019年07月，pp.1-10
Takeshi Tsukuba et al.，Non-CE6: TU/TB-level LFNST index coding，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0352-v2，15th Meeting: Gothenburg, SE，2019年06月，pp.1-8
Takeshi Tsukuba et al.，On Interaction of LFNST and Transform skip，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0099-v1，17th Meeting: Brussels, BE，2019年12月，pp.1-6

Also Published As

Publication number Publication date
CN114731443A (zh) 2022-07-08
WO2021100588A1 (ja) 2021-05-27
EP4064707A4 (en) 2023-01-11
BR112022009359A2 (pt) 2022-08-09
EP4064707A1 (en) 2022-09-28
KR20220104154A (ko) 2022-07-26
AU2020389252A1 (en) 2022-05-26
US20220385904A1 (en) 2022-12-01
MX2022005833A (es) 2022-06-09
TW202127898A (zh) 2021-07-16
JPWO2021100588A1 (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
WO2021039650A1 (ja) 画像処理装置および方法
JP7494858B2 (ja) 画像処理装置および方法
US20210385456A1 (en) Image processing apparatus and method
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20230179779A1 (en) Image processing device and method
JP7235031B2 (ja) 画像処理装置および方法
WO2022255395A1 (ja) 画像処理装置および方法
JP7494850B2 (ja) 画像処理装置および方法
US20230007265A1 (en) Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
WO2020066641A1 (ja) 画像処理装置および方法
JP7517348B2 (ja) 画像処理装置および方法
JP2022038979A (ja) 画像処理装置および方法
JP7484923B2 (ja) 画像処理装置および方法
JP7517350B2 (ja) 画像処理装置および方法
US20240163437A1 (en) Image processing device and method
WO2021117866A1 (ja) 画像処理装置および方法
WO2023053957A1 (ja) 画像処理装置および方法
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
KR20240024808A (ko) 화상 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506

R150 Certificate of patent or registration of utility model

Ref document number: 7494858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150