JP7357736B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

ＶＶＣ規格案においては、入力映像のクロマフォーマットが４：４：４である場合、原画像を分割した符号化対象ブロックとその予測ブロックとの差分である予測残差を得た後に、予測残差の色空間（ＲＧＢ空間）をＹＣｇＣｏ空間に変換し、色空間変換後の予測残差に対して変換処理・エントロピー符号化処理等の符号化処理を行う適応色変換（ＡＣＴ：Ａｄａｐｔｉｖｅ Ｃｏｌｏｕｒ Ｔｒａｎｓｆｏｒｍ）と呼ばれる技術が採用されている（非特許文献１参照）。

符号化装置は、符号化対象ブロックごとにＡＣＴを適用するか否かを制御可能であり、符号化対象ブロックごとにＡＣＴ適用フラグをストリーム出力する。このため、ＡＣＴにより、ＲＧＢ空間において予測残差に対して変換処理・量子化処理を適用する符号化対象ブロックと、予測残差をＲＧＢ空間からＹＣｇＣｏ空間に変換した上で変換処理・量子化処理を適用する符号化対象ブロックとが画像（ピクチャ）全体で混在することとなる。

ところで、ＶＶＣでは、予測残差に対して変換処理を施して得られた変換係数の量子化において、周波数成分ごとに量子化ステップを制御するスケーリングリスト（量子化行列とも呼ばれる）が導入されている。スケーリングリストは、入力映像信号を構成する３つの色成分（例えば、輝度成分、第１色差成分、及び第２色差成分）のそれぞれに対して個別に設定可能となっており、符号化装置は、スケーリングリストを適用するか否か、及び、適用する場合にはどのようなスケーリングリストを適用するかを示す情報を復号側にシグナリングする。

ＪＶＥＴ－Ｑ２００１ "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ８）"

第１の態様に係る符号化装置は、第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した符号化対象ブロックごとに符号化する符号化装置であって、前記符号化対象ブロックに対応する予測ブロックを成分ごとに生成する予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差を成分ごとに生成する残差生成部と、前記成分ごとの予測残差に対して色空間変換処理を行う色空間変換部と、前記予測残差に対して変換処理を行うことで変換係数を生成する変換部と、前記変換係数に対する量子化処理に用いるスケーリングリストを決定する量子化制御部と、前記決定されたスケーリングリストを用いて、前記変換係数に対して前記量子化処理を行う量子化部と、を備え、前記量子化制御部は、前記色空間変換処理に基づいて前記スケーリングリストを決定することを要旨とする。

第２の態様に係る復号装置は、第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した復号対象ブロックごとに復号する復号装置であって、ビットストリームから前記復号対象ブロックの量子化変換係数を成分ごとに復号するエントロピー復号部と、前記復号対象ブロックに対応する予測ブロックを成分ごとに生成する予測部と、逆量子化処理に用いるスケーリングリストを決定する逆量子化制御部と、前記決定されたスケーリングリストを用いて前記量子化変換係数に対する前記逆量子化処理を行うことで変換係数を生成する逆量子化部と、前記変換係数に対して前記逆変換処理を行うことで予測残差を生成する逆変換部と、前記予測残差に対して色空間逆変換処理を行う色空間逆変換部と、前記予測残差と前記予測ブロックとを合成することで復号ブロックを生成する合成部と、を備え、前記逆量子化制御部は、前記色空間逆変換処理に基づいて前記スケーリングリストを決定することを要旨とする。

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させる。

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させる。

実施形態に係る符号化装置の構成を示す図である。 実施形態に係る量子化制御部及び逆量子化制御部の動作を示す図である。 実施形態に係る復号装置の構成を示す図である。 変更例に係る量子化制御部及び逆量子化制御部の動作を示す図である。 エントロピー符号化部が出力するビットストリームを示す図である。 ＮＡＬユニットのタイプを示す図である。 ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＡＰＳの関係を示す図である。

ＡＣＴにより、符号化対象ブロックごとに予測残差の色空間変換の有無が制御可能であることから、ＲＧＢ映像である入力映像を符号化する際に、隣接する２つの符号化対象ブロックのうち、一方がＡＣＴを適用する符号化対象ブロックであり、他方がＡＣＴを適用しない符号化対象ブロックであり得る。

表１に示すように、ＡＣＴを適用する符号化対象ブロックについては、予測残差がＲＧＢ空間からＹＣｇＣｏ空間に変換された後に、Ｙ成分の予測残差に第１スケーリングリストが適用され、Ｃｇ成分の予測残差に第２スケーリングリストが適用され、Ｃｏ成分の予測残差に第３スケーリングリストが適用される。一方、ＡＣＴを適用しない符号化対象ブロックについては、予測残差がＲＧＢ空間のまま、Ｒ成分の予測残差に第１スケーリングリストが適用され、Ｇ成分の予測残差に第２スケーリングリストが適用され、Ｂ成分の予測残差に第３スケーリングリストが適用される。

一般的に、ＲＧＢ空間における輝度成分の多くはＧ成分に集中することが知られており、ＲＧＢ空間の映像に用いるスケーリングリストは、輝度信号がＧ成分に主に含まれていることを前提に設計される。輝度信号は、色差信号と比較して高い周波数成分を多く含むことが知られていることから、輝度信号に適用するよう設計されたスケーリングリストは、色差信号に適用するよう設計されたスケーリングリストと性質が大きく異なる可能性が高い。

しかしながら、ＡＣＴを予測残差に適用することにより、輝度信号を多く含まないＲ成分に対して設計した第１スケーリングリストがＡＣＴによる変換後のＹ成分に適用されるため、本来性質の異なる成分に対して適用するよう設計されたスケーリングリストが適用されてしまい、視覚的な劣化を生じる恐れがある。

そこで、本開示は、ＡＣＴを適用する場合であっても画質の劣化を抑制することを目的とする。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。

図１に示すように、符号化装置１は、ブロック分割部１００と、残差生成部１１０と、切替部１１１と、色空間変換部１１２と、変換・量子化部１２０と、量子化制御部１２３と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、ループフィルタ１６０と、メモリ１７０と、予測部１８０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを残差生成部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化処理を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号処理を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

本実施形態において、入力画像がＲＧＢ信号であり、クロマフォーマットが４：４：４である場合について主として説明する。「Ｒ」成分は第１成分に相当し、「Ｇ」成分は第２成分に相当し、「Ｂ」成分は第３成分に相当する。ブロック分割部１００は、画像を構成するＲ成分、Ｇ成分、及びＢ成分のそれぞれに対してブロック分割を行うことでブロックを出力する。以下の符号化装置の説明において、各成分を区別しないときは単に符号化対象ブロックと呼ぶ。

残差生成部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、残差生成部１１０は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を切替部１１１に出力する。本実施形態において、残差生成部１１０は、各成分の符号化対象ブロックと、各成分の予測ブロックとの差分により各成分の予測残差を生成する。

切替部１１１は、残差生成部１１０が出力する各成分の予測残差を変換・量子化部１２０及び色空間変換部１１２のいずれか一方に出力する。切替部１１１は、色空間変換処理（ＡＣＴ）を行わない場合は予測残差を変換・量子化部１２０に出力し、色空間変換処理を行う場合は予測残差を色空間変換部１１２に出力する。

色空間変換部１１２は、各成分の予測残差に対して色空間変換処理を行い、色空間変換処理後の予測残差を変換・量子化部１２０に出力する。色空間変換部１１２は、符号化対象ブロックの予測残差のＲ成分、Ｇ成分、及びＢ成分について下記のような変換計算を行うことで、新たな予測残差を生成する。

Ｃｏ＝Ｒ-Ｂ
ｔ＝Ｂ＋（Ｃｏ＞＞１）
Ｃｇ＝Ｇ-ｔ
Ｙ＝ｔ＋（Ｃｇ＞＞１）

但し、「＞＞」は右シフト演算を表す。また、「Ｙ」成分は第１成分に相当し、「Ｇｇ」成分は第２成分に相当し、「Ｃｏ」成分は第３成分に相当する。

色空間変換部１１２は、符号化対象ブロックごとに色空間変換処理を行うか否かを制御可能である。エントロピー符号化部１３０は、当該符号化対象ブロックに対して色空間変換処理を行ったか否かを示すフラグをビットストリーム中でシグナリングする。

なお、色空間変換部１１２における色空間変換処理は各成分に対する加算・減算・乗算・除算・シフト処理などにより新たな成分により構成される予測残差を生成すればよく、必ずしも色空間変換を行う必要はない。また、色空間変換処理は、すべての成分に影響を及ぼす変換である必要はない。例えば、色空間変換部１１２は、第１成分を変更せずに維持し、第２成分と第３成分との平均値を新たな第２成分とし、第２成分と第３成分との差分を新たな第３成分とする、という色空間変換処理を適用してもよい。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、切替部１１１又は色空間変換部１１２が出力する予測残差（色空間変換処理の適用の有無にかかわらず予測残差と呼ぶ）に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。具体的には、変換部１２１は、予測残差に対してブロック単位で変換処理を行うことで成分ごとの変換係数を生成する。変換処理は、例えば離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、及び／又は離散ウェーブレット変換などの周波数変換であればよい。また、変換部１２１は、変換処理に関する情報をエントロピー符号化部１３０に出力する。

変換処理には、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）やＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格案で採用されている、変換処理を行わない変換スキップを含む。ＨＥＶＣの変換スキップモードでは水平及び垂直の変換処理を行わずに、予測残差に対しスケーリングを施すことによって変換係数としているが、本実施形態に係る変換スキップは、水平のみ変換処理を適用する変換や垂直のみ変換処理を適用する変換も含む。また、変換部１２１は、変換処理により得られた変換係数に対してさらに変換処理を適用する二次変換処理を行ってもよい。また、二次変換処理は、変換係数の一部の領域のみに適用してもよい。

量子化制御部１２３は、変換部１２１により生成された変換係数に対する量子化処理に用いるスケーリングリスト（量子化行列）を決定する。ここで、スケーリングリストとして、すべてのスケーリングリストの要素の値が等しい（例えば、すべての要素の値が１６である）均一な（フラットな）スケーリングリストをあらかじめ規定する。量子化制御部１２３は、要素ごとに異なる値を設定された不均一なスケーリングリストを複数設定可能とする。なお、サイズが大きいブロックに対して用いるスケーリングリストを小さいサイズで定義し、実際に用いる際に拡大する場合、必ずしもすべての要素に異なる値が設定されるとは限らない。エントロピー符号化部１３０は、どのスケーリングリストを用いて量子化処理を行うかを示す情報をストリーム出力する。なお、不均一なスケーリングリストは、スケーリングリストの要素の値として少なくとも部分的に異なる値を設定可能なスケーリングリスト、すなわち、可変なスケーリングリストでもある。

本実施形態において、量子化制御部１２３は、色空間変換部１１２が色空間変換処理を行うか否かに基づいてスケーリングリストを決定する。具体的には、量子化制御部１２３は、スケーリングリストの要素の値が少なくとも部分的に異なる不均一なスケーリングリストを用いる旨を設定した場合において、色空間変換部１１２が色空間変換処理を行うか（すなわち、切替部１１１が予測残差を色空間変換部１１２に出力したか）否かに基づいて、不均一なスケーリングリストを用いるか又は均一なスケーリングリストを用いるかを決定する。

例えば、量子化制御部１２３は、色空間変換部１１２が色空間変換処理を行わない場合、量子化部１２２が量子化処理に用いるスケーリングリストとして不均一なスケーリングリストを決定する。一方、色空間変換部１１２が色空間変換処理を行う場合、量子化制御部１２３は、量子化部１２２が量子化処理に用いるスケーリングリストとして均一なスケーリングリストを決定する。

ここで、不均一なスケーリングリストは色成分ごとに設定されるため、対象とする成分に応じて性質が異なる。このため、１つの画像（ピクチャ）内において、ＡＣＴを適用する符号化対象ブロックとＡＣＴを適用しない符号化対象ブロックとが混在する場合、不均一なスケーリングリストを適用すると、画質の劣化を引き起こす。本実施形態においては、色空間変換部１１２が色空間変換処理を行う場合（すなわち、ＡＣＴを適用する場合）、均一なスケーリングリストを用いることにより、画質の劣化を抑制可能である。

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ及びスケーリングリストを用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。ここで、量子化部１２２における量子化処理に用いるスケーリングリストは量子化制御部１２３により決定される。また、量子化部１２２は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及びスケーリングリストの情報）を、エントロピー符号化部１３０及び逆量子化部１４１に出力する。

なお、量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータである。具体的には、量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さ（ステップサイズ）を定めるパラメータである。

スケーリングリストは、１つのブロック内の成分ごとに設定される値からなる行列（量子化行列）を構成する。具体的には、スケーリングリストは、ブロックサイズに応じてｉ×ｊ要素の成分ごとに設定される値（重み付け係数）からなり、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。エントロピー符号化部１３０は、不均一なスケーリングリストについては復号側にシグナリングする。

エントロピー符号化部１３０は、量子化部１２２が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行ってビットストリーム（符号化データ）を生成し、ビットストリームを復号側に出力する。エントロピー符号化には、ハフマン符号及び／又はＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を用いることができる。また、エントロピー符号化部１３０は、変換部１２１から入力された変換処理に関する情報をビットストリームに含めて復号側にシグナリングしたり、予測部１８０から入力された予測処理に関する情報をビットストリームに含めて復号側にシグナリングしたりする。さらに、エントロピー符号化部１３０は、ＡＣＴの適用有無を示す色空間変換フラグを符号化対象ブロックごとにビットストリームに含めて復号側にシグナリングする。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。ここで、逆量子化部１４１における逆量子化処理に用いるスケーリングリストは量子化制御部１２３により決定される。

逆変換部１４２は、変換部１２１が出力する変換種別情報に基づいて、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２が出力する復元予測残差を、予測部１８０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをループフィルタ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

ループフィルタ１６０は、合成部１５０が出力する復号済みブロックに対してフィルタ処理を行い、フィルタ処理後の復号済みブロックをメモリ１７０に出力する。

メモリ１７０は、ループフィルタ１６０が出力するフィルタ処理後の復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１７０は、記憶している復号済みブロック若しくは復号済み画像を予測部１８０に出力する。

予測部１８０は、ブロック単位で予測処理を行う。予測部１８０は、符号化対象ブロックに対するイントラ予測及びインター予測などの予測処理を施すことにより成分ごとの予測ブロックを生成する。本実施形態に係る予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。

インター予測部１８１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１８１は、メモリ１７０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。ここで、インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１８２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１８２は、メモリ１７０に記憶された復号済み画像のうち、符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。

切替部１８３は、インター予測部１８１が出力するインター予測ブロックとイントラ予測部１８２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを残差生成部１１０及び合成部１５０に出力する。

このように、本実施形態に係る符号化装置１は、第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した符号化対象ブロックごとに符号化する。符号化装置１は、符号化対象ブロックに対応する予測ブロックを成分ごとに生成する予測部１８０と、符号化対象ブロックと予測ブロックとの差を表す予測残差を成分ごとに生成する残差生成部１１０と、予測残差に対して色空間変換処理を行う色空間変換部と、予測残差に対して変換処理を行うことで変換係数を生成する変換部１２１と、変換係数に対する量子化処理に用いるスケーリングリストを決定する量子化制御部１２３と、決定されたスケーリングリストを用いて、変換係数に対して量子化処理を行う量子化部１２２とを有する。

次に、本実施形態に係る量子化制御部１２３の動作について説明する。図２は、本実施形態に係る量子化制御部１２３の動作を示す図である。量子化制御部１２３は、符号化対象ブロックごとに図２の動作を行う。なお、図２の動作は、ＡＣＴ（色空間変換処理）以外の要因に基づき不均一なスケーリングリストを用いる旨が設定されたことを前提とした動作である。

図２に示すように、ステップＳ１１において、量子化制御部１２３は、符号化対象ブロックに対してＡＣＴ（色空間変換処理）を適用するか否かを判定する。

符号化対象ブロックに対してＡＣＴを適用しない場合（ステップＳ１１：ＮＯ）、ステップＳ１２において、量子化制御部１２３は、当該符号化対象ブロックに対応する変換処理に用いるスケーリングリストとして、不均一なスケーリングリストを決定する。不均一なスケーリングリストは、ＲＧＢ空間の各成分の特性に合わせて設計されたものであってもよい。例えば、不均一なスケーリングリストは、輝度信号がＧ成分に主に含まれていることを前提に設計されたものであってもよい。例えば、量子化制御部１２３は、Ｒ成分の予測残差に対して、不均一な第１スケーリングリストを適用し、Ｇ成分の予測残差に対して、不均一な第２スケーリングリストを適用し、Ｂ成分の予測残差に対して、不均一な第３スケーリングリストを適用する。

一方、符号化対象ブロックに対してＡＣＴを適用する場合（ステップＳ１１：ＹＥＳ）、ステップＳ１３において、量子化制御部１２３は、当該符号化対象ブロックに対応する変換処理に用いるスケーリングリストとして、均一なスケーリングリストを決定する。均一なスケーリングリストは、事前設定されたスケーリングリスト、すなわち、符号化側及び復号側で予め共有しているスケーリングリストである。例えば、量子化制御部１２３は、Ｙ成分の予測残差、Ｃｇ成分の予測残差、及びＣｏ成分の予測残差のそれぞれに対して、均一なスケーリングリストを適用する。

このように、本実施形態に係る符号化装置１は、ＡＣＴを適用する場合、均一なスケーリングリストを用いる。これにより、１つの画像（ピクチャ）内においてＡＣＴを適用する符号化対象ブロックとＡＣＴを適用しない符号化対象ブロックとが混在する場合であっても、画質の劣化を抑制可能である。

＜復号装置＞
次に、本実施形態に係る復号装置について、符号化装置１との相違点を主として説明する。図３は、本実施形態に係る復号装置２の構成を示す図である。

図３に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、逆量子化制御部２１４と、切替部２１５と、色空間逆変換部２１６と、合成部２２０と、ループフィルタ２３０と、メモリ２４０と、予測部２５０とを有する。

エントロピー復号部２００は、符号化データ（ビットストリーム）を復号して、復号対象ブロックに対応する量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、変換処理及び量子化処理に関する情報を取得し、変換処理及び量子化処理に関する情報を逆量子化・逆変換部２１０に出力する。さらに、エントロピー復号部２００は、予測処理に関する情報を取得し、予測処理に関する情報を予測部２５０に出力する。エントロピー復号部２００は、符号化対象ブロックごとの色空間変換フラグを取得し、取得した色空間変換フラグを逆量子化制御部２１４及び切替部２１５に出力する。

逆量子化制御部２１４は、色空間変換フラグに基づいて、符号化装置１の量子化制御部１２３と同様な動作を行う（図２参照）。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及びスケーリングリストを用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。ここで、逆量子化部２１１による逆量子化処理に用いるスケーリングリストは、逆量子化制御部２１４により決定される。

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を切替部２１５に出力する。

切替部２１５は、色空間変換フラグに基づいて、逆変換部２１２が出力する各成分の予測残差を合成部２２０及び色空間逆変換部２１６のいずれか一方に出力する。切替部２１５は、色空間逆変換処理（ＡＣＴ）を行わない場合は予測残差を合成部２２０に出力し、色空間逆変換処理を行う場合は予測残差を色空間逆変換部２１６に出力する。

色空間逆変換部２１６は、符号化装置１の色空間変換部１１２が行う色空間変換処理の逆処理である色空間逆変換処理を行い、色空間逆変換処理後の予測残差を合成部２２０に出力する。具体的には、復元後の予測残差のＹ成分、Ｃｇ成分、Ｃｏ成分を用いて下記のような逆変換計算を行う。

ｔ＝Ｙ-（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ-（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ

合成部２２０は、切替部２１５又は色空間逆変換部２１６が出力する予測残差と、予測部２５０が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをループフィルタ２３０に出力する。

ループフィルタ２３０は、合成部２２０が出力する復号済みブロックに対してフィルタ処理を行い、フィルタ処理後の復号済みブロックをメモリ２４０に出力する。

メモリ２４０は、合成部２２０が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２４０は、復号済みブロック若しくは復号済み画像を予測部２５０に出力する。また、メモリ２４０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。

予測部２５０は、ブロック単位で成分ごとに予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。

インター予測部２５１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２５１は、エントロピー復号部２００が出力するインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２４０に記憶された復号済み画像を参照画像として用いて符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。

イントラ予測部２５２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２５２は、エントロピー復号部２００が出力するイントラ予測に関する情報（例えば、イントラ予測モード情報）に応じたイントラ予測モードを用いて、メモリ２４０に記憶された復号済み画像のうち符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。

切替部２５３は、インター予測部２５１が出力するインター予測ブロックとイントラ予測部２５２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このように、本実施形態に係る復号装置２は、第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した復号対象ブロックごとに復号する。復号装置２は、ビットストリームから復号対象ブロックの量子化変換係数を成分ごとに復号するエントロピー復号部２００と、復号対象ブロックに対応する予測ブロックを成分ごとに生成する予測部２５０と、逆量子化処理に用いるスケーリングリストを決定する逆量子化制御部２１４と、決定されたスケーリングリストを用いて量子化変換係数に対する逆量子化処理を行うことで変換係数を生成する逆量子化部２１１と、変換係数に対して逆変換処理を行うことで予測残差を生成する逆変換部２１２と、予測残差に対して色空間逆変換処理を行う色空間逆変換部２１６と、予測残差と予測ブロックとを合成することで復号ブロックを生成する合成部２２０とを有する。

逆量子化制御部２１４は、色空間逆変換処理（色空間変換フラグ）に基づいてスケーリングリストを決定する。本実施形態において、逆量子化制御部２１４は、不均一なスケーリングリストを用いる旨を符号化側が設定した場合において、色空間逆変換部２１６が色空間逆変換処理を行うか否かに基づいて、不均一なスケーリングリストを用いるか又は均一なスケーリングリストを決定する。

例えば、不均一なスケーリングリストを用いる旨を符号化側が設定した場合において、逆量子化制御部２１４は、色空間逆変換部２１６が色空間逆変換処理を行わない場合、逆量子化処理に用いるスケーリングリストとして不均一なスケーリングリストを決定する。色空間逆変換部２１６が色空間逆変換処理を行う場合、逆量子化制御部２１４は、逆量子化処理に用いるスケーリングリストとして均一なスケーリングリストを決定する。

このように、本実施形態に係る復号装置２は、ＡＣＴを適用する場合、均一なスケーリングリストを用いる。これにより、１つの画像（ピクチャ）内においてＡＣＴを適用する符号化対象ブロックとＡＣＴを適用しない符号化対象ブロックとが混在する場合であっても、画質の劣化を抑制可能である。

＜変更例＞
次に、上述した実施形態の変更例について、上述した実施形態との相違点を主として説明する。

本変更例では、不均一なスケーリングリストを用いる旨を符号化装置１が設定した場合において、ＡＣＴ（色空間変換処理）を適用する場合であっても、不均一なスケーリングリストを用いる。但し、符号化装置１の量子化制御部１２３は、ＡＣＴを適用するか否かに基づいて、画像を構成する３つ以上の成分と各成分用のスケーリングリストとの対応関係を変更する。

図４は、本変更例に係る量子化制御部１２３の動作を示す図である。

図４に示すように、符号化装置１の量子化制御部１２３は、色空間変換処理を行わない場合（ステップＳ２１：ＮＯ）、ステップＳ２２において、第１成分であるＲ成分に対して第１スケーリングリストを、第２成分であるＧ成分に対して第２スケーリングリストを、第３成分であるＢ成分に対して第３スケーリングリストをそれぞれ決定する（表２参照）。

一方、色空間変換部が色空間変換処理を行う場合（ステップＳ２１：ＹＥＳ）、ステップＳ２３において、第１成分であるＹ成分に対して第２スケーリングリストを決定するように対応関係を変更する（表３参照）。

ＲＧＢ空間における輝度成分の多くはＧ成分に集中することから、Ｇ成分用の第２スケーリングリストをＹ成分に適用することとしている。これにより、適切なスケーリングリストをＹ成分に適用できるため、画質の劣化を抑制可能である。なお、表３の例において、第２成分であるＣｇ成分に対して第３スケーリングリストを決定し、第３成分であるＣｏ成分に対して第１スケーリングリストを決定するように、対応関係を変更している。

同様に、復号装置２の逆量子化制御部２１４は、不均一なスケーリングリストを用いる旨を符号化装置１が設定した場合において、ＡＣＴを適用する（すなわち、色空間逆変換部２１６が色空間逆変換処理を行う）か否かに基づいて、画像を構成する３つ以上の成分と各成分用のスケーリングリストとの対応関係を変更する。

逆量子化制御部２１４は、色空間逆変換部２１６が色空間逆変換処理を行わない場合、第１成分であるＲ成分に対して第１スケーリングリストを、第２成分であるＧ成分に対して第２スケーリングリストを、第３成分であるＢ成分に対して第３スケーリングリストをそれぞれ決定する（表２参照）。一方、色空間逆変換部２１６が色空間逆変換処理を行う場合、逆量子化制御部２１４は、第１成分であるＹ成分に対して第２スケーリングリストを決定する（表３参照）。

なお、本変更例では、各成分と各スケーリングリストとの対応関係を変更する場合において、変更後の対応関係（すなわち、Ｙ成分・Ｃｇ成分・Ｃｏ成分と第１乃至第３スケーリングリストとの対応関係）が固定であることを想定している（表３参照）。しかしながら、当該対応関係を符号化装置１（エントロピー符号化部１３０）から復号装置２にシグナリングすることにより、当該対応関係を可変設定してもよい。例えば、符号化装置１（エントロピー符号化部１３０）は、変更後の対応関係（すなわち、Ｙ成分・Ｃｇ成分・Ｃｏ成分と第１乃至第３スケーリングリストとの対応関係）を示す情報を、後述するアダプテーションパラメータセット（ＡＰＳ）に含めてシグナリングしてもよい。

＜その他の実施形態＞
符号化装置１のエントロピー符号化部１３０は、色空間変換処理に基づくスケーリングリストの決定動作を行うか否かを示す情報（制御フラグ）を含むシーケンスパラメータセット（ＳＰＳ）又はアダプテーションパラメータセット（ＡＰＳ）を出力してもよい。復号装置２のエントロピー復号部２００は、色空間逆変換処理に基づくスケーリングリストの決定動作を行うか否かを示す情報を含むＳＰＳ又はＡＰＳを取得してもよい。

また、符号化装置１のエントロピー符号化部１３０は、上述した実施形態のスケーリングリストの決定動作、及び変更例１のスケーリングリストの決定動作のいずれを用いるかを示す情報（制御フラグ）を含むＳＰＳ又はＡＰＳを出力してもよい。復号装置２のエントロピー復号部２００は、上述した実施形態のスケーリングリストの決定動作、及び変更例１のスケーリングリストの決定動作のいずれを用いるかを示す情報を含むＳＰＳ又はＡＰＳを取得してもよい。符号化装置１のエントロピー符号化部１３０は、クロマフォーマットが４：４：４か否かに応じて、当該制御フラグをシグナリングしてもよいし、ＳＰＳなどにおいてＡＣＴがシーケンスに対して適用可能であるか否かに応じて当該制御フラグのシグナリングを制御するよう構成してもよい。具体的には、ＳＰＳにおいて、ＡＣＴを符号化対象シーケンスに対して適用可能とする旨を示すフラグがシグナリングされた場合にのみ当該制御フラグをシグナリングするよう構成してもよい。また、ＡＰＳにおいて色差信号に対するスケーリングリストが当該ＡＰＳに含まれるか否かを示すフラグに応じて当該制御フラグのシグナリングを制御するよう構成してもよい。具体的には、ＡＰＳにおいて、前記色差信号に対するスケーリングリストが含まれる場合にのみ当該制御フラグをシグナリングするよう構成してもよい。

図５は、エントロピー符号化部１３０が出力するビットストリームを示す図である。

図５（ａ）に示すように、ビットストリームは、複数のＮＡＬユニットと、各ＮＡＬユニットの先頭に設けられるスタートコードとからなる。スタートコードは４ｂｙｔｅであり、ＮＡＬユニット内ではこの０００１（＝０ｘ０００００００１）が発生しないよう制御されている。図５（ｂ）に示すように、各ＮＡＬユニットは、ＮＡＬユニットヘッダとペイロードとからなる。

図６は、ＮＡＬユニットのタイプを示す図である。ＮＡＬユニットのタイプは、ＮＡＬユニットヘッダ内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅにより識別される。ＮＡＬユニットのタイプは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）クラスとｎｏｎ－ＶＣＬクラスとに分類される。ＶＣＬクラスは、符号化対象ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）を含むスライスの符号化ビットストリームに対応するクラスである。ＶＣＬクラスは、復号に必要な制御情報、例えば、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、及びＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に対応するクラスである。ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＡＰＳは、それぞれ異なるＮＡＬユニットによりシグナリングされる。

図７は、ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＡＰＳの関係を示す図である。

図７に示すように、ＶＰＳは、自身のＩＤ（ｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を持ち、ＳＰＳから参照される。ＶＰＳは、ビットストリームの復号全体に関する情報を格納する。例えば、ＶＰＳは、最大レイヤ枚数及びＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）などの情報を含む。

ＳＰＳは、自身のＩＤ（ｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を持ち、ＰＰＳから参照される。また、ＳＰＳは、自身が参照するＶＰＳのＩＤ（ｓｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を持つ。ＳＰＳは、シーケンスの復号に必要な情報を格納する。例えば、ＳＰＳは、クロマフォーマット、最大の幅・高さ、ビット深度、サブピクチャ情報（個数、各サブピクチャの開始座標、幅、高さなど）、各符号化ツール（各機能）のシーケンス単位でのオン・オフ制御、及び／又はＶＵＩ（Ｖｉｄｅｏ ｕｓａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）などの情報を含む。シーケンス単位でのオン・オフ制御の情報は、スケーリングリストを適用するか否かを示すフラグ（ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎｅｂｌｅｄ＿ｆｌａｇ）を含む。

ＰＰＳは、自身のＩＤ（ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を持ち、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）から参照される。また、ＰＰＳは、自身が参照するＳＰＳのＩＤ（ｐｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を持つ。ＰＰＳは、ピクチャ（Ｐｉｃｔｕｒｅ）の復号に必要な情報を格納する。例えば、ＰＰＳは、ピクチャの幅・高さ、タイル分割情報（縦横のタイル数、各行・列の幅・高さなどの定義）、及び／又はスライス分割情報（スライス分割形状（ｒｅｃｔ／ｎｏｎ－ｒｅｃｔ）、ｒｅｃｔの場合は各ｒｅｃｔの幅・高さ方向のタイル数）などの情報を含む。

ＰＨは、ピクチャごとのヘッダ情報である。ＰＨを参照するのはピクチャ内のスライスである。スライスは、自身が含まれるピクチャを暗黙的に判別できるのでＰＨのＩＤは定義する必要ない。一方、ＰＨは、参照先のＰＰＳのＩＤ（ｐｈ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を保持する。ＰＨは、当該ピクチャに対する制御情報を格納する。例えば、ＰＨは、当該ピクチャに対する各符号化ツール（各機能）のオン・オフ制御などの情報を含む。ＰＨは、ＡＬＦ、ＬＭＣＳ、及びスケーリングリストのそれぞれのツールの適用オン・オフを示す情報を含む。ピクチャ単位でのオン・オフ制御の情報は、スケーリングリストを適用するか否かを示すフラグ（ｐｈ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含む。ＰＨは、１つ以上のツールを適用する場合、当該ツールのパラメータ情報を格納するＡＰＳのＩＤを含む。

ＡＰＳは、ＡＬＦ、ＬＭＣＳ、スケーリングリストなどの比較的多くのパラメータを伝送する必要がある符号化ツールのためのパラメータ伝送用のシンタックス構造である。ＡＰＳは、自身のＩＤを保持しており、このＩＤはＰＨから参照される。

上述した実施形態及びその変更例に係る制御情報（制御フラグ）をＳＰＳ中でシグナリングすることで、複数のスケーリングリストを規定する場合であっても、１つの制御フラグにより量子化処理を制御できるため、フラグ情報量を削減できる。一方、上述した実施形態及びその変更例に係る制御情報（制御フラグ）をＡＰＳ中でシグナリングすることで、設定する複数のスケーリングリストごとに適用するスケーリングリストを色空間変換の適用に応じて制御するか否かを決定できるため、より柔軟な量子化処理が可能となる。

上述した符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本願は、日本国特許出願第２０２０－０７０１０６号（２０２０年４月８日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (4)

1. 第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した符号化対象ブロックごとに符号化する符号化装置であって、
   前記符号化対象ブロックに対応する予測ブロックを成分ごとに生成する予測部と、
   前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差を成分ごとに生成する残差生成部と、
   前記成分ごとの予測残差を更新するための更新処理により新たな予測残差を生成する残差更新部と、
   前記新たな予測残差に対して変換処理を行うことで変換係数を生成する変換部と、
   前記変換係数に対する量子化処理に用いるスケーリングリストを決定する量子化制御部と、
   前記決定されたスケーリングリストを用いて、前記変換係数に対して前記量子化処理を行う量子化部と、
   前記更新処理に基づく前記スケーリングリストの決定動作を行うか否かを示す情報を含むシーケンスパラメータセットを出力するエントロピー符号化部と、を備えることを特徴とする符号化装置。
2. 第１成分、第２成分、及び第３成分を含む３つ以上の成分により構成される画像を分割して生成した復号対象ブロックごとに復号する復号装置であって、
   ビットストリームから前記復号対象ブロックの量子化変換係数を成分ごとに復号するエントロピー復号部と、
   前記復号対象ブロックに対応する予測ブロックを成分ごとに生成する予測部と、
   逆量子化処理に用いるスケーリングリストを決定する逆量子化制御部と、
   前記決定されたスケーリングリストを用いて前記量子化変換係数に対する前記逆量子化処理を行うことで変換係数を生成する逆量子化部と、
   前記変換係数に対して逆変換処理を行うことで予測残差を生成する逆変換部と、
   前記予測残差を更新するための更新処理により新たな予測残差を生成する残差更新部と、を備え、
   前記エントロピー復号部は、前記更新処理に基づく前記スケーリングリストの決定動作を行うか否かを示す情報を含むシーケンスパラメータセットを取得することを特徴とする復号装置。
3. コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
4. コンピュータを請求項２に記載の復号装置として機能させることを特徴とするプログラム。

Images