JP2015019257A - カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 - Google Patents
カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 Download PDFInfo
- Publication number
- JP2015019257A JP2015019257A JP2013145408A JP2013145408A JP2015019257A JP 2015019257 A JP2015019257 A JP 2015019257A JP 2013145408 A JP2013145408 A JP 2013145408A JP 2013145408 A JP2013145408 A JP 2013145408A JP 2015019257 A JP2015019257 A JP 2015019257A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- color
- color component
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】YUV4:4:4信号、RGB信号や3原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めることができるようにする。【解決手段】予測画像生成部は、第1の色成分以外の色成分については、復号済みの他のピクチャに含まれる復号対象の色成分と同一の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる前記第1の色成分の復号画像の画素と復号対象の前記第1の色成分以外の色成分の復号対象の画素との相関を表す相関パラメータと、前記第1の色成分の復号画像とを用いて、フレーム間予測復号を実施することで、復号対象の前記第1の色成分以外の色成分の予測画像を生成する。【選択図】図19
Description
この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
例えば、以下の非特許文献1に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
変換ブロックについては、予測ブロックが2N×Nサイズや、2N×0.5Nサイズの長方形である場合には、図13に示すように、長辺と短辺が2N×0.5Nの長さとなる非正方形変換ブロックに、変換ブロックを四分木状に階層的に分割することにより、変換ブロックが予測ブロックの境界を跨がないようにするとともに、変換係数のエントロピー符号化をN×Nサイズの正方形変換ブロックと共通する手段で圧縮して、高い圧縮率を達成している。
従来のカラー動画像符号化装置では、YUV4:2:0信号の符号化を行う場合、色差信号の予測ブロックおよび変換ブロックのサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。
B. Bross,W.-J. Han,J.-R. Ohm,G. J. Sullivan,Y.-K. Wang and T. Wiegand,"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)",doc. JCTVC-L1003,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,12th Meeting,2013
従来のカラー動画像符号化装置は以上のように構成されているので、YUV4:2:0信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、YUV4:2:2信号やYUV4:4:4信号の符号化を行う場合、色差信号の形状がYUV4:2:0信号の色差信号の形状と異なるため、YUV4:2:2信号やYUV4:4:4信号、RGB信号や3原色より更に多くの色成分を含む信号の符号化をサポートするには追加の回路規模が大きくなってしまう課題があった。
この発明は上記のような課題を解決するためになされたもので、YUV4:4:4信号、RGB信号や3原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めることができるカラー
動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
この発明に係るカラー動画像符号化装置は、予測画像生成部が、第1の色成分以外の色成分については、復号済みの他のピクチャに含まれる復号対象の色成分と同一の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる前記第1の色成分の復号画像の画素と復号対象の前記第1の色成分以外の色成分の復号対象の画素との相関を表す相関パラメータと、前記第1の色成分の復号画像とを用いて、フレーム間予測復号を実施することで、復号対象の前記第1の色成分以外の色成分の予測画像を生成するようにしたものである。
この発明によれば、予測画像生成部が、第1の色成分以外の色成分については、復号済みの他のピクチャに含まれる復号対象の色成分と同一の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる前記第1の色成分の復号画像の画素と復号対象の前記第1の色成分以外の色成分の復号対象の画素との相関を表す相関パラメータと、前記第1の色成分の復号画像とを用いて、フレーム間予測復号を実施することで、復号対象の前記第1の色成分以外の色成分の予測画像を生成するように構成したので、YUV4:4:4信号、RGB信号や3原色より更に多くの色成分を含む信号の符号化を行う場合でも、回路規模を小さく抑えつつ、輝度信号と色差信号あるいは各色成分の符号化効率を高めることができる効果がある。
実施の形態1.
図1はこの発明の実施の形態1によるカラー動画像符号化装置を示す構成図である。
この実施の形態1のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
図1はこの発明の実施の形態1によるカラー動画像符号化装置を示す構成図である。
この実施の形態1のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の諧調は8ビットでもよいし、10ビット、12ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号が、2つの色差成分U,Vが輝度成分Yに対して、縦横ともに2分の1にサブサンプルされたYUV4:2:0フォーマット、2つの色差成分U,Vが輝度成分Yに対して、横方向に2分の1にサブサンプルされたYUV4:2:2フォーマット、あるいは、2つの色差成分U,Vが輝度成分Yと同じサンプル数である4:4:4フォーマット(例えば、YUV4:4:4やRGBなど)の信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図1において、符号化制御部1はイントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13等に出力される。
なお、符号化制御部1は符号化制御手段を構成している。
また、符号化制御部1は利用可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部1は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13等に出力される。
なお、符号化制御部1は符号化制御手段を構成している。
ここで、図13は4:2:0フォーマットの信号における輝度信号及び色差信号の圧縮処理(変換処理、量子化処理)を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図13に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
変換ブロックサイズは、図13に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
輝度信号については、例えば、図13に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図13に示すように、入力信号フォーマットがYUV4:2:0信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
図14に示すように、入力信号フォーマットがYUV4:2:2信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の2倍となる長方形となる。
また、図14に示すように、入力信号フォーマットが4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。
また、図14に示すように、入力信号フォーマットが4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。
ブロック分割部2は入力カラー画像(カレントピクチャ)を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部2はブロック分割手段を構成している。
切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。
切替スイッチ3は符号化制御部1により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部2により分割された符号化ブロックをイントラ予測部4に出力し、符号化制御部1により選択された符号化モードがインター符号化モードであれば、ブロック分割部2により分割された符号化ブロックを動き補償予測部5に出力する処理を実施する。
イントラ予測部4は切替スイッチ3からブロック分割部2により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ10により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部1から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、符号化制御部1により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
即ち、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部2により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、符号化制御部1により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットが4:4:4信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
4:4:4信号では、色成分間のエッジ位置に高い相関関係があるため、YUVの輝度信号に相当する第一の色成分と異なる方向性予測モードをその他の色成分信号に適用することを禁止することにより、その他の色成分信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、その他の色成分信号に対しても、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
4:4:4信号では、色成分間のエッジ位置に高い相関関係があるため、YUVの輝度信号に相当する第一の色成分と異なる方向性予測モードをその他の色成分信号に適用することを禁止することにより、その他の色成分信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、その他の色成分信号に対しても、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償予測部5はブロック分割部2により分割された符号化ブロックに対応する符号化モードとして、符号化制御部1によりインター符号化モードが選択された場合、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成部が構成されている。
なお、切替スイッチ3、イントラ予測部4及び動き補償予測部5から予測画像生成部が構成されている。
減算部6はブロック分割部2により分割された符号化ブロックから、イントラ予測部4又は動き補償予測部5により生成された予測画像を減算することで、差分画像(=符号化ブロック−予測画像)を生成する処理を実施する。なお、減算部6は差分画像生成手段を構成している。
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
変換・量子化部7は符号化制御部1から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部6により生成された差分画像の変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部7は減算部6により生成された符号化ブロックの差分画像に対する変換・量子化処理(圧縮処理)を実施する場合、輝度信号については、例えば、図13に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図13に示すように、入力信号フォーマットがYUV4:2:0信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
入力信号フォーマットがYUV4:2:2信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の2倍となる長方形となる。
また、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
変換・量子化部7はブロック分割部2による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
なお、変換・量子化部7は画像圧縮手段を構成している。
また、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
変換・量子化部7はブロック分割部2による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
なお、変換・量子化部7は画像圧縮手段を構成している。
逆量子化・逆変換部8は符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部7から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
加算部9は逆量子化・逆変換部8から出力された局所復号予測差分信号とイントラ予測部4又は動き補償予測部5により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。
イントラ予測用メモリ10はイントラ予測部4により次回のイントラ予測処理で用いられる画像として、加算部9により生成された局所復号画像信号が示す局所復号画像を格納するRAMなどの記録媒体である。
ループフィルタ部11は加算部9により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に出力する処理を実施する。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ12は動き補償予測部5により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部11によるフィルタリング処理後の局所復号画像を格納するRAMなどの記録媒体である。
可変長符号化部13は入力信号フォーマットを特定する入力信号フォーマット情報と、変換・量子化部7から出力された圧縮データと、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータ及び動き情報とを算術符号化によって可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する処理を実施する。
即ち、可変長符号化部13は変換・量子化部7から出力された圧縮データである変換係数を可変長符号化する際、入力カラー画像の信号フォーマットがYUV4:2:0である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているYUV4:2:0用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化する。
入力カラー画像の信号フォーマットがYUV4:2:2である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがYUV4:2:0である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に2個ずつ繰り返し割り当てられているYUV4:2:2用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
なお、可変長符号化部13は可変長符号化手段を構成している。
入力カラー画像の信号フォーマットがYUV4:2:2である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがYUV4:2:0である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に2個ずつ繰り返し割り当てられているYUV4:2:2用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
なお、可変長符号化部13は可変長符号化手段を構成している。
図1では、カラー動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど)で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成されていてもよい。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ10及び動き補償予測フレームメモリ12をコンピュータのメモリ上に構成するとともに、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1によるカラー動画像符号化装置の処理内容を示すフローチャートである。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ10及び動き補償予測フレームメモリ12をコンピュータのメモリ上に構成するとともに、符号化制御部1、ブロック分割部2、切替スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1によるカラー動画像符号化装置の処理内容を示すフローチャートである。
ここで、図3はこの発明の実施の形態1によるカラー動画像符号化装置の可変長符号化部13を示す構成図である。
図3において、変換係数可変長符号化部21は変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部22は入力信号フォーマット情報、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
図3において、変換係数可変長符号化部21は変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部22は入力信号フォーマット情報、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
図4はこの発明の実施の形態1によるカラー動画像復号装置を示す構成図である。
図4において、可変長復号部41はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する処理を実施する。
図4において、可変長復号部41はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、その符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する処理を実施する。
即ち、可変長復号部41は各々の符号化データから符号化ブロックに係る圧縮データである変換係数を可変長復号する際、入力信号フォーマット情報が示す信号フォーマットがYUV4:2:0である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているYUV4:2:0用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
入力フォーマット情報が示す信号フォーマットがYUV4:2:2である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがYUV4:2:0である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に2個ずつ繰り返し割り当てられているYUV4:2:2用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
なお、可変長復号部41は可変長復号手段を構成している。
入力フォーマット情報が示す信号フォーマットがYUV4:2:2である場合、入力カラー画像の色差信号における各変換係数のコンテキスト値として、信号フォーマットがYUV4:2:0である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に2個ずつ繰り返し割り当てられているYUV4:2:2用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
なお、可変長復号部41は可変長復号手段を構成している。
切替スイッチ42は可変長復号部41から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する処理を実施する。
イントラ予測部43はイントラ予測用メモリ47により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ42から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
イントラ予測部43はイントラ予測用メモリ47により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ42から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部43は、符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、符号化ブロックにおける色差成分については、入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、可変長復号部41により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
一方、符号化ブロックにおける色差成分については、入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、可変長復号部41により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部41により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部41により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
また、可変長復号部41により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットが4:4:4信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償部44は動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、切替スイッチ42から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ42、イントラ予測部43及び動き補償部44から予測画像生成部が構成されている。
なお、切替スイッチ42、イントラ予測部43及び動き補償部44から予測画像生成部が構成されている。
逆量子化・逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として出力する処理を実施する。
即ち、逆量子化・逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
即ち、逆量子化・逆変換部45は可変長復号部41から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
具体的には、輝度信号については、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードである場合、その変換ブロック分割フラグに基づいて符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、入力信号フォーマットがYUV4:2:0信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
入力信号フォーマットがYUV4:2:2信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は常に垂直方向の画素数が水平方向の画素数の2倍となる長方形となる。
また、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
なお、逆量子化・逆変換部45は差分画像生成手段を構成している。
また、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
なお、逆量子化・逆変換部45は差分画像生成手段を構成している。
加算部46は逆量子化・逆変換部45から出力された復号予測差分信号とイントラ予測部43又は動き補償部44により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部46は復号画像生成手段を構成している。
イントラ予測用メモリ47はイントラ予測部43により次回のイントラ予測処理で用いられる画像として、加算部46により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
イントラ予測用メモリ47はイントラ予測部43により次回のイントラ予測処理で用いられる画像として、加算部46により生成された復号画像信号が示す復号画像を格納するRAMなどの記録媒体である。
ループフィルタ部48は加算部46により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ49は動き補償部44により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部48によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。
動き補償予測フレームメモリ49は動き補償部44により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部48によるフィルタリング処理後の復号画像を格納するRAMなどの記録媒体である。
図4では、カラー動画像復号装置の構成要素である可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化・逆変換部45、加算部46、イントラ予測用メモリ47、ループフィルタ部48及び動き補償予測フレームメモリ49のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど)で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成されていてもよい。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ47及び動き補償予測フレームメモリ49をコンピュータのメモリ上に構成するとともに、可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図5はこの発明の実施の形態1によるカラー動画像復号装置の処理内容を示すフローチャートである。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ47及び動き補償予測フレームメモリ49をコンピュータのメモリ上に構成するとともに、可変長復号部41、切替スイッチ42、イントラ予測部43、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図5はこの発明の実施の形態1によるカラー動画像復号装置の処理内容を示すフローチャートである。
図6はこの発明の実施の形態1によるカラー動画像復号装置の可変長復号部41を示す構成図である。
図6において、変換係数可変長復号部51はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部52はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
図6において、変換係数可変長復号部51はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部52はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
次に動作について説明する。
最初に、図1のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。
最初に、図1のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部1は、イントラ予測処理(フレーム内予測処理)又は動き補償予測処理(フレーム間予測処理)が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する(図2のステップST1)。
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
また、符号化制御部1は、利用可能な1以上の符号化モード(M種類のイントラ符号化モード、N種類のインター符号化モード)の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。予め用意されているM種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、後述するブロック分割部2により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態1では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部1は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。
符号化制御部1は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部4に出力する。
ブロック分割部2は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部1により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部1により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する(ステップST3)。
ここで、図7は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図7の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図7の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
ここで、図7は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図7の例では、最大サイズの符号化ブロックは、第0階層の符号化ブロックB0であり、輝度成分で(L0,M0)のサイズを有している。
また、図7の例では、最大サイズの符号化ブロックB0を出発点として、4分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックBnを得ている。
深さnにおいては、符号化ブロックBnはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図7の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
ブロック分割部2では、4分木分割を行うため、常に(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と表記する。
ただし、LnとMnは同じであってもよいし異なっていてもよいが、図7の例ではLn=Mnのケースを示している。
以降、符号化ブロックBnのサイズは、符号化ブロックBnの輝度成分におけるサイズ(Ln,Mn)と定義する。
ブロック分割部2では、4分木分割を行うため、常に(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
ただし、RGB信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは(Ln/2,Mn/2)である。
以降、第n階層の符号化ブロックBnで選択しうる符号化モードをm(Bn)と表記する。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
符号化モードm(Bn)には、1つないし複数のイントラ符号化モード(総称して「INTRA」)、1つないし複数のインター符号化モード(総称して「INTER」)があり、符号化制御部1は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックBnに対して最も符号化効率がよい符号化モードを選択する。
符号化ブロックBnは、図7に示すように、更に1つないし複数の予測処理単位(パーティション)に分割される。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。図8は符号化ブロックBnに属するパーティションPi nを示す説明図である。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
以降、符号化ブロックBnに属するパーティションをPi n(i: 第n階層におけるパーティション番号)と表記する。図8は符号化ブロックBnに属するパーティションPi nを示す説明図である。
符号化ブロックBnに属するパーティションPi nの分割がどのようになされているかは符号化モードm(Bn)の中に情報として含まれる。
パーティションPi nは、すべて符号化モードm(Bn)に従って予測処理が行われるが、パーティションPi n毎に、個別の予測パラメータを選択することができる。
符号化制御部1は、最大サイズの符号化ブロックに対して、例えば、図9に示すようなブロック分割状態を生成して、符号化ブロックBnを特定する。
図9(a)の斜線部分は分割後のパーティションの分布を示し、また、図9(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図9(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
図9(a)の斜線部分は分割後のパーティションの分布を示し、また、図9(b)は階層分割後のパーティションに符号化モードm(Bn)が割り当てられる状況を4分木グラフで示している。
図9(b)において、□で囲まれているノードが、符号化モードm(Bn)が割り当てられたノード(符号化ブロックBn)を示している。
また、符号化制御部1は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
切替スイッチ3は、符号化制御部1がイントラ符号化モードを選択すると(m(Bn)∈INTRA)、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nをイントラ予測部4に出力し、符号化制御部1がインター符号化モードを選択すると(m(Bn)∈INTER)、その符号化ブロックBnに属するパーティションPi nを動き補償予測部5に出力する。
イントラ予測部4は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、符号化制御部1により決定されたイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST5)。
以下、この明細書では、Pi nはパーティションを示し、(Pi n)はパーティションPi nの予測画像を示すものとする。
以下、この明細書では、Pi nはパーティションを示し、(Pi n)はパーティションPi nの予測画像を示すものとする。
イントラ予測画像(Pi n)の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、4×4画素パーティションや8×8画素パーティションでは34方向、16×16画素パーティションでは17方向、32×32画素パーティションでは9方向などのように構成してもよい。
ここで、イントラ予測部4の処理内容を具体的に説明する。
図10は符号化ブロックBnに属する各パーティションPi nにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図10の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図10は符号化ブロックBnに属する各パーティションPi nにおいて選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図10の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
まず、イントラ予測部4は、ブロック分割部2により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部4が、パーティションPi nの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションPi nのサイズをli n×mi n画素とする。
以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部4が、パーティションPi nの輝度信号に対するイントラ予測パラメータ(イントラ予測モード)に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションPi nのサイズをli n×mi n画素とする。
図11はli n=mi n=4の場合において、パーティションPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図11の例では、パーティションPi nに隣接している符号化済みの上パーティションの画素((2×li n+1)個の画素)と、左パーティションの画素((2×mi n)個の画素)を予測に用いる参照画素としているが、予測に用いる画素は、図11に示す画素より多くても少なくてもよい。
また、図11の例では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
図11の例では、パーティションPi nに隣接している符号化済みの上パーティションの画素((2×li n+1)個の画素)と、左パーティションの画素((2×mi n)個の画素)を予測に用いる参照画素としているが、予測に用いる画素は、図11に示す画素より多くても少なくてもよい。
また、図11の例では、隣接している1行又は1列分の画素を予測に用いているが、2行又は2列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
イントラ予測部4は、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。
ただし、kは正のスカラ値である。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
予測値を生成する画素(予測対象画素)のパーティションPi n内の相対座標(パーティションの左上画素を原点とする)を(x,y)とすると、予測に用いる参照画素の位置は、下記に示すLと、隣接画素の交点となる。
ただし、kは正のスカラ値である。
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図11の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。
なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
図11の例では、参照画素が整数画素位置にないので、参照画素に隣接する2画素の平均値を予測値としている。
なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
イントラ予測部4は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
イントラ予測画像(Pi n)の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。
イントラ予測画像(Pi n)の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部13に出力される。
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
ここでは、符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成するものを示したが、色差成分対する予測画像は次のように生成する。
図12は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、符号化制御部1により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
図12は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
入力信号フォーマットがYUV4:2:0信号又はYUV4:2:2信号である場合には、符号化制御部1により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部2により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
また、符号化制御部1により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットがYUV4:4:4信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償予測部5は、切替スイッチ3から符号化ブロックBnに属するパーティションPi nを受けると(ステップST4)、符号化制御部1により決定されたインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST6)。
即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
インター予測画像(Pi n)の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
即ち、動き補償予測部5は、動き補償予測フレームメモリ12により格納されている1フレーム以上の参照画像を用いて、符号化制御部1から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
インター予測画像(Pi n)の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像(Pi n)を生成する必要があるため、可変長符号化部13によってビットストリームに多重化される。
減算部6は、イントラ予測部4又は動き補償予測部5から予測画像(Pi n)を受けると、ブロック分割部2により分割された符号化ブロックBnに属するパーティションPi nから、その予測画像(Pi n)を減算することで、その差分画像を示す予測差分信号ei nを生成する(ステップST7)。
変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、符号化制御部1で決定された変換ブロックサイズ単位で、その予測差分信号ei nに対する変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ei nの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST8)。
即ち、変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、予測差分信号ei nの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
即ち、変換・量子化部7は、減算部6が予測差分信号ei nを生成すると、予測差分信号ei nの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部2により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図13に示すように、入力信号フォーマットがYUV4:2:0信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが1つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
図14に示すように、入力信号フォーマットがYUV4:2:2信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが1つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の2倍となる長方形となる。
また、図14に示すように、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
また、図14に示すように、入力信号フォーマットがYUV4:4:4信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部1から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部9に出力する(ステップST9)。
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4又は動き補償予測部5により生成された予測画像(Pi n)を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像(以下、「局所復号画像」と称する)を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部11に出力する(ステップST10)。
また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。
また、イントラ予測用メモリ10には、イントラ予測に用いるために、当該局所復号画像が格納される。
ループフィルタ部11は、加算部9から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ12に格納する(ステップST11)。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、局部復号画像のエッジ方向や画素値の分布などを分析し、エッジ方向又は画素値のレベル情報である適応画素オフセットタイプを決定するとともに、当該ブロック内のエッジの種類や画素値のサブレベル毎に、画素値のオフセットとして発生した符号化歪みを補償する画素オフセット値を決定し、その画素オフセット値を局部復号画像に加算することで符号化歪みを補償するように構成してもよい。
この場合には、上記の適応画素オフセットタイプ及び画素オフセット値を可変長符号化部13で可変長符号化するようにする。
このような符号化歪に対しては、所定のブロック毎に、局部復号画像のエッジ方向や画素値の分布などを分析し、エッジ方向又は画素値のレベル情報である適応画素オフセットタイプを決定するとともに、当該ブロック内のエッジの種類や画素値のサブレベル毎に、画素値のオフセットとして発生した符号化歪みを補償する画素オフセット値を決定し、その画素オフセット値を局部復号画像に加算することで符号化歪みを補償するように構成してもよい。
この場合には、上記の適応画素オフセットタイプ及び画素オフセット値を可変長符号化部13で可変長符号化するようにする。
ここで、入力信号が4:4:4フォーマットである場合、エッジ部分については、各色成分で共通である可能性が高いので、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプを決定し、そのテクスチャタイプを示すテクスチャタイプ情報を可変長符号化部13で可変長符号化する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向を決定して(例えば、各色成分のエッジ方向の中で、符号化効率が最高になるエッジ方向を全色成分で共通のエッジ方向に決定する)、そのエッジ方向を示すエッジ方向情報を可変長符号化部13で可変長符号化するとともに、全色成分で共通のエッジの種類を決定し、エッジの種類毎に各色成分独立に画素オフセット値を決定して(例えば、エッジの種類に対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する)、その画素オフセット値を可変長符号化部13で可変長符号化する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向を決定して(例えば、各色成分のエッジ方向の中で、符号化効率が最高になるエッジ方向を全色成分で共通のエッジ方向に決定する)、そのエッジ方向を示すエッジ方向情報を可変長符号化部13で可変長符号化するとともに、全色成分で共通のエッジの種類を決定し、エッジの種類毎に各色成分独立に画素オフセット値を決定して(例えば、エッジの種類に対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する)、その画素オフセット値を可変長符号化部13で可変長符号化する。
一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベルを決定して(例えば、画素値が0〜255の範囲にあるとき、4つのレベル(レベル1(0〜63)、レベル2(64〜127)、レベル3(128〜191)、レベル4(192〜255)が規定されていれば、仮に、画素値が「102」であれば、レベル2に決定し、画素値が「185」であれば、レベル3に決定する)、そのレベルを示すレベル情報を可変長符号化部13で可変長符号化する。
また、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を決定して(例えば、画素値のレベルを更に細かくサブレベル(例えば、16のレベル)に分類し、そのサブレベルに対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する)、その画素オフセット値を可変長符号化部13で可変長符号化する。
また、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を決定して(例えば、画素値のレベルを更に細かくサブレベル(例えば、16のレベル)に分類し、そのサブレベルに対応する画素オフセット値を記録しているテーブルを参照して、画素オフセット値を決定する)、その画素オフセット値を可変長符号化部13で可変長符号化する。
このようにすれば、エッジ部分については、全色成分で共通の情報を可変長符号化することになるため、少ない情報量でエッジ部分の情報をシグナリングすることができる。一方、各色成分で異なる情報については独立に決定して可変長符号化することにより、画素値のオフセットとして発生する符号化歪を色成分毎に適切に補償して画質を向上させることができる。
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する局所復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST4〜ST10の処理は、ブロック分割部2により分割された全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST12)。
可変長符号化部13は、入力信号フォーマット情報、変換・量子化部7から出力された圧縮データ、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する(ステップST13)。
可変長符号化部13は、入力信号フォーマット情報、変換・量子化部7から出力された圧縮データ、符号化制御部1から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部4から出力されたイントラ予測パラメータ又は動き補償予測部5から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する(ステップST13)。
可変長符号化部13は、上述したように、イントラ予測部4から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル(予測方向代表ベクトル)を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス(予測方向代表インデックス)と予測方向代表ベクトルからの差分を表すインデックス(予測方向差分インデックス)で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するように構成してもよい。
以下、可変長符号化部13の処理内容を具体的に説明する。
可変長符号化部13は、図3に示すように、変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部21と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部22とから構成されており、変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
可変長符号化部13は、図3に示すように、変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部21と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部22とから構成されており、変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
可変長符号化部13の変換係数可変長符号化部21は、変換・量子化部7から出力された圧縮データである直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術符号化する。
即ち、変換係数可変長符号化部21は、輝度成分、YUV4:2:0フォーマットの色差成分又はYUV4:4:4フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。
即ち、変換係数可変長符号化部21は、輝度成分、YUV4:2:0フォーマットの色差成分又はYUV4:4:4フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。
(1)図15に示す斜めスキャン順に各直交変換係数を走査するとともに、斜めスキャン順で最も後ろにある非零の直交変換係数の位置を“PosLast”として特定する。
(2)PosLastの水平成分であるPosLastXと、PosLastの垂直成分であるPosLastYを算術符号化する。
(3)斜めスキャンと逆順である逆斜めスキャン順(図16を参照)に、PosLastから以下の(4)〜(8)の処理を行う。
(2)PosLastの水平成分であるPosLastXと、PosLastの垂直成分であるPosLastYを算術符号化する。
(3)斜めスキャンと逆順である逆斜めスキャン順(図16を参照)に、PosLastから以下の(4)〜(8)の処理を行う。
(4)逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術符号化する。
(5)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が1より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
(6)逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が2より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
(7)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
(8)逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から3を減じた値であるcoeff_abs_level_minus3を算術符号化する。
(9)最後のサブブロックに至るまで(3)を繰り返し実施する。
(5)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が1より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
(6)逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が2より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
(7)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
(8)逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から3を減じた値であるcoeff_abs_level_minus3を算術符号化する。
(9)最後のサブブロックに至るまで(3)を繰り返し実施する。
なお、変換ブロックの縦横比が2N:0.5N、あるいは、0.5N:2Nである長方形ブロックについては、同様の斜めスキャンを施すことにより、N×Nサイズのブロックに直交変換係数をマッピングした後に上記と同様の処理を行う。
ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが4×4や8×8のサイズであれば、例えば、図17に示すようなYUV4:2:0用のコンテキストインデックス値(コンテキスト値情報)を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率(例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている)を用いる。
ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが4×4や8×8のサイズであれば、例えば、図17に示すようなYUV4:2:0用のコンテキストインデックス値(コンテキスト値情報)を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率(例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている)を用いる。
ただし、入力信号がYUV4:2:2フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が2倍の長方形となるため、図18に示すようなYUV4:2:2用のコンテキストインデックス値(コンテキスト値情報)を参照する。
YUV4:2:2用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に2個ずつ繰り返し適用されている。
このようにすれば、入力信号がYUV4:2:2フォーマットである場合でも、YUV4:2:0フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
YUV4:2:2用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に2個ずつ繰り返し適用されている。
このようにすれば、入力信号がYUV4:2:2フォーマットである場合でも、YUV4:2:0フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
次に、図4のカラー動画像復号装置の処理内容を説明する。
可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図5のステップST41)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズ(イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ)と、分割階層数の上限(最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数)をカラー動画像符号化装置と同様の手順で決定する(ステップST42)。
可変長復号部41は、図1のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図5のステップST41)、1フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部41は、フレームサイズを復号すると、図1のカラー動画像符号化装置で決定された最大符号化ブロックサイズ(イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ)と、分割階層数の上限(最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数)をカラー動画像符号化装置と同様の手順で決定する(ステップST42)。
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図1のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
可変長復号部41は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPi nの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPi nに係る符号化データを特定する(ステップST43)。
可変長復号部41は、各パーティションPi nに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する(ステップST44)。
そして、可変長復号部41は、その符号化モードに含まれている符号化ブロックBnに属するパーティションPi nの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションPi nに係る符号化データを特定する(ステップST43)。
可変長復号部41は、各パーティションPi nに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部45に出力するとともに、符号化モード及びイントラ予測パラメータ/インター予測パラメータを切替スイッチ42に出力する(ステップST44)。
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
以下、可変長復号部41の処理内容を具体的に説明する。
可変長復号部41は、図6に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部51と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部52とから構成されている。
可変長復号部41は、図6に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部51と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部52とから構成されている。
可変長復号部41の変換係数可変長復号部51は、直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術復号する。
即ち、変換係数可変長復号部51は、輝度成分、YUV4:2:0フォーマットの色差成分又はYUV4:4:4フォーマットの色差成分の変換ブロックを次のように算術復号する。
即ち、変換係数可変長復号部51は、輝度成分、YUV4:2:0フォーマットの色差成分又はYUV4:4:4フォーマットの色差成分の変換ブロックを次のように算術復号する。
(1)図16に示す逆斜めスキャン順に、PosLastを含むサブブロックから始めて、当該サブブロック内に非零の直交変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の(2)〜(6)の処理を行う。
(2)逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の(2)〜(6)の処理を行う。
(2)逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。
(3)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が1より大きいか否かを示すcoeff_abs_level_greater1_flagを算術復号する。
coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として1を出力する。
(4)逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が2より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として2を出力する。
coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として1を出力する。
(4)逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が1より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が2より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として2を出力する。
(5)逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術復号し、当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
(6)逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から3を減じた値であるcoeff_abs_level_minus3を算術復号する。
当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に3を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
(6)逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が2より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から3を減じた値であるcoeff_abs_level_minus3を算術復号する。
当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に3を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
ここで、significant_coeff_flagの算術復号に用いる生起確率としては、画素サイズが4×4や8×8のサイズであれば、例えば、図17に示すようなYUV4:2:0用のコンテキストインデックス値を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率(例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている)を用いる。
ただし、入力信号がYUV4:2:2フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が2倍の長方形となるため、図18に示すようなYUV4:2:2用のコンテキストインデックス値を参照する。
YUV4:2:2用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に2個ずつ繰り返し適用されている。
このようにすれば、入力信号がYUV4:2:2フォーマットである場合でも、YUV4:2:0フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
YUV4:2:2用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に2個ずつ繰り返し適用されている。
このようにすれば、入力信号がYUV4:2:2フォーマットである場合でも、YUV4:2:0フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPi nの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。
イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると(ステップST45)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(ステップST46)。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、図1のイントラ予測部4と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
イントラ予測部43は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、図1のイントラ予測部4と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
イントラ予測部43は、同様の手順で、パーティションPi n内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像(Pi n)を出力する。
動き補償部44は、切替スイッチ42からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部5と同様に、そのインター予測パラメータに基づいて、各パーティションPi nに対するインター予測処理を実施することにより、インター予測画像(Pi n)を生成する(ステップST47)。
即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPi nに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
即ち、動き補償部44は、動き補償予測フレームメモリ49により格納されている1フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションPi nに対する動き補償予測処理を実施することで、インター予測画像(Pi n)を生成する。
逆量子化・逆変換部45は、可変長復号部41から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部41から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理(例えば、逆DCT(逆離散コサイン変換)や逆DST(逆離散サイン変換)、逆KL変換等の逆変換処理)を実施することで、逆変換処理後の圧縮データを復号予測差分信号(圧縮前の差分画像を示す信号)として加算部46に出力する(ステップST48)。
加算部46は、逆量子化・逆変換部45から出力された復号予測差分信号と、イントラ予測部43又は動き補償部44により生成された予測画像(Pi n)を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部48に出力する(ステップST49)。
また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。
また、イントラ予測用メモリ47には、イントラ予測に用いるために、当該復号画像が格納される。
ループフィルタ部48は、加算部46から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ49に格納するとともに、その復号画像を再生画像として出力する(ステップST50)。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
また、符号化歪は、画像のエッジ付近や平坦部分に画素値のオフセットとして発生することも知られている。
このような符号化歪に対しては、所定のブロック毎に、可変長復号部41が適応画素オフセットタイプ及び画素オフセット値を可変長復号し、その適応画素オフセットタイプがエッジ部分の画素オフセット値を補償することを示している場合には、当該ブロック内のエッジの種類毎の画素値のオフセット値を復号画像に加算することで符号化歪みを補償する。
また、その適応画素オフセットタイプがエッジ部分でない部分の画素オフセット値を補償することを示している場合には、当該ブロック内の画素値のサブレベル毎の画素オフセット値を復号画像に加算することで符号化歪を補償する。
このような符号化歪に対しては、所定のブロック毎に、可変長復号部41が適応画素オフセットタイプ及び画素オフセット値を可変長復号し、その適応画素オフセットタイプがエッジ部分の画素オフセット値を補償することを示している場合には、当該ブロック内のエッジの種類毎の画素値のオフセット値を復号画像に加算することで符号化歪みを補償する。
また、その適応画素オフセットタイプがエッジ部分でない部分の画素オフセット値を補償することを示している場合には、当該ブロック内の画素値のサブレベル毎の画素オフセット値を復号画像に加算することで符号化歪を補償する。
ここで、復号する信号が4:4:4フォーマットである場合、当該ブロックにおいて、エッジ部分の画素オフセットを補償するか、その他の部分の画素オフセットを補償するかを示すテクスチャタイプのテクスチャタイプ情報を可変長復号部41で可変長復号する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向情報を可変長復号部41で可変長復号するとともに、全色成分で共通のエッジの種類を決定して、エッジの種類毎に各色成分独立に画素オフセット値を可変長復号部41で可変長復号し、画素オフセットの補償処理を実施する。
テクスチャタイプがエッジ部分を示す場合には、全色成分で共通のエッジ方向情報を可変長復号部41で可変長復号するとともに、全色成分で共通のエッジの種類を決定して、エッジの種類毎に各色成分独立に画素オフセット値を可変長復号部41で可変長復号し、画素オフセットの補償処理を実施する。
一方、テクスチャタイプがエッジ部分でないことを示す場合には、各色成分独立に画素値のレベル情報を可変長復号部41で可変長復号するとともに、各色成分独立に当該ブロック内の画素値のサブレベル毎に画素オフセット値を可変長復号部41で可変長復号し、画素オフセットの補償処理を実施する。
このようにすれば、図1のカラー動画像符号化装置で符号化された4:4:4フォーマットの符号化データを好適に復号することができる。
このようにすれば、図1のカラー動画像符号化装置で符号化された4:4:4フォーマットの符号化データを好適に復号することができる。
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST43〜ST49の処理は、全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST51)。
なお、ループフィルタ部48によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1画面分のマクロブロックに相当する復号画像信号が入力された後に1画面分まとめて行ってもよい。
ステップST43〜ST49の処理は、全ての符号化ブロックBnに属するパーティションPi nに対する処理が完了するまで繰り返し実施される(ステップST51)。
以上で明らかなように、この実施の形態1によれば、変換・量子化部7が、減算部6により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がYUV4:2:2フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の2倍となる長方形に分割し、得られる変換係数を可変長符号化部13で符号化する際には、YUV4:2:0の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に2個ずつ繰り返したものを適用することにより、回路規模を増加させることなく、YUV4:2:2の色差信号の符号化効率を高めることができる効果を奏する。
また、カラー動画像復号装置においても、入力信号がYUV4:2:2フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の2倍となる長方形に分割し、得られる変換係数を可変長復号部41で復号する際には、YUV4:2:0の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に2個ずつ繰り返したものを適用することにより、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
実施の形態2.
図19はこの発明の実施の形態2によるカラー動画像符号化装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。 相関利用予測部61は符号化制御部1により決定された符号化モードが相関利用予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第一の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号の他の色成分(U成分およびV成分)に相当する第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部61は予測画像生成部を構成している。
図19はこの発明の実施の形態2によるカラー動画像符号化装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。 相関利用予測部61は符号化制御部1により決定された符号化モードが相関利用予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第一の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成し、あるいは、符号化済みの他のピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号の他の色成分(U成分およびV成分)に相当する第二の色成分及び第三の色成分については、符号化済みの同一ピクチャに含まれている第一の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部61は予測画像生成部を構成している。
図19では、カラー動画像符号化装置の構成要素である符号化制御部1、ブロック分割部2、切替スイッチ3、相関利用予測部61、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど)で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成されていてもよい。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ10及び動き補償予測フレームメモリ12をコンピュータのメモリ上に構成するとともに、符号化制御部1、ブロック分割部2、切替スイッチ3、相関利用予測部61、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
カラー動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ10及び動き補償予測フレームメモリ12をコンピュータのメモリ上に構成するとともに、符号化制御部1、ブロック分割部2、切替スイッチ3、相関利用予測部61、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図20はこの発明の実施の形態2によるカラー動画像符号化装置の相関利用予測部61を示す構成図である。
図20において、相関算出部62は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、予測に用いる相関パラメータα,βを算出する処理を実施する。
相関利用予測画像生成部63は相関算出部62により算出された相関パラメータα,βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
図20において、相関算出部62は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、予測に用いる相関パラメータα,βを算出する処理を実施する。
相関利用予測画像生成部63は相関算出部62により算出された相関パラメータα,βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
図23はこの発明の実施の形態2によるカラー動画像復号装置を示す構成図であり、図において、図4と同一符号は同一または相当部分を示すので説明を省略する。
相関利用予測部71は可変長復号部41により可変長復号された符号化モードが相関利用予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第一の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成し、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
また、YUV信号の他の色成分(U成分およびV成分)に相当する第二の色成分及び第三の色成分については、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部71は予測画像生成部を構成している。
相関利用予測部71は可変長復号部41により可変長復号された符号化モードが相関利用予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第一の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成し、あるいは、復号済みの他のピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
また、YUV信号の他の色成分(U成分およびV成分)に相当する第二の色成分及び第三の色成分については、復号済みの同一ピクチャに含まれている第一の色成分の復号画像を参照画像として利用してフレーム間予測復号を実施することで予測画像を生成する処理を実施する。
なお、相関利用予測部71は予測画像生成部を構成している。
図23では、カラー動画像復号装置の構成要素である可変長復号部41、切替スイッチ42、相関利用予測部71、動き補償部44、逆量子化・逆変換部45、加算部46、イントラ予測用メモリ47、ループフィルタ部48及び動き補償予測フレームメモリ49のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路やワンチップマイコン、あるいは、メモリなど)で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成されていてもよい。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ47及び動き補償予測フレームメモリ49をコンピュータのメモリ上に構成するとともに、可変長復号部41、切替スイッチ42、相関利用予測部71、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
カラー動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ47及び動き補償予測フレームメモリ49をコンピュータのメモリ上に構成するとともに、可変長復号部41、切替スイッチ42、相関利用予測部71、動き補償部44、逆量子化・逆変換部45、加算部46及びループフィルタ部48の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図24はこの発明の実施の形態2によるカラー動画像復号装置の相関利用予測部71を示す構成図である。
図24において、相関算出部72は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、予測に用いる相関パラメータα,βを算出する処理を実施する。
相関利用予測画像生成部73は相関算出部72により算出された相関パラメータα,βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
図24において、相関算出部72は参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、予測に用いる相関パラメータα,βを算出する処理を実施する。
相関利用予測画像生成部73は相関算出部72により算出された相関パラメータα,βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
上記実施の形態1では、カラー動画像符号化装置が、輝度信号と色差信号を同時に符号化するものを示したが、カラー動画像符号化装置が、入力信号が4:4:4フォーマットである場合、それぞれの成分をYUV4:0:0フォーマットであるとみなして、最初にYUV信号の輝度成分(Y成分)に相当する第一の色成分のみを符号化して、第一の色成分の局部復号画像を動き補償予測フレームメモリ12に格納し、次に、動き補償予測フレームメモリ12に格納された第一の色成分の局部復号画像を参照画像として利用して、その他の色成分(U成分およびV成分)の画像をYUV4:0:0フォーマットであるとみなして符号化するようにしてもよい。
可変長符号化部13は、上記のように、YUV4:4:4フォーマットの各色成分間で予測符号化を行うのか、上記実施の形態1のように、ピクチャ間での予測符号化を行うかを示す予測構成フラグを可変長符号化してビットストリームに多重化する。
また、予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成で符号化を行うことを示す場合、上記のように生成された3つのYUV4:0:0画像をまとめて、表示などのためのアクセスの単位となる1つのピクチャ(アクセスユニット)と認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
また、予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成で符号化を行うことを示す場合、上記のように生成された3つのYUV4:0:0画像をまとめて、表示などのためのアクセスの単位となる1つのピクチャ(アクセスユニット)と認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
図21は参照画像として利用する局部復号画像を示す説明図である。
次のピクチャでは、図21に示すように、Y成分に相当する第一の色成分については、動き補償予測フレームメモリ12に格納された前ピクチャの第一の色成分の局部復号画像を参照画像として利用して、YUV4:0:0フォーマットとして符号化する。
U成分及びV成分に相当するその他の色成分については、前ピクチャと同様に、当該ピクチャの第一の色成分の局部復号画像を参照画像として利用して、それぞれ符号化を行う。
次のピクチャでは、図21に示すように、Y成分に相当する第一の色成分については、動き補償予測フレームメモリ12に格納された前ピクチャの第一の色成分の局部復号画像を参照画像として利用して、YUV4:0:0フォーマットとして符号化する。
U成分及びV成分に相当するその他の色成分については、前ピクチャと同様に、当該ピクチャの第一の色成分の局部復号画像を参照画像として利用して、それぞれ符号化を行う。
ここで、色成分間の動き補償予測処理においては、動きベクトルが零、参照画像が特定されているため、動きベクトル及び参照画像の可変長符号化は行わない。
色成分間の予測においては、参照画像からの動き補償予測に加えて、参照画像を用いて、例えば、相関利用信号予測も選択できるよう構成してもよい。
色成分間の予測においては、参照画像からの動き補償予測に加えて、参照画像を用いて、例えば、相関利用信号予測も選択できるよう構成してもよい。
次に動作について説明する。
最初に、カラー動画像符号化装置の処理内容を説明する。
ただし、イントラ予測部4の代わりに、相関利用予測部61を設けている点以外は、上記実施の形態1と同様であるため、ここでは、相関利用予測部61の処理内容だけを説明する。
相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードが相関利用予測モードである場合、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、下記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα,βを算出する処理を実施する。
式(1),(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
最初に、カラー動画像符号化装置の処理内容を説明する。
ただし、イントラ予測部4の代わりに、相関利用予測部61を設けている点以外は、上記実施の形態1と同様であるため、ここでは、相関利用予測部61の処理内容だけを説明する。
相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードが相関利用予測モードである場合、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、下記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα,βを算出する処理を実施する。
式(1),(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
相関利用予測部61の相関利用予測画像生成部63は、相関算出部62が相関パラメータα,βを算出すると、その相関パラメータα,βと画面間参照画素Rec’Lを用いて、下記の式(3)に示すように、予測画像PredCを生成する。
これにより、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで4:4:4フォーマットの画像を高効率に圧縮することができる。
また、輝度成分の符号化回路のみで4:4:4フォーマットの画像を高効率に圧縮することができる。
次に、カラー動画像復号装置の処理内容を説明する。
可変長復号部41が符号化データから予測構成フラグを復号し、その予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、3つのYUV4:0:0フォーマットの画像を、表示などのためのアクセスの単位となる1つのピクチャ(アクセスユニット)として認識する。
そして、第一の色成分をYUV4:0:0フォーマットとして復号して、第一の色成分の復号画像を動き補償予測フレームメモリ49に格納し、その動き補償予測フレームメモリ49に格納された第一の色成分の復号画像を参照画像として利用して、その他の色差成分(例えばU成分およびV成分)の画像をYUV4:0:0フォーマットであるとみなして復号するように構成する。
可変長復号部41が符号化データから予測構成フラグを復号し、その予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、3つのYUV4:0:0フォーマットの画像を、表示などのためのアクセスの単位となる1つのピクチャ(アクセスユニット)として認識する。
そして、第一の色成分をYUV4:0:0フォーマットとして復号して、第一の色成分の復号画像を動き補償予測フレームメモリ49に格納し、その動き補償予測フレームメモリ49に格納された第一の色成分の復号画像を参照画像として利用して、その他の色差成分(例えばU成分およびV成分)の画像をYUV4:0:0フォーマットであるとみなして復号するように構成する。
次のピクチャでは、第一の色成分については、その動き補償予測フレームメモリ49に格納された前ピクチャの第一の色成分の復号画像を参照画像として利用して、YUV4:0:0フォーマットとして復号し、その他の色成分(U成分およびV成分)については、前ピクチャと同様に、当該ピクチャの第一の色成分の復号画像を参照画像として利用して、それぞれ復号を行う。
即ち、相関利用予測部71の相関算出部72は、可変長復号部41により可変長復号された符号化モードが相関利用予測モードである場合、図20の相関算出部62と同様に、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα,βを算出する処理を実施する。
相関利用予測部71の相関利用予測画像生成部73は、相関算出部72が相関パラメータα,βを算出すると、図20の相関利用予測画像生成部63と同様に、その相関パラメータα,βと画面間参照画素Rec’Lを用いて、上記の式(3)に示すように、予測画像PredCを生成する。
ここで、色成分間の予測を行う場合、可変長復号部41では、ブロック毎に、予測モードとして、動き補償予測モード又は相関利用予測モードのいずれを適用するかを示す予測方式情報を可変長復号する。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、第一の色成分を参照画像として、動きベクトルが零で特定される領域のブロックを予測値として動き補償予測処理を行う。従って、色成分間の動き補償予測モードの場合には、動きベクトル及び参照画像の可変長復号は行わない。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する。
即ち、この実施の形態2のカラー動画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。その他の処理は、上記実施の形態1のカラー動画像復号装置と同様の処理を行う。
これにより、この実施の形態2のカラー動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、第一の色成分を参照画像として、動きベクトルが零で特定される領域のブロックを予測値として動き補償予測処理を行う。従って、色成分間の動き補償予測モードの場合には、動きベクトル及び参照画像の可変長復号は行わない。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する。
即ち、この実施の形態2のカラー動画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。その他の処理は、上記実施の形態1のカラー動画像復号装置と同様の処理を行う。
これにより、この実施の形態2のカラー動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる。
この実施の形態2では、イントラ予測部4の代わりに、相関利用予測部61を実装しているカラー動画像符号化装置を示したが、図25に示すように、イントラ予測部4の代わりに、相関利用適応予測部81を実装するようにしてもよい。
図26はこの発明の実施の形態2によるカラー動画像符号化装置の相関利用適応予測部81を示す構成図である。
図26において、切替スイッチ82は符号化制御部1により決定された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部83に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部84に出力する処理を実施する。
図26はこの発明の実施の形態2によるカラー動画像符号化装置の相関利用適応予測部81を示す構成図である。
図26において、切替スイッチ82は符号化制御部1により決定された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部83に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部84に出力する処理を実施する。
イントラ予測部83は符号化制御部1により決定された符号化モードがイントラ予測モードである場合、図1のイントラ予測部4と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部84は符号化制御部1により決定された符号化モードが相関利用予測モードである場合、図19の相関利用予測部61と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部4の代わりに、相関利用適応予測部81を実装すると、符号化制御部1により決定された符号化モードがイントラ予測モードであれば、上記実施の形態1の方法でイントラ予測画像が生成され、符号化制御部1により決定された符号化モードが相関利用予測モードであれば、この実施の形態2の方法でイントラ予測画像が生成される。
この場合、可変長符号化部13では、ブロック毎に、いずれの予測モードを適用するかを示す予測方式情報を可変長符号化する。
相関利用予測部84は符号化制御部1により決定された符号化モードが相関利用予測モードである場合、図19の相関利用予測部61と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部4の代わりに、相関利用適応予測部81を実装すると、符号化制御部1により決定された符号化モードがイントラ予測モードであれば、上記実施の形態1の方法でイントラ予測画像が生成され、符号化制御部1により決定された符号化モードが相関利用予測モードであれば、この実施の形態2の方法でイントラ予測画像が生成される。
この場合、可変長符号化部13では、ブロック毎に、いずれの予測モードを適用するかを示す予測方式情報を可変長符号化する。
この実施の形態2では、イントラ予測部43の代わりに、相関利用予測部71を実装しているカラー動画像復号装置を示したが、図27に示すように、イントラ予測部43の代わりに、相関利用適応予測部91を実装するようにしてもよい。
図28はこの発明の実施の形態2によるカラー動画像復号装置の相関利用適応予測部91を示す構成図である。
図28において、切替スイッチ92は可変長復号部41により可変長復号された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部93に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部94に出力する処理を実施する。
図28はこの発明の実施の形態2によるカラー動画像復号装置の相関利用適応予測部91を示す構成図である。
図28において、切替スイッチ92は可変長復号部41により可変長復号された符号化モードがイントラ予測モードである場合、画面内参照画素をイントラ予測部93に出力し、その符号化モードが相関利用予測モードである場合、画面内参照画素を相関利用予測部94に出力する処理を実施する。
イントラ予測部93は可変長復号部41により可変長復号された符号化モードがイントラ予測モードである場合、図4のイントラ予測部43と同様のイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
相関利用予測部94は可変長復号部41により可変長復号された符号化モードが相関利用予測モードである場合、図23の相関利用予測部71と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部43の代わりに、相関利用適応予測部91を実装すると、可変長復号部41により可変長復号された符号化モードがイントラ予測モードであれば、上記実施の形態1の方法でイントラ予測画像が生成され、可変長復号部41により可変長復号された符号化モードが相関利用予測モードであれば、この実施の形態2の方法でイントラ予測画像が生成される。
また、この実施の形態2では、4:4:4フォーマットの画像を例として説明したが、当然、それぞれの色成分のサイズが等しければ、マルチチャンネル画像やハイパースペクトル画像などといった複数の色成分を持つ画像フォーマットについて同様の処理を行うことができる。
相関利用予測部94は可変長復号部41により可変長復号された符号化モードが相関利用予測モードである場合、図23の相関利用予測部71と同様の相関利用予測処理を実施してイントラ予測画像を生成する処理を実施する。
したがって、イントラ予測部43の代わりに、相関利用適応予測部91を実装すると、可変長復号部41により可変長復号された符号化モードがイントラ予測モードであれば、上記実施の形態1の方法でイントラ予測画像が生成され、可変長復号部41により可変長復号された符号化モードが相関利用予測モードであれば、この実施の形態2の方法でイントラ予測画像が生成される。
また、この実施の形態2では、4:4:4フォーマットの画像を例として説明したが、当然、それぞれの色成分のサイズが等しければ、マルチチャンネル画像やハイパースペクトル画像などといった複数の色成分を持つ画像フォーマットについて同様の処理を行うことができる。
実施の形態3.
実施の形態3では、上記実施の形態2で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
図19は、本実施の形態3によるカラー動画像符号化装置を示す構成図であるが、上記実施の形態2で説明したカラー動画像符号化装置を示す構成図と同一であるため、説明を省略する。
図20は、上記実施の形態2で説明した相関利用予測部61を示す構成図と同一であるが、本実施の形態3において、相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードがイントラ符号化モードにおける相関利用予測モードである場合、予測に用いる相関パラメータα、βを符号化済の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が必要なモード)、いずれかの処理を実施する。
相関利用予測画像生成部63は相関算出部62により算出された相関パラメータα、βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
実施の形態3では、上記実施の形態2で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
図19は、本実施の形態3によるカラー動画像符号化装置を示す構成図であるが、上記実施の形態2で説明したカラー動画像符号化装置を示す構成図と同一であるため、説明を省略する。
図20は、上記実施の形態2で説明した相関利用予測部61を示す構成図と同一であるが、本実施の形態3において、相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードがイントラ符号化モードにおける相関利用予測モードである場合、予測に用いる相関パラメータα、βを符号化済の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が必要なモード)、いずれかの処理を実施する。
相関利用予測画像生成部63は相関算出部62により算出された相関パラメータα、βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
図23は、本実施の形態3によるカラー動画像復号装置を示す構成図であるが、上記実施の形態2で説明したカラー動画像復号装置を示す構成図と同一であるため、説明を省略する。
図24は、上記実施の形態2で説明した相関利用予測部71を示す構成図と同一であるが、本実施の形態3において、相関利用予測部71の相関算出部72は、可変長復号部より復号された符号化モードがイントラ符号化モードにおける相関利用予測モードで予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出し、算出した相関パラメータα、βを相関利用予測画像生成部73へ出力する。可変長復号部より復号された符号化モードがイントラ符号化モードにおける相関利用予測モードで予測に用いる相関パラメータα、βがビットストリームに多重化されているモードの場合に(相関パラメータα、βのビットストリームへの多重が必要なモード)、可変長復号部より復号された相関パラメータα、βを、相関利用予測画像生成部73へ出力する。
相関利用予測画像生成部73は相関算出部72より出力された相関パラメータα、βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
図24は、上記実施の形態2で説明した相関利用予測部71を示す構成図と同一であるが、本実施の形態3において、相関利用予測部71の相関算出部72は、可変長復号部より復号された符号化モードがイントラ符号化モードにおける相関利用予測モードで予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出し、算出した相関パラメータα、βを相関利用予測画像生成部73へ出力する。可変長復号部より復号された符号化モードがイントラ符号化モードにおける相関利用予測モードで予測に用いる相関パラメータα、βがビットストリームに多重化されているモードの場合に(相関パラメータα、βのビットストリームへの多重が必要なモード)、可変長復号部より復号された相関パラメータα、βを、相関利用予測画像生成部73へ出力する。
相関利用予測画像生成部73は相関算出部72より出力された相関パラメータα、βと画面間参照画素Rec’Lを用いて予測画像PredCを生成する処理を実施する。
次に符号化処理の動作について説明する。
最初にカラー動画像符号化装置の処理内容を説明する。ただし、カラー動画像符号化装置の構成、相関利用予測部61の構成は、上記実施の形態2と同様である。
本実施の形態3の相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードがイントラ符号化モードにおける相関利用予測モードである場合、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が必要なモード)、いずれかの処理を実施する。
相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が不要なモード)、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、上記実施の形態2と同様に、式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式(1)、(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が必要なモード)、復号済の参照ブロック内の画素Rec’L(図29(a)において、網掛けが施されている画素)と、符号化対象ブロック内の画素RecC(図29(b)において、網掛けが施されている画素)とを用いて、上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には、復号側で用いる相関パラメータα、βをビットストリームに多重化する必要があるため、相関パラメータα、βを可変長符号化部へ出力する。
なお、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が不要なモード)、復号側で符号化側と同様の処理を実施することにより相関パラメータα、βを算出することができるため、相関パラメータα、βをビットストリームに多重化する必要はない。
予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードと、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードのいずれを選択するかは、符号化制御部1により決定される。
相関利用予測部61の相関利用予測画像生成部63は、相関算出部62が相関パラメータα、βを算出すると、その相関パラメータα、βと画面間参照画素Rec’Lを用いて、上記実施の形態2と同様に、式(3)に示すように、予測画像PredCを生成する。
最初にカラー動画像符号化装置の処理内容を説明する。ただし、カラー動画像符号化装置の構成、相関利用予測部61の構成は、上記実施の形態2と同様である。
本実施の形態3の相関利用予測部61の相関算出部62は、符号化制御部1により決定された符号化モードがイントラ符号化モードにおける相関利用予測モードである場合、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が必要なモード)、いずれかの処理を実施する。
相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が不要なモード)、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、斜線が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、斜線が施されている画素)とを用いて、上記実施の形態2と同様に、式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式(1)、(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が必要なモード)、復号済の参照ブロック内の画素Rec’L(図29(a)において、網掛けが施されている画素)と、符号化対象ブロック内の画素RecC(図29(b)において、網掛けが施されている画素)とを用いて、上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には、復号側で用いる相関パラメータα、βをビットストリームに多重化する必要があるため、相関パラメータα、βを可変長符号化部へ出力する。
なお、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードの場合には(相関パラメータα、βのビットストリームへの多重が不要なモード)、復号側で符号化側と同様の処理を実施することにより相関パラメータα、βを算出することができるため、相関パラメータα、βをビットストリームに多重化する必要はない。
予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードと、予測に用いる相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードのいずれを選択するかは、符号化制御部1により決定される。
相関利用予測部61の相関利用予測画像生成部63は、相関算出部62が相関パラメータα、βを算出すると、その相関パラメータα、βと画面間参照画素Rec’Lを用いて、上記実施の形態2と同様に、式(3)に示すように、予測画像PredCを生成する。
これにより、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、符号化効率を向上させることができる。
なお、相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出するモードの場合には、相関パラメータα、βをビットストリームに多重化する必要があり、相関パラメータα、βにかかわる符号量を抑えるために、符号化対象ブロック内の画素値を用いて算出するモード(相関パラメータα、βのビットストリームへの多重が必要ななモード)を適用できるブロックサイズを所定のサイズより大きい場合に制限してもよい。すなわち、符号化制御部1により符号化対象ブロック内の画素値を用いて算出するモード(相関パラメータα、βのビットストリームへの多重が必要なモード)を適用できるブロックサイズを所定のサイズより大きい場合に制限することにより、ブロックサイズが所定サイズより大きい場合は、相関パラメータα、βのビットストリームへの多重が必要となるが、ブロックサイズが所定サイズより小さい場合は、相関パラメータα、βのビットストリームへの多重が不要となる。つまり、ブロックサイズが大きければ、相関パラメータα、βをビットストリームに多重しても、データ量に対するオーバーヘッドの割合が少なくて済むため、符号量を抑えることができる。
また、相関パラメータα、βを符号化対象ブロック内の画素値を用いて算出する方法(相関パラメータα、βのビットストリームへの多重が必要なモード)の別の実施の形態として、復号済の参照ブロック内の画素Rec’L(図29(a)において、網掛けが施されている画素)を用いて所定の方法でクラスタリングを行い、参照ブロック内の画素Rec’Lを所定の数のクラスに分類する。図30は参照ブロック内の画素を例えば4つのクラスに分類した例である。符号化対象ブロック内の画素RecCは参照ブロック内の同じ位置の画素と同じクラスに分類する。参照ブロックと符号化対象ブロックと同じクラスに属する画素を用いて、クラスごとに上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。クラスごとに算出した相関パラメータα、βはビットストリームに多重化するため可変長符号化部へ出力する。なお、復号済の画素を用いてクラスタリングを行っているため、各画素がどのクラスに分類されたかといったクラスタリングに関わる情報はビットストリーム多重化する必要はない。また相関パラメータα、βに関わる符号量を抑えるために、符号化対象ブロック内の画素値を用いて算出するモード(相関パラメータα、βのビットストリームへの多重が必要なモード)を適用できるブロックサイズを所定のサイズより大きい場合に制限してもよい。すなわち、符号化制御部1により符号化対象ブロック内の画素値を用いて算出するモード(相関パラメータα、βのビットストリームへの多重が必要なモード)を適用できるブロックサイズを所定のサイズより大きい場合に制限することにより、ブロックサイズが所定サイズより大きい場合は、相関パラメータα、βのビットストリームへの多重が必要となるが、ブロックサイズが所定サイズより小さい場合は、相関パラメータα、βのビットストリームへの多重が不要となる。つまり、ブロックサイズが大きければ、相関パラメータα、βをビットストリームに多重しても、データ量に対するオーバーヘッドの割合が少なくて済むため、符号量を抑えることができる。
なお、上記の動作以外の符号化処理の動作については、上記実施の形態2と同様であるため、説明は省略する。
なお、上記の動作以外の符号化処理の動作については、上記実施の形態2と同様であるため、説明は省略する。
次に復号処理の動作について説明する。
可変長復号部41の動作については、上記実施の形態1と同様であるため、説明は省略する。
次に、切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPi nの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。
イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると(図5のステップST45)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(図5のステップST46)。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、図1のイントラ予測部4と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
可変長復号部41の動作については、上記実施の形態1と同様であるため、説明は省略する。
次に、切替スイッチ42は、可変長復号部41から出力された符号化ブロックBnに属するパーティションPi nの符号化モードがイントラ符号化モードである場合、可変長復号部41から出力されたイントラ予測パラメータをイントラ予測部43に出力し、その符号化モードがインター符号化モードである場合、可変長復号部41から出力されたインター予測パラメータを動き補償部44に出力する。
イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると(図5のステップST45)、図1のイントラ予測部4と同様に、そのイントラ予測パラメータに基づいて、各パーティションPi nに対するイントラ予測処理を実施することにより、イントラ予測画像(Pi n)を生成する(図5のステップST46)。
即ち、イントラ予測部43は、可変長復号部41からイントラ予測パラメータを受けると、図1のイントラ予測部4と同様に、例えば、パーティションPi nに対するイントラ予測モードのインデックス値が2(平均値予測)である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションPi n内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)以外の場合で方向性予測モードの場合には、インデックス値が示す予測方向ベクトルvp=(dx,dy)に基づいて、パーティションPi n内の画素の予測値を生成する。
以下、イントラ予測パラメータが相関利用予測モードである場合について説明する。
相関利用予測部71の相関算出部72は、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードである場合(相関パラメータα、βのビットストリームへの多重が不要なモード)、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、網掛け(斜線)が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、網掛け(斜線)が施されている画素)とを用いて、上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式(1)、(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
予測に用いる相関パラメータα、βをビットストリームより復号するモードの場合には、可変長復号部41にて復号された相関パラメータα、βを相関利用予測画像生成部73へ出力する。
以下、イントラ予測パラメータが相関利用予測モードである場合について説明する。
相関利用予測部71の相関算出部72は、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモードである場合(相関パラメータα、βのビットストリームへの多重が不要なモード)、図22に示すように、参照画像内で当該予測対象ブロックと同じ位置にあるブロックの上端及び左端に隣接している画素値である画面間参照画素Rec’L(図22(a)において、網掛け(斜線)が施されている画素)と、予測対象ブロックの上端及び左端に隣接している当該処理対象信号の復号済の画素値である画面内参照画素RecC(図22(b)において、網掛け(斜線)が施されている画素)とを用いて、上記の式(1)及び式(2)に示すように、予測に用いる相関パラメータα、βを算出する処理を実施する。
式(1)、(2)において、Iは処理対象となる予測ブロックの1辺の画素数の2倍の値である。
予測に用いる相関パラメータα、βをビットストリームより復号するモードの場合には、可変長復号部41にて復号された相関パラメータα、βを相関利用予測画像生成部73へ出力する。
相関利用予測部71の相関利用予測画像生成部73は、相関算出部72が相関パラメータα、βを算出すると、図20の相関利用予測画像生成部63と同様に、その相関パラメータα、βと画面間参照画素Rec’Lを用いて、上記の式(3)に示すように、予測画像PredCを生成する。
また相関パラメータα、βをビットストリームより復号するモードの場合の別の実施の形態として、復号済の参照ブロック内の画素Rec’L(図29(a)において、網掛けが施されている画素)を用いて、符号化装置と同じ方法でクラスタリングを行い、参照ブロック内の画素Rec’Lを所定の数のクラスに分類する。図30は参照ブロック内の画素を4つのクラスに分類した例である。復号対象ブロック内の画素RecCは参照ブロック内の同じ位置の画素と同じクラスに分類する。参照ブロックと符号化対象ブロックと同じクラスに属する画素を用いて、クラスごとに可変長復号される相関パラメータα、βを用いて上記の式(3)に示すように、予測画像PredCを生成する。
なお符号化装置にて、予測に用いる相関パラメータα、βを復号対象ブロック内の画素値を用いて算出するモードである場合(相関パラメータα、βのビットストリームへの多重が必要なモード)を適用できるブロックサイズを所定のサイズより大きい場合に制限している場合には、復号対象ブロックのブロックサイズが所定のサイズより大きい場合にのみ、予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するか(相関パラメータα、βのビットストリームへの多重が不要なモード)、予測に用いる相関パラメータα、βをビットストリームより復号するか(相関パラメータα、βのビットストリームへの多重が必要なモード)を示すモード情報を復号し、復号されたモードに従って上記の処理を行う。復号対象ブロックのブロックサイズが所定のサイズ以下の場合には予測に用いる相関パラメータα、βを復号済の画素値を用いて算出するモード(相関パラメータα、βのビットストリームへの多重が不要なモード)を常に適用する。
これにより、この実施の形態3のカラー動画像符号化装置、カラー動画像復号装置では、上記のようにして色成分間の予測処理において、残差の小さい予測画像を生成することができるため、、符号化効率を高めることができる。なお、本実施の形態3の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態3のカラー動画像符号化装置、カラー動画像復号装置の上記効果を得ることができる。
これにより、この実施の形態3のカラー動画像符号化装置、カラー動画像復号装置では、上記のようにして色成分間の予測処理において、残差の小さい予測画像を生成することができるため、、符号化効率を高めることができる。なお、本実施の形態3の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態3のカラー動画像符号化装置、カラー動画像復号装置の上記効果を得ることができる。
なお、上記の動作以外の復号処理の動作については、上記実施の形態2と同様であるため、説明は省略する。
実施の形態4.
実施の形態4では、上記実施の形態2、3で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
なお以下の説明においては、特に断らない限り、入力される映像信号が、YUV4:4:4信号であるとし、第1、第2、第3色成分がそれぞれY、U、V成分であるとして説明するが、入力される映像信号はRGB信号であるとし、第1、第2、第3色成分は3成分のいずれの組み合わせであってもよい。また入力される映像信号が3原色より更に多くの色成分を含む信号であってもよく、第4以降の色成分については、第2、第3色成分と同様の処理手順を適用することができる。
実施の形態4では、上記実施の形態2、3で説明した符号化、復号処理とは別の符号化、復号処理について説明する。
なお以下の説明においては、特に断らない限り、入力される映像信号が、YUV4:4:4信号であるとし、第1、第2、第3色成分がそれぞれY、U、V成分であるとして説明するが、入力される映像信号はRGB信号であるとし、第1、第2、第3色成分は3成分のいずれの組み合わせであってもよい。また入力される映像信号が3原色より更に多くの色成分を含む信号であってもよく、第4以降の色成分については、第2、第3色成分と同様の処理手順を適用することができる。
図31は、本実施の形態4によるカラー動画像符号化装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
インター予測部101は符号化制御部1により決定された符号化モードがインター予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第1の色成分については、符号化済みの異なるPOC(Picture Order Count)を持つ第1の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号のU成分およびV成分に相当する第2の色成分及び第3の色成分について、符号化済みの同じPOCを持つ異なる色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するか、符号化済みの異なるPOCを持ち、符号化対象の色成分と同じ色成分の局部復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、インター予測部101は予測画像生成部を構成している。
インター予測部101は符号化制御部1により決定された符号化モードがインター予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第1の色成分については、符号化済みの異なるPOC(Picture Order Count)を持つ第1の色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号のU成分およびV成分に相当する第2の色成分及び第3の色成分について、符号化済みの同じPOCを持つ異なる色成分の局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成するか、符号化済みの異なるPOCを持ち、符号化対象の色成分と同じ色成分の局部復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
なお、インター予測部101は予測画像生成部を構成している。
図32はこの発明の実施の形態4によるカラー動画像符号化装置のインター予測部101を示す構成図である。
図32において、動き補償予測部5は動き補償予測フレームメモリ12に格納され、符号化対象の色成分と同じ色成分で異なるPOCを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
相関利用予測部61は動き補償予測フレームメモリ12に格納され、符号化対象の色成分と異なる色成分で、同じPOCを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像生成する処理を実施する。
図32において、動き補償予測部5は動き補償予測フレームメモリ12に格納され、符号化対象の色成分と同じ色成分で異なるPOCを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
相関利用予測部61は動き補償予測フレームメモリ12に格納され、符号化対象の色成分と異なる色成分で、同じPOCを持つ局部復号画像を参照画像として利用してフレーム間予測符号化を実施することで予測画像生成する処理を実施する。
インター予測部101より出力されるインター予測パラメータは可変長符号化部13にてエントロピー符号化されビットストリームに多重化される。
なお、図32の相関利用予測部61は、上記実施の形態2、3で説明した相関利用予測部61を示す構成図と同一であるため、説明を省略する。
また、図38は、本実施の形態4によるカラー動画像復号装置を示す構成図であり、図において、図4と同一符号は同一または相当分を示すので説明を省略する。
インター予測部111は可変長復号部41にて復号された符号化モードがインター予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第1の色成分については、復号済みの異なるPOCを持つ第1の色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号のU成分およびV成分に相当する第2の色成分および第3の色成分について、復号済みの同じPOCを持つ異なる色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成するか、復号済みの異なるPOCを持ち、復号対象の色成分と同じ色成分の復号画像を参照画像として利用して、フレーム間予測を実施することで予測画像を生成する処理を実施する。
また、図39はこの発明の実施の形態4によるカラー動画像復号装置のインター予測部111を示す構成図である。
図39において、動き補償部44は動き補償予測フレームメモリ49に格納され、復号対象の色成分と同じ色成分で異なるPOCを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。
相関利用予測部71は動き補償予測フレームメモリ49に格納され、復号対象の色成分と異なる色成分で、同じPOCを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。
図33は、参照画像として利用する局部復号画像を示す説明図である。本実施の形態4において、最初にYUV信号の輝度成分(Y成分)に相当する第1の色成分のみから構成されるピクチャ(以下第1色成分ピクチャ)をIピクチャとしてフレーム内予測符号化を行い、第1の色成分の局部復号画像を動き補償予測フレームメモリ12に格納する。次の第1色成分ピクチャでは、図33に示すように、動き補償予測フレームメモリ12に格納された前第1色成分ピクチャの局部復号画像を参照画像(時間方向予測参照画像)として利用して、4:0:0フォーマットとして符号化する。
V成分に相当する第3の色成分のみから構成されるピクチャ(以下第3色成分ピクチャ)については、第1の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第3色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じPOCを持つ第1色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。
U成分に相当する第2の色成分のみから構成されるピクチャ(以下第2色成分ピクチャ)については、第1の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第2色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じPOCを持つ第1または第3色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。
なお時間方向予測参照画像を用いて予測画像を生成する処理は動き補償予測部5にて行い、色成分間予測参照画像を用いて予測画像を生成する処理は相関利用予測部61にて行う。
なお、図32の相関利用予測部61は、上記実施の形態2、3で説明した相関利用予測部61を示す構成図と同一であるため、説明を省略する。
また、図38は、本実施の形態4によるカラー動画像復号装置を示す構成図であり、図において、図4と同一符号は同一または相当分を示すので説明を省略する。
インター予測部111は可変長復号部41にて復号された符号化モードがインター予測モードである場合、YUV信号の輝度成分(Y成分)に相当する第1の色成分については、復号済みの異なるPOCを持つ第1の色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成する処理を実施する。
また、YUV信号のU成分およびV成分に相当する第2の色成分および第3の色成分について、復号済みの同じPOCを持つ異なる色成分の復号画像を参照画像として利用して、フレーム間予測符号化を実施することで予測画像を生成するか、復号済みの異なるPOCを持ち、復号対象の色成分と同じ色成分の復号画像を参照画像として利用して、フレーム間予測を実施することで予測画像を生成する処理を実施する。
また、図39はこの発明の実施の形態4によるカラー動画像復号装置のインター予測部111を示す構成図である。
図39において、動き補償部44は動き補償予測フレームメモリ49に格納され、復号対象の色成分と同じ色成分で異なるPOCを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。
相関利用予測部71は動き補償予測フレームメモリ49に格納され、復号対象の色成分と異なる色成分で、同じPOCを持つ復号画像を参照画像として利用してフレーム間予測を実施することで予測画像を生成する処理を実施する。
図33は、参照画像として利用する局部復号画像を示す説明図である。本実施の形態4において、最初にYUV信号の輝度成分(Y成分)に相当する第1の色成分のみから構成されるピクチャ(以下第1色成分ピクチャ)をIピクチャとしてフレーム内予測符号化を行い、第1の色成分の局部復号画像を動き補償予測フレームメモリ12に格納する。次の第1色成分ピクチャでは、図33に示すように、動き補償予測フレームメモリ12に格納された前第1色成分ピクチャの局部復号画像を参照画像(時間方向予測参照画像)として利用して、4:0:0フォーマットとして符号化する。
V成分に相当する第3の色成分のみから構成されるピクチャ(以下第3色成分ピクチャ)については、第1の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第3色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じPOCを持つ第1色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。
U成分に相当する第2の色成分のみから構成されるピクチャ(以下第2色成分ピクチャ)については、第1の色成分の動き補償予測と同様に、動き補償予測フレームメモリに格納された符号化対象と同じ色成分ピクチャ(第2色成分ピクチャ)の局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリに格納された同じPOCを持つ第1または第3色成分ピクチャの局部復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。
なお時間方向予測参照画像を用いて予測画像を生成する処理は動き補償予測部5にて行い、色成分間予測参照画像を用いて予測画像を生成する処理は相関利用予測部61にて行う。
次に動作について説明する。
最初に、カラー動画像符号化装置の処理内容を説明する。
ただし、動き補償予測部5の代わりに、インター予測部101を設け、インター予測部101の中に動き補償予測部5と相関利用予測部61を設けている点以外は、上記実施の形態1と同様である。実施の形態2における相関利用予測部61は、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとしているが、本実施の形態4における相関利用予測部61は、参照画像内の任意の位置にあるブロックを参照ブロックとする点が異なる。すなわち動き補償予測フレームメモリ12に格納された符号化対象と同じ色成分ピクチャの局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成する動き補償予測部5と同様、参照ブロックの位置を示す動きベクトル(インター予測パラメータに含まれる)が可変長符号化部13にて符号化される。実施の形態2における相関利用予測部61と同様、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとすることにし、すなわち動きベクトルを零に固定とし、動きベクトルの可変長符号化を行わないようにしてもよい(動きベクトルも、参照画像インデックスも可変長符号化しないモード)。
最初に、カラー動画像符号化装置の処理内容を説明する。
ただし、動き補償予測部5の代わりに、インター予測部101を設け、インター予測部101の中に動き補償予測部5と相関利用予測部61を設けている点以外は、上記実施の形態1と同様である。実施の形態2における相関利用予測部61は、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとしているが、本実施の形態4における相関利用予測部61は、参照画像内の任意の位置にあるブロックを参照ブロックとする点が異なる。すなわち動き補償予測フレームメモリ12に格納された符号化対象と同じ色成分ピクチャの局部復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成する動き補償予測部5と同様、参照ブロックの位置を示す動きベクトル(インター予測パラメータに含まれる)が可変長符号化部13にて符号化される。実施の形態2における相関利用予測部61と同様、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとすることにし、すなわち動きベクトルを零に固定とし、動きベクトルの可変長符号化を行わないようにしてもよい(動きベクトルも、参照画像インデックスも可変長符号化しないモード)。
なお動き補償予測部において、動きベクトルは1/4画素精度まで表現でき、図37に示すように、動きベクトルが指し示す参照画素が小数画素位置にある場合には隣接するN画素(N≧2)から内挿補間画素を生成して予測値とする。図37に示すように、動きベクトルが指し示す小数画素位置の画素値(y30)を隣接する8個の整数画素値を参照して、下式により求める。以下の式(4)においてaiは内挿フィルタ係数である。
なおNの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部61においても動き補償予測部5と同様に、動きベクトルは1/4画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のNの値および内装フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Nの値を増やすことにより、演算量の増大または1つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にNの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてNの値および内装フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部61においては、小数画素の精度を切り替えて、例えば1/2画素精度まで、あるいは整数画素のみにする、逆に1/8画素精度まで利用できるようにするなどしてもよい。
なおNの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部61においても動き補償予測部5と同様に、動きベクトルは1/4画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のNの値および内装フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Nの値を増やすことにより、演算量の増大または1つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にNの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてNの値および内装フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部61においては、小数画素の精度を切り替えて、例えば1/2画素精度まで、あるいは整数画素のみにする、逆に1/8画素精度まで利用できるようにするなどしてもよい。
上記のような相関利用予測部61により、色成分間の予測処理において、残差の小さい予測画像を生成することができるため、回路規模を小さく抑えつつ、符号化効率を向上させることができる。
また、輝度成分の符号化回路のみで4:4:4フォーマットの画像を高効率に圧縮することができる。
また、輝度成分の符号化回路のみで4:4:4フォーマットの画像を高効率に圧縮することができる。
以下、可変長符号化部13の処理内容を具体的に説明する。
可変長符号化部13は、図3に示すように、変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部21と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部22とから構成されており、変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
可変長符号化部13は、図3に示すように、変換・量子化部7から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部21と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部22とから構成されており、変換係数可変長符号化部21により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部22により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
符号化パラメータ可変長符号化部22のインター予測パラメータを符号化する処理について説明する。
インター予測部101より出力されるインター予測パラメータには、予測ブロック(Prediction Unit:以下PU)の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
マージモードとは、符号化対象の予測ブロック(以下、カレントPU)に関わるインター予測パラメータを空間的に隣接する周囲のPUまたは参照画像のPUのインター予測パラメータにて代用するモードである。なおインター予測パラメータを参照するための参照画像のことを、予測画像を生成するための参照画像と区別するため、インター予測パラメータ参照画像と呼ぶこととする。マージモードが選択された場合(マージモード指示フラグがカレントPUがマージモードであることを指示する値である場合)には、空間的に隣接する周囲のPUまたはインター予測パラメータ参照画像のPUのインター予測パラメータからマージ候補リストを生成し、リストの中からカレントPUに代用するインター予測パラメータとして最適なインター予測パラメータを選択し、そのインデックス(マージモード動きベクトル指示情報)を符号化する。マージ候補リストに登録するインター予測パラメータの候補数の上限は、ピクチャまたはスライスごとに決定される。
インター予測部101より出力されるインター予測パラメータには、予測ブロック(Prediction Unit:以下PU)の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
マージモードとは、符号化対象の予測ブロック(以下、カレントPU)に関わるインター予測パラメータを空間的に隣接する周囲のPUまたは参照画像のPUのインター予測パラメータにて代用するモードである。なおインター予測パラメータを参照するための参照画像のことを、予測画像を生成するための参照画像と区別するため、インター予測パラメータ参照画像と呼ぶこととする。マージモードが選択された場合(マージモード指示フラグがカレントPUがマージモードであることを指示する値である場合)には、空間的に隣接する周囲のPUまたはインター予測パラメータ参照画像のPUのインター予測パラメータからマージ候補リストを生成し、リストの中からカレントPUに代用するインター予測パラメータとして最適なインター予測パラメータを選択し、そのインデックス(マージモード動きベクトル指示情報)を符号化する。マージ候補リストに登録するインター予測パラメータの候補数の上限は、ピクチャまたはスライスごとに決定される。
次にマージ候補リストの生成方法について説明する。
図34にマージ候補リストに登録するPUのうち、空間的に隣接するPUの画素位置を示す。図34に示す6つの画素位置のPUのインター予測パラメータをマージ候補リストに登録する。なお図34に示す隣接PUのうち、符号化済みではないPUやイントラ符号化モードで符号化されたPUの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントPUと同一空間位置にあるPUをマージ候補リストに登録する。選択可能なインター予測パラメータ参照画像は、色成分によって異なる。第1の色成分の場合には、図35に示すように第1の色成分の参照画像(時間方向予測参照画像)の中からインター予測パラメータ参照画像(時間近傍参照画像)が選択される(時間方向予測のみを用いたマージモード)。時間近傍参照画像上でカレントPUと同一空間位置にあるPUをマージ候補PUとする。時間近傍参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、時間近傍参照画像とマージ候補PUの参照画像の距離(POCの差分値)(td)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測のみを用いたマージモードでスケーリング有)。
図34にマージ候補リストに登録するPUのうち、空間的に隣接するPUの画素位置を示す。図34に示す6つの画素位置のPUのインター予測パラメータをマージ候補リストに登録する。なお図34に示す隣接PUのうち、符号化済みではないPUやイントラ符号化モードで符号化されたPUの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントPUと同一空間位置にあるPUをマージ候補リストに登録する。選択可能なインター予測パラメータ参照画像は、色成分によって異なる。第1の色成分の場合には、図35に示すように第1の色成分の参照画像(時間方向予測参照画像)の中からインター予測パラメータ参照画像(時間近傍参照画像)が選択される(時間方向予測のみを用いたマージモード)。時間近傍参照画像上でカレントPUと同一空間位置にあるPUをマージ候補PUとする。時間近傍参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、時間近傍参照画像とマージ候補PUの参照画像の距離(POCの差分値)(td)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測のみを用いたマージモードでスケーリング有)。
次に第1の色成分以外の色成分(例えば第2または第3の色成分)の場合のインター予測パラメータ参照画像上のマージ候補PUの決定手順について図36を用いて説明する。
第1の色成分以外の色成分である第2または第3の色成分の場合には、第1の色成分と同様に時間近傍参照画像をインター予測パラメータ参照画像とするか(時間方向予測のみを用いたマージモード)、色成分間予測に用いる参照画像の中からインター予測パラメータ参照画像(色成分間参照画像)を選択する(時間方向予測及び色成分間予測を用いたマージモード)。色成分間参照画像上で第1の色成分以外の色成分である第2または第3の色成分のカレントPUと同一空間位置にある第1の色成分のPUをマージ候補PUとする。色成分間参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、色成分間参照画像とマージ候補PUの参照画像の距離(POCの差分値)(tf)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング有)。なおtfとtbが等しい場合にはスケーリングは不要であり、mvcolがmvmerge_candとしてそのまま適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング無)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無)。
マージモードが選択されない場合(マージモード指示フラグが、当該PUがマージモードではないことを指示する値である場合)には(マージモードを用いずにインター予測を行うモード)、当該PUに用いられるインター予測パラメータ(当該PUの予測方向指示情報や動きベクトル情報、参照画像識別情報)が直接符号化される。なお動きベクトルの符号化では、空間的に隣接する周囲のPUまたは参照画像のPUの動きベクトルから動きベクトル候補リストを生成し、リストの中から最適な予測値候補を選択し、そのインデックス(予測ベクトル指示情報)と選択された予測値と動きベクトルの差分値(差分動きベクトル情報)を符号化する。動きベクトル候補リストの生成方法は、マージ候補リストの生成方法と同様である。
なおマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータ参照画像は、ピクチャ単位に選択できるようにし、ピクチャやスライスヘッダでインター予測パラメータ参照画像指示情報を符号化する。
第1の色成分以外の色成分である第2または第3の色成分の場合には、第1の色成分と同様に時間近傍参照画像をインター予測パラメータ参照画像とするか(時間方向予測のみを用いたマージモード)、色成分間予測に用いる参照画像の中からインター予測パラメータ参照画像(色成分間参照画像)を選択する(時間方向予測及び色成分間予測を用いたマージモード)。色成分間参照画像上で第1の色成分以外の色成分である第2または第3の色成分のカレントPUと同一空間位置にある第1の色成分のPUをマージ候補PUとする。色成分間参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、色成分間参照画像とマージ候補PUの参照画像の距離(POCの差分値)(tf)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング有)。なおtfとtbが等しい場合にはスケーリングは不要であり、mvcolがmvmerge_candとしてそのまま適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング無)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無)。
マージモードが選択されない場合(マージモード指示フラグが、当該PUがマージモードではないことを指示する値である場合)には(マージモードを用いずにインター予測を行うモード)、当該PUに用いられるインター予測パラメータ(当該PUの予測方向指示情報や動きベクトル情報、参照画像識別情報)が直接符号化される。なお動きベクトルの符号化では、空間的に隣接する周囲のPUまたは参照画像のPUの動きベクトルから動きベクトル候補リストを生成し、リストの中から最適な予測値候補を選択し、そのインデックス(予測ベクトル指示情報)と選択された予測値と動きベクトルの差分値(差分動きベクトル情報)を符号化する。動きベクトル候補リストの生成方法は、マージ候補リストの生成方法と同様である。
なおマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータ参照画像は、ピクチャ単位に選択できるようにし、ピクチャやスライスヘッダでインター予測パラメータ参照画像指示情報を符号化する。
次に変換係数可変長符号化部21の動作について説明する。符号化対象の色成分ピクチャの各変換ブロックは、実施の形態1の変換係数可変長符号化部21の輝度成分の変換ブロックに適用される算術符号化処理により算術符号化され、ブロック符号化データとして出力される。
なおsignificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータの算術符号化に用いる生起確率が、色成分ごとに異なる場合には、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を割り当てるようにしてもよい(コンテキスト情報を色成分ごとに切り替えるモード)。
なおsignificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータの算術符号化に用いる生起確率が、色成分ごとに異なる場合には、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を割り当てるようにしてもよい(コンテキスト情報を色成分ごとに切り替えるモード)。
次に、カラー動画像復号装置の処理内容を説明する。
ただし、動き補償部44の代わりにインター予測部111を設け、インター予測部111の中に動き補償部44と相関利用予測部71を設けている点以外は、上記実施の形態1と同様である。
可変長復号部41が符号化データから予測構成フラグを復号し、その予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、3つのYUV4:0:0フォーマットの画像を、表示などのためのアクセスの単位となる1つのアクセスユニットとして認識する。
そして1つのアクセスユニットに含まれ第1の色成分のみから構成されるピクチャ(第1色成分ピクチャ)をYUV4:0:0フォーマットとして復号して、第1色成分ピクチャの復号画像を動き補償予測フレームメモリ49に格納し、その動き補償予測フレームメモリ49に格納された第1色成分ピクチャの復号画像を参照画像として利用して、第1の色成分以外の色差成分(例えばU成分およびV成分)の画像をYUV4:0:0フォーマットであるとみなして復号するように構成する。
ただし、動き補償部44の代わりにインター予測部111を設け、インター予測部111の中に動き補償部44と相関利用予測部71を設けている点以外は、上記実施の形態1と同様である。
可変長復号部41が符号化データから予測構成フラグを復号し、その予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示していれば、アクセスユニットデリミタを復号することで、3つのYUV4:0:0フォーマットの画像を、表示などのためのアクセスの単位となる1つのアクセスユニットとして認識する。
そして1つのアクセスユニットに含まれ第1の色成分のみから構成されるピクチャ(第1色成分ピクチャ)をYUV4:0:0フォーマットとして復号して、第1色成分ピクチャの復号画像を動き補償予測フレームメモリ49に格納し、その動き補償予測フレームメモリ49に格納された第1色成分ピクチャの復号画像を参照画像として利用して、第1の色成分以外の色差成分(例えばU成分およびV成分)の画像をYUV4:0:0フォーマットであるとみなして復号するように構成する。
次の第1色成分ピクチャについては、その動き補償予測フレームメモリ49に格納された前第1色成分ピクチャの復号画像を参照画像として利用して、YUV4:0:0フォーマットとして復号し、第1の色成分以外の色成分(例えばU成分およびV成分)については、第1の色成分の動き補償予測と同様に、動き補償予測フレームメモリ49に格納された復号対象と同じ色成分ピクチャの復号画像を参照画像(時間方向予測参照画像)として利用して予測画像を生成するか、動き補償予測フレームメモリ49に格納された同じPOCを持つ第一の色成分の復号画像を参照画像(色成分間予測参照画像)として利用して、予測画像を生成する。なお、時間方向予測参照画像を用いて予測画像を生成する処理は動き補償部44にて行い、色成分間予測参照画像を用いて予測画像を生成する処理は相関利用予測部71にて行う。
予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示している場合の各色成分ピクチャの可変長復号処理内容について具体的に説明する。
予測構成フラグが4:4:4フォーマットの各色成分間で予測符号化を行う構成にすることを示している場合の各色成分ピクチャの可変長復号処理内容について具体的に説明する。
可変長復号部41は、図6に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部51と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ/インター予測パラメータ、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部52とから構成されている。
符号化パラメータ可変長復号部52のインター予測パラメータを復号する処理について説明する。
可変長復号部41にて復号されるインター予測パラメータには、予測ブロック(PU)の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報(参照画像インデックス)、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
まずピクチャまたはスライスの単位にマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータの予測参照先を指示する情報(インター予測パラメータ参照画像指示情報)が可変長復号される。インター予測パラメータ参照画像指示情報は、第1色成分ピクチャの復号時には、時間近傍参照画像を指示する情報であるが、第1の色成分以外の色成分である第2または第3色成分ピクチャの復号時には、時間近傍参照画像か色成分間参照画像のいずれかを指示する情報である。
次にPUの単位に可変長復号されたマージモード指示フラグが、カレントPUがマージモードであることを示している場合には、インター予測パラメータ参照画像指示情報に基づき特定されたインター予測パラメータ参照画像を用いて、マージ候補リストを生成する。
符号化パラメータ可変長復号部52のインター予測パラメータを復号する処理について説明する。
可変長復号部41にて復号されるインター予測パラメータには、予測ブロック(PU)の単位にマージモード指示フラグやマージモード動きベクトル指示情報、予測方向指示情報、参照画像識別情報(参照画像インデックス)、予測ベクトル指示情報、差分動きベクトル情報などのインター予測に必要なパラメータが含まれる。
まずピクチャまたはスライスの単位にマージ候補リストまたは動きベクトル候補リストの生成に用いるインター予測パラメータの予測参照先を指示する情報(インター予測パラメータ参照画像指示情報)が可変長復号される。インター予測パラメータ参照画像指示情報は、第1色成分ピクチャの復号時には、時間近傍参照画像を指示する情報であるが、第1の色成分以外の色成分である第2または第3色成分ピクチャの復号時には、時間近傍参照画像か色成分間参照画像のいずれかを指示する情報である。
次にPUの単位に可変長復号されたマージモード指示フラグが、カレントPUがマージモードであることを示している場合には、インター予測パラメータ参照画像指示情報に基づき特定されたインター予測パラメータ参照画像を用いて、マージ候補リストを生成する。
マージ候補リストの生成法について説明する。
図34にマージ候補リストに登録するPUのうち、空間的に隣接するPUの画素位置を示す。図34に示す6つの画素位置のPUのインター予測パラメータをマージ候補リストに登録する。なお図34に示す隣接PUのうち、復号済みではないPUやイントラ符号化モードで符号化されたPUの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントPUと同一空間位置にあるPUをマージ候補リストに登録する。図35に示すように第1の色成分の場合のインター予測パラメータ参照画像は時間近傍参照画像である(時間方向予測のみを用いたマージモード)。時間近傍参照画像上でカレントPUと同一空間位置にあるPUをマージ候補PUとする。時間近傍参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、時間近傍参照画像とマージ候補PUの参照画像の距離(POCの差分値)(td)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測のみを用いたマージモードでスケーリング有)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測のみを用いたマージモードで常にスケーリング無)。
図34にマージ候補リストに登録するPUのうち、空間的に隣接するPUの画素位置を示す。図34に示す6つの画素位置のPUのインター予測パラメータをマージ候補リストに登録する。なお図34に示す隣接PUのうち、復号済みではないPUやイントラ符号化モードで符号化されたPUの場合や、登録済みの候補と同一のインター予測パラメータの場合には候補として登録しない。
次にインター予測パラメータ参照画像上でカレントPUと同一空間位置にあるPUをマージ候補リストに登録する。図35に示すように第1の色成分の場合のインター予測パラメータ参照画像は時間近傍参照画像である(時間方向予測のみを用いたマージモード)。時間近傍参照画像上でカレントPUと同一空間位置にあるPUをマージ候補PUとする。時間近傍参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、時間近傍参照画像とマージ候補PUの参照画像の距離(POCの差分値)(td)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測のみを用いたマージモードでスケーリング有)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測のみを用いたマージモードで常にスケーリング無)。
次に第1の色成分以外の色成分である第2または第3の色成分の場合のインター予測パラメータ参照画像上のマージ候補PUの決定手順について図36を用いて説明する。
第1の色成分以外の色成分である第2または第3の色成分の場合にはインター予測パラメータ参照画像は、時間近傍参照画像(時間方向予測のみを用いたマージモード)か色成分間参照画像(時間方向予測及び色成分間予測を用いたマージモード)のいずれかである。色成分間参照画像が用いられる場合においても第1の色成分以外の色成分である第2または第3の色成分のカレントPUと同一空間位置にある第1の色成分のPUをマージ候補PUとする。色成分間参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、色成分間参照画像とマージ候補PUの参照画像の距離(POCの差分値)(tf)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング有)。なおtfとtbが等しい場合にはスケーリングは不要であり、mvcolがmvmerge_candとしてそのまま適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング無)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無)。
マージモード動きベクトル指示情報に基づいて、生成されたマージ候補リストの中からマージ候補PUを選択し、選択されたマージ候補PUのインター予測パラメータからカレントPUに適用する予測方向指示情報、動きベクトルと参照画像インデックスが導出される。
マージモード指示フラグが、カレントPUがマージモードではないことを示している場合には(マージモードを用いずにインター予測を行うモード)、マージ候補リストと同様の手順で動きベクトル候補リストを生成し、可変長復号された予測ベクトル指示情報に基づいて、動きベクトル候補リストの中からカレントPUの動きベクトル予測値を導出する。動きベクトル予測値と可変長復号された差分動きベクトル情報に基づいてカレントPUの動きベクトルが導出される。
第1の色成分以外の色成分である第2または第3の色成分の場合にはインター予測パラメータ参照画像は、時間近傍参照画像(時間方向予測のみを用いたマージモード)か色成分間参照画像(時間方向予測及び色成分間予測を用いたマージモード)のいずれかである。色成分間参照画像が用いられる場合においても第1の色成分以外の色成分である第2または第3の色成分のカレントPUと同一空間位置にある第1の色成分のPUをマージ候補PUとする。色成分間参照画像上のマージ候補PUのインター予測パラメータがカレントPUのインター予測パラメータとして適用される場合には、マージ候補PUの動きベクトルは、色成分間参照画像とマージ候補PUの参照画像の距離(POCの差分値)(tf)とカレントピクチャとカレントPUの参照画像の距離(POCの差分値)(tb)に基づいて、マージ候補PUの動きベクトル(mvcol)はスケーリングされ、スケーリング後の動きベクトル(mvmerge_cand)がカレントPUの動きベクトルとして適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング有)。なおtfとtbが等しい場合にはスケーリングは不要であり、mvcolがmvmerge_candとしてそのまま適用される(時間方向予測及び色成分間予測を用いたマージモードでスケーリング無)。なおカレントPUの時間方向予測参照画像の中から、マージ候補PUの参照画像と同じPOCを持つ参照画像をカレントPUの参照画像として選択し、スケーリング処理が常に不要になるようにしてもよい(時間方向予測及び色成分間予測を用いたマージモードで常にスケーリング無)。
マージモード動きベクトル指示情報に基づいて、生成されたマージ候補リストの中からマージ候補PUを選択し、選択されたマージ候補PUのインター予測パラメータからカレントPUに適用する予測方向指示情報、動きベクトルと参照画像インデックスが導出される。
マージモード指示フラグが、カレントPUがマージモードではないことを示している場合には(マージモードを用いずにインター予測を行うモード)、マージ候補リストと同様の手順で動きベクトル候補リストを生成し、可変長復号された予測ベクトル指示情報に基づいて、動きベクトル候補リストの中からカレントPUの動きベクトル予測値を導出する。動きベクトル予測値と可変長復号された差分動きベクトル情報に基づいてカレントPUの動きベクトルが導出される。
次に変換係数可変長復号部51の動作について説明する。復号対象の色成分ピクチャの各変換ブロックの符号化データは、実施の形態1の変換係数可変長復号部51の輝度成分の変換ブロックの符号化データに適用される算術復号処理により算術復号される。
なおsiginificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータに対し、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を参照して、変換係数パラメータの算術復号に用いる生起確率を特定するようにしてもよい(コンテキスト情報を色成分ごとに切り替えるモード)。
なおsiginificant_coeff_flagなど、変換ブロックを構成する変換係数パラメータに対し、色成分ごとに異なるコンテキストインデックス値(コンテキスト情報)を参照して、変換係数パラメータの算術復号に用いる生起確率を特定するようにしてもよい(コンテキスト情報を色成分ごとに切り替えるモード)。
上記実施の形態3における相関利用予測部71は、参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとしているが、本実施の形態4における相関利用予測部71は、可変長復号部41より復号された動きベクトル(インター予測パラメータに含まれる)が示す位置にある参照画像内のブロックを参照ブロックとする点が異なる(参照画像インデックスは可変長復号しないが、動きベクトルは可変長復号するモード)。なお、動きベクトルについては、ビットストリームに多重化されていない、すなわち動きベクトルの可変長復号を行わないようにし、実施の形態1における相関利用予測部と同様、常に参照画像内で当該予測対象ブロックと同じ位置にあるブロックを参照ブロックとするようにしてもよい(動きベクトルも、参照画像インデックスも可変長復号しないモード)。
ここで、第1の色成分以外の色成分であるU成分及びV成分において色成分間の予測を行う場合、可変長復号部41では、ブロック毎に、予測モードとして、動き補償予測モード又は相関利用予測モードのいずれを適用するかを示す予測方式情報を可変長復号する。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、動き補償予測フレームメモリ49に格納された時間方向予測参照画像の中から参照画像インデックが指し示す画像を参照画像として利用して、動きベクトルで特定される位置にあるブロックを予測画像とする(動きベクトルと参照画像インデックスは可変長復号部にて可変長復号されたインター予測パラメータに含まれる)。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する(動きベクトルは可変長復号部にて可変長復号されたインター予測パラメータに含まれる。)。
予測方式情報が予測モードとして、動き補償予測モードを適用する旨を示す場合には、動き補償予測フレームメモリ49に格納された時間方向予測参照画像の中から参照画像インデックが指し示す画像を参照画像として利用して、動きベクトルで特定される位置にあるブロックを予測画像とする(動きベクトルと参照画像インデックスは可変長復号部にて可変長復号されたインター予測パラメータに含まれる)。
予測方式情報が予測モードとして、相関利用予測モードを適用する旨を示す場合には、上記の相関利用予測処理を行うことによって予測画像を生成する(動きベクトルは可変長復号部にて可変長復号されたインター予測パラメータに含まれる。)。
なお動き補償部44において、動きベクトルは1/4画素精度まで表現でき、図37に示すように、動きベクトルが指し示す参照画素が小数画素位置にある場合には隣接するN画素(N≧2)から内挿補間画素を生成して予測値とする。図37に示すように、動きベクトルが指し示す小数画素位置の画素値(y30)を隣接する8個の整数画素値を参照して、下式により求める。以下の式(4)においてaiは内挿フィルタ係数である。
なおNの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部71においても動き補償部44と同様に、動きベクトルは1/4画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のNの値および内装フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Nの値を増やすことにより、演算量の増大または1つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にNの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてNの値および内装フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部71においては、小数画素の精度を切り替えて、例えば1/2画素精度まで、あるいは整数画素のみにする、逆に1/8画素精度まで利用できるようにするなどしてもよい。
この実施の形態4のカラー動画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。
これにより、この実施の形態4のカラー動画像符号化装置、カラー動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えつつ、符号化効率を高めることができる。なお、本実施の形態4の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態4のカラー動画像符号化装置、カラー動画像復号装置の上記効果を得ることができる。
なおNの値および内挿フィルタ係数を色成分ごとに異なる値に設定するようにしてもよい。
相関利用予測部71においても動き補償部44と同様に、動きベクトルは1/4画素精度まで表現でき、小数画素位置の画素値は、隣接する整数画素から補間して生成する。内挿補間画素を生成する際のNの値および内装フィルタ係数を動き補償予測部と同様に色成分によって切り替えるようにしてもよいし、参照画像(色成分間予測参照画像)の色成分によって切り替えるようにしてもよい。
Nの値を増やすことにより、演算量の増大または1つの小数画素を生成するために必要な参照画素数が増えるため、メモリバンド幅の増大になるが、より正確に画素を予測することができるため、動き補償予測効率や相関利用予測効率が高まる。逆にNの値を減らすことにより、演算量およびメモリバンド幅を抑えることができる。従って各色成分の持つ特徴に応じてNの値および内装フィルタ係数を切り替えることで、回路規模を抑えて符号化効率を高めることができる。
別の実施の形態として、相関利用予測部71においては、小数画素の精度を切り替えて、例えば1/2画素精度まで、あるいは整数画素のみにする、逆に1/8画素精度まで利用できるようにするなどしてもよい。
この実施の形態4のカラー動画像復号装置では、予測モードとして、動き補償予測モードと相関利用予測モードを備える。
これにより、この実施の形態4のカラー動画像符号化装置、カラー動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えつつ、符号化効率を高めることができる。なお、本実施の形態4の特徴部分は、予測画像生成部であり、この予測画像生成部があれば、本実施の形態4のカラー動画像符号化装置、カラー動画像復号装置の上記効果を得ることができる。
なお、上記の動作以外の符号化処理、復号処理の動作については、上記実施の形態1と同様であるため、説明は省略する。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1 符号化制御部(符号化制御手段)、2 ブロック分割部(ブロック分割手段)、3 切替スイッチ(予測画像生成部)、4 イントラ予測部(予測画像生成部)、5 動き補償予測部(予測画像生成部)、6 減算部(差分画像生成手段)、7 変換・量子化部(画像圧縮手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ、11 ループフィルタ部、12 動き補償予測フレームメモリ、13 可変長符号化部(可変長符号化手段)、21 変換係数可変長符号化部、22 符号化パラメータ可変長符号化部、41 可変長復号部(可変長復号手段)、42 切替スイッチ(予測画像生成部)、43 イントラ予測部(予測画像生成部)、44 動き補償部(予測画像生成部)、45 逆量子化・逆変換部(差分画像生成手段)、46 加算部(復号画像生成手段)、47 イントラ予測用メモリ、48 ループフィルタ部、49 動き補償予測フレームメモリ、51 変換係数可変長復号部、52 符号化パラメータ可変長復号部、61 相関利用予測部(予測画像生成部)、62 相関算出部、63 相関利用予測画像生成部、71 相関利用予測部(予測画像生成部)、72 相関算出部、73 相関利用予測画像生成部、81 相関利用適応予測部(予測画像生成部)、82 切替スイッチ、83 イントラ予測部、84 相関利用予測部、91 相関利用適応予測部(予測画像生成部)、92 切替スイッチ、93 イントラ予測部、94 相関利用予測部、101 インター予測部、102 切替スイッチ、111 インター予測部、112 切替スイッチ。
Claims (4)
- カラー動画像の各色成分において同一の変換ブロックサイズで変換処理を行うカラー動画像符号化装置であって、
前記カラー動画像における第1の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成する、あるいは、符号化済みの他のピクチャに含まれる前記第1の色成分の局部復号画像を参照画像としてフレーム間予測符号化を実施することで予測画像を生成するとともに、前記カラー動画像における前記第1の色成分以外の色成分については、符号化済みの他のピクチャに含まれる符号化対象の色成分と同一の色成分の局部復号画像を参照画像としてフレーム間予測符号化を実施することで予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる前記第1の色成分の局部復号画像の画素と符号化対象の前記第1の色成分以外の色成分の符号化対照の画素との相関を表す相関パラメータと、前記第1の色成分の局部復号画像とを用いて、フレーム間予測符号化を実施することで、符号化対象の前記第1の色成分以外の色成分の予測画像を生成する予測画像生成部を備えることを特徴とするカラー動画像符号化装置。 - カラー動画像の各色成分において同一の変換ブロックサイズで変換処理を行うカラー動画像復号装置であって、
前記カラー動画像における第1の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成する、あるいは、復号済みの他のピクチャに含まれる前記第1の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成するとともに、前記カラー動画像における前記第1の色成分以外の色成分については、復号済みの他のピクチャに含まれる復号対象の色成分と同一の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる前記第1の色成分の復号画像の画素と復号対象の前記第1の色成分以外の色成分の復号対象の画素との相関を表す相関パラメータと、前記第1の色成分の復号画像とを用いて、フレーム間予測復号を実施することで、復号対象の前記第1の色成分以外の色成分の予測画像を生成する予測画像生成部を備えることを特徴とするカラー動画像復号装置。 - カラー動画像の各色成分において同一の変換ブロックサイズで変換処理を行うカラー動画像符号化方法であって、
前記カラー動画像における第1の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測符号化を実施することで予測画像を生成する、あるいは、符号化済みの他のピクチャに含まれる前記第1の色成分の局部復号画像を参照画像としてフレーム間予測符号化を実施することで予測画像を生成するとともに、前記カラー動画像における前記第1の色成分以外の色成分については、符号化済みの他のピクチャに含まれる符号化対象の色成分と同一の色成分の局部復号画像を参照画像としてフレーム間予測符号化を実施することで予測画像を生成する、あるいは、符号化済みの同一ピクチャに含まれる前記第1の色成分の局部復号画像の画素と符号化対象の前記第1の色成分以外の色成分の符号化対照の画素との相関を表す相関パラメータと、前記第1の色成分の局部復号画像とを用いて、フレーム間予測符号化を実施することで、符号化対象の前記第1の色成分以外の色成分の予測画像を生成する予測画像生成ステップを備えることを特徴とするカラー動画像符号化方法。 - カラー動画像の各色成分において同一の変換ブロックサイズで変換処理を行うカラー動画像復号方法であって、
前記カラー動画像における第1の色成分については、信号フォーマットが4:0:0フォーマットである場合のフレーム内予測復号を実施することで予測画像を生成する、あるいは、復号済みの他のピクチャに含まれる前記第1の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成するとともに、前記カラー動画像における前記第1の色成分以外の色成分については、復号済みの他のピクチャに含まれる復号対象の色成分と同一の色成分の復号画像を参照画像としてフレーム間予測復号を実施することで予測画像を生成する、あるいは、復号済みの同一ピクチャに含まれる前記第1の色成分の復号画像の画素と復号対象の前記第1の色成分以外の色成分の復号対象の画素との相関を表す相関パラメータと、前記第1の色成分の復号画像とを用いて、フレーム間予測復号を実施することで、復号対象の前記第1の色成分以外の色成分の予測画像を生成する予測画像生成ステップを備えることを特徴とするカラー動画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013145408A JP2015019257A (ja) | 2013-07-11 | 2013-07-11 | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013145408A JP2015019257A (ja) | 2013-07-11 | 2013-07-11 | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015019257A true JP2015019257A (ja) | 2015-01-29 |
Family
ID=52439866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013145408A Pending JP2015019257A (ja) | 2013-07-11 | 2013-07-11 | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015019257A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015076781A (ja) * | 2013-10-10 | 2015-04-20 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2020005258A (ja) * | 2018-06-29 | 2020-01-09 | 財團法人工業技術研究院Industrial Technology Research Institute | ビデオ復号化方法、ビデオデコーダー、ビデオ符号化方法及びビデオエンコーダー |
CN113557723A (zh) * | 2019-03-15 | 2021-10-26 | 高通股份有限公司 | 使用不同的色度格式的三角预测单元模式中的视频译码 |
-
2013
- 2013-07-11 JP JP2013145408A patent/JP2015019257A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015076781A (ja) * | 2013-10-10 | 2015-04-20 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP2020005258A (ja) * | 2018-06-29 | 2020-01-09 | 財團法人工業技術研究院Industrial Technology Research Institute | ビデオ復号化方法、ビデオデコーダー、ビデオ符号化方法及びビデオエンコーダー |
CN113557723A (zh) * | 2019-03-15 | 2021-10-26 | 高通股份有限公司 | 使用不同的色度格式的三角预测单元模式中的视频译码 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6863669B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
JP6615287B2 (ja) | 画像復号装置 | |
JP6716836B2 (ja) | 動画像符号化データ | |
JP2017005723A (ja) | 符号化データのデータ構造 | |
WO2014163200A1 (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JP2019154074A (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
WO2013114992A1 (ja) | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 | |
WO2014049981A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2015076781A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6362370B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6373008B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2015019257A (ja) | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 | |
JP2014168107A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2014007643A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013168913A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2014049982A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098715A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2014051080A1 (ja) | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 | |
JP2016005235A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2018166329A (ja) | 画像符号化装置および画像復号装置 | |
JP2013102269A (ja) | カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 |