JP7441638B2 - 符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。

静止画像や動画像の伝送時や保存時のデータ量を圧縮するための映像符号化方式の研究が行われている。近年、８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。

ＭＰＥＧ及びＩＴＵが合同で標準化を行っている次世代映像符号化方式であるＶＶＣの評価用ソフトウェア（ＶＴＭ）では、フレーム内の空間的な相関を利用したイントラ予測が利用されている（例えば、非特許文献１参照）。

イントラ予測では、符号化対象ブロックの周辺の復号済み参照画素を利用して、Ｐｌａｎａｒ予測、ＤＣ予測、及び６５通りの方向性予測の、計６７通りの予測モードから符号化装置側で最適なモードが選択され、その情報が復号装置側へ送られる。

また、符号化対象ブロック及びその周辺ブロックにおいて利用される予測モードは高い相関があるため、符号化対象ブロックの左及び上のブロックで利用された予測モードと、それらの予測モードに近い方向の予測モードに優先順位をつけて、他の予測モードに対して相対的に少ないデータ量を割り当てる優先イントラ予測モード（ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅｓ）の適用を可能としている。

ＨＥＶＣにおいては、所定サイズの符号化対象ブロックについて、変換係数の二値化の際の符号化及び復号順を示すスキャン順がイントラ予測モードに応じて切り替えられる。具体的には、イントラ予測モードに応じた予測残差の分布の統計的な偏りを利用し、適応的にスキャン順を切り替えることにより、符号化効率の改善が可能である。

ＪＶＥＴ－Ｏ２００１ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ６）

上述のように、イントラ予測モードに応じて予測残差の分布に統計的な偏りが生じる。例えば、イントラ予測モードが垂直に近い方向性予測モードである場合、ブロック上部に大きな値の変換係数が現れる可能性が高い。その場合は水平方向スキャンでブロック下部から上部にかけてスキャンすることで効率が改善する。

しかしながら、従来の符号化方式ではストリーミングの構文解析時にイントラ予測モードの特定が必要になる場合、その時点で次の構文解析処理を続けられないため、復号装置側のスループットの低減を招くという問題がある。

そこで、本発明は、復号装置側のスループット低減を抑制しつつ、符号化効率の改善が可能な符号化装置、復号装置、及びプログラムを提供することを目的とする。

第１の態様に係る符号化装置は、画像を構成するブロック単位で符号化を行う符号化装置であって、符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部が出力する変換係数を符号化するエントロピー符号化部と、前記イントラ予測に用いたイントラ予測モードを示すシンタックスに応じて、前記エントロピー符号化部が前記変換係数を符号化するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部と、を備え、前記スキャン制御部は、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから前記スキャン順を直接的に決定することを要旨とする。

第２の態様に係る復号装置は、画像を構成するブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックのイントラ予測に用いるイントラ予測モードを示すシンタックスと、前記復号対象ブロックの変換係数とを出力するエントロピー復号部と、前記シンタックスに応じて、前記エントロピー復号部が前記変換係数を復号するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部と、前記復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記復号対象ブロックに対応する予測ブロックを生成するイントラ予測部と、前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、を備え、前記スキャン制御部は、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから前記スキャン順を直接的に決定することを要旨とする。

第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。

第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。

本発明によれば、復号装置側のスループット低減を抑制しつつ、符号化効率の改善が可能な符号化装置、復号装置、及びプログラムを提供できる。

実施形態に係る符号化装置の構成を示す図である。 実施形態に係るスキャン順を示す図である。 実施形態に係る非ＭＰＭモード番号の一例を示す図である。 実施形態に係るイントラ予測モードの候補を示す図である。 実施形態に係る対応付け情報を示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係るスキャン制御部の動作を示す図である。

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、スキャン制御部１３１と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

例えば、ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。但し、変換処理には、画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部１２１は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部１３０に出力する。

変換部１２１は、複数の変換基底を切り替えるＭＴＳを輝度信号の符号化において用いてもよい。具体的には、変換部１２１は、水平方向及び垂直方向のそれぞれについて、ＤＣＴ－２、ＤＳＴ－７、ＤＣＴ－８の中から選択した変換基底（変換タイプ）を適用してもよい。

量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

具体的には、エントロピー符号化部１３０は、２次元に配列された変換係数を所定のスキャン順で読み出し、サブブロック単位で符号化を行う。図２は、本実施形態に係るスキャン順を示す図である。

図２において、符号化対象ブロックが水平方向に８画素且つ垂直方向に８画素（すなわち、８×８画素）のサイズを有し、各サブブロックＳＢ１乃至ＳＢ４が水平方向に４画素且つ垂直方向に４画素（すなわち、４×４画素）のサイズを有する一例を示している。

図２に示すように、スキャン順の候補には、斜め方向スキャン、垂直方向スキャン、及び水平方向スキャンの３つがある。斜め方向スキャンは、図２（ａ）に示すように、各サブブロック内において高域側から低域側に向けて、斜め方向にスキャンを行うスキャン順である。垂直方向スキャンは、図２（ｂ）に示すように、各サブブロック内において高域側から低域側に向けて、垂直方向にスキャンを行うスキャン順である。水平方向スキャンは、図２（ｃ）に示すように、各サブブロック内において高域側から低域側に向けて、水平方向にスキャンを行うスキャン順である。

エントロピー符号化部１３０は、このような変換係数のスキャン処理及び符号化処理に加えて、変換部１２１から出力される変換処理に関する情報の符号化や、予測部１７０から出力される予測処理に関する情報の符号化も行う。

ここで、予測処理に関する情報は、予測部１７０が符号化対象ブロックのイントラ予測に用いたイントラ予測モードを示すシンタックス（以下、「イントラ予測モードシンタックス」と呼ぶ）を含む。輝度ブロックについてイントラ予測モードを示すイントラ予測モードシンタックスには、例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ、及びｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒがある。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇは、イントラ予測に用いたイントラ予測モードが複数の優先イントラ予測モード（以下、「ＭＰＭモード」と呼ぶ）に含まれるか否かを示すフラグである。ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”である場合、イントラ予測モードがＭＰＭモードに含まれることを示す。一方、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合、イントラ予測モードがＭＰＭモードに含まれない、すなわち、イントラ予測モードが複数の非優先イントラ予測モード（以下、「非ＭＰＭモード」と呼ぶ）に含まれることを示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇは、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”である場合において、イントラ予測モードがＰｌａｎａｒモードであるか否かを示すフラグである。ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”である場合、イントラ予測モードがＰｌａｎａｒモードではないことを示す。一方、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“０”である場合、イントラ予測モードがＰｌａｎａｒモードであることを示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘは、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”である場合において、イントラ予測モードがＭＰＭの何番目であるかを示すインデックスである。なお、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘはＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ ｅｎｃｏｄｉｎｇを用いてＭＰＭ１からＭＰＭ５までのいずれかの番号を示す。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒは、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合において、非ＭＰＭのイントラ予測モードのいずれかを示す非ＭＰＭモード番号である。図３は、本実施形態に係る非ＭＰＭモード番号の一例を示す図である。

図３に示すように、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒは、Ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ ｅｎｃｏｄｉｎｇを用いて６１モードの中のいずれかの番号を示す。この６１モードは、ＭＰＭモード以外の６１のイントラ予測モードについて、参照方向が左下から右上にかけて小さい番号から順に割り当てて表している。

スキャン制御部１３１は、エントロピー符号化部１３０が変換係数を符号化するときのスキャン順を制御する。具体的には、スキャン制御部１３１は、符号化対象ブロックのイントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスに応じて複数のスキャン順候補の中からスキャン順を決定し、決定したスキャン順に応じてエントロピー符号化部１３０を制御する。本実施形態において、複数のスキャン順候補は、図２に示すように、斜め方向スキャン、垂直方向スキャン、及び水平方向スキャンの３つであるものとする。スキャン制御部１３１の詳細については後述する。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１７０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。

メモリ１６０は、合成部１５０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、インター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、イントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。イントラ予測部１７２は、複数のイントラ予測モードの中から、イントラ予測の対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて対象ブロックを予測する。イントラ予測部１７２は、選択したイントラ予測モードを示すイントラ予測モードシンタックスをエントロピー符号化部１３０に出力する。

図４は、本実施形態に係るイントラ予測モードの候補を示す図である。図４に示すように、輝度ブロックについて、イントラ予測モードの候補は、０から６６までの６７通りがある。イントラ予測モードのモード「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード「１」はＤＣ予測であり、イントラ予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は参照方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。ブロックの右上頂点及び左下頂点を通る対角線に平行な参照方向として、左下方向を参照するイントラ予測モードであるモード「２」と、右上方向を参照するイントラ予測モードであるモード「６６」とがあり、モード「２」からモード「６６」まで時計回りに所定角度ごとにモード番号が割り振られている。

切替部１７３は、インター予測部１７１から出力されるインター予測ブロックとイントラ予測部１７２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

このように、本実施形態に係る符号化装置１は、符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部１７２と、符号化対象ブロックと予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部１２０が出力する変換係数を符号化するエントロピー符号化部１３０と、イントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスに応じて、エントロピー符号化部１３０が変換係数を符号化するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部１３１と、を有する。

本実施形態において、符号化装置１は、符号化対象ブロックの左及び上のブロックで利用された予測モードと、それらの予測モードに近い方向の予測モードに優先順位をつけて、他の予測モードに対して相対的に少ないデータ量を割り当てるＭＰＭを適用する。

具体的には、本実施形態に係るイントラ予測部１７２は、ＭＰＭ決定部１７２１と、シンタックス生成部１７２２とを有する。ＭＰＭ決定部１７２１は、優先モード決定部に相当する。

ＭＰＭ決定部１７２１は、符号化対象ブロックの周辺のブロックに適用されたイントラ予測モードに基づいて、符号化対象ブロックに優先的に適用する複数の優先イントラ予測モード（ＭＰＭモード）と、複数の優先イントラ予測モード以外の複数の非優先イントラ予測モード（非ＭＰＭモード）とを決定する。ＭＰＭ決定部１７２１は、決定したＭＰＭモードからなるリストを生成する。このようなリストは、ＭＰＭリストと呼ばれることがある。例えば、ＭＰＭリストは、６つの優先イントラ予測モードからなる。

シンタックス生成部１７２２は、イントラ予測部１７２が符号化対象ブロックのイントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスを生成し、生成したイントラ予測モードシンタックスをエントロピー符号化部１３０及びスキャン制御部１３１に出力する。上述したように、輝度ブロックについてイントラ予測モードを示すイントラ予測モードシンタックスは、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ、及びｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒを含む。

特に、シンタックス生成部１７２２は、イントラ予測に用いたイントラ予測モードがＭＰＭモード及び非ＭＰＭモードのいずれに含まれるかを示すフラグであるｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇを有するイントラ予測モードシンタックスを生成する。また、シンタックス生成部１７２２は、イントラ予測に用いたイントラ予測モードが非ＭＰＭモードに含まれる場合、イントラ予測に用いたイントラ予測モードを示す非ＭＰＭモード番号であるｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒをさらに含むイントラ予測モードシンタックスを生成する。

本実施形態において、スキャン制御部１３１は、符号化対象ブロックのイントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスに応じて複数のスキャン順候補の中からスキャン順を決定する。ここで、スキャン制御部１３１は、イントラ予測モードを示すイントラ予測モードシンタックスからイントラ予測モードを特定することなく、イントラ予測モードを示すイントラ予測モードシンタックスからスキャン順を直接的に決定する。

具体的には、スキャン制御部１３１は、イントラ予測に用いたイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、すなわち、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合、イントラ予測モードを示すイントラ予測モードシンタックスからスキャン順を直接的に決定する。

例えば、スキャン制御部１３１は、イントラ予測に用いたイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、各非ＭＰＭモード番号をスキャン順候補と対応付ける対応付け情報を用いて、イントラ予測モードを示すイントラ予測モードシンタックスに含まれる非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）に対応するスキャン順候補をスキャン順として決定する。

図５は、本実施形態に係る対応付け情報を示す図である。

図５に示すように、６つのＭＰＭモード以外の６１の非ＭＰＭモード（ｎｏｎ－ＭＰＭ ｍｏｄｅ）について、参照方向が左下から右上にかけて小さい番号から順に番号を割り当てて表している。各非ＭＰＭモード番号には、スキャン順候補（ｓｃａｎ）が対応付けられている。

具体的には、非ＭＰＭモード番号は、第１グループ乃至第３グループにグループ分けされている。第１グループは、方向性予測モードであって、予測方向が垂直方向よりも水平方向に近いイントラ予測モードと対応付けられたグループである。第２グループは、方向性予測モードであって、予測方向が水平方向よりも垂直方向に近いイントラ予測モードと対応付けられたグループである。第３グループは、第１グループ及び第２グループ以外のグループである。

図５において、非ＭＰＭモード番号“９”乃至“２０”が第１グループに相当し、非ＭＰＭモード番号“３９”乃至“５２”が第２グループに相当し、それ以外の非ＭＰＭモード番号が第３グループに相当する。対応付け情報は、第１グループを垂直方向スキャン（ｓｃａｎ＝１）と対応付け、第２グループを垂直方向スキャン（ｓｃａｎ＝２）と対応付け、第３グループを斜め方向スキャン（ｓｃａｎ＝０）と対応付ける。

ここで、どのようなイントラ予測モードがＭＰＭモードに選択されても、水平方向又は垂直方向にある程度近い非ＭＰＭモードがｓｃａｎ＝１又はｓｃａｎ＝２に含まれるように範囲を設定している。また、この範囲は図５に示す例に固定されるものではなく、範囲は可変であるものとする。

スキャン制御部１３１は、イントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、図５に示すようなテーブル（対応付け情報）を用いて、イントラ予測モードシンタックスに含まれる非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をスキャン順の番号（“０”、“１”、“２”のいずれか）に変換できるため、非ＭＰＭモード番号からスキャン順を直接的に決定できる。

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、符号化装置１との相違点を主として説明する。図６は、本実施形態に係る復号装置２の構成を示す図である。

図６に示すように、復号装置２は、エントロピー復号部２００と、スキャン制御部２０１と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、符号化装置１により生成された符号化データを構文解析し、符号化装置１がイントラ予測に用いたイントラ予測モードを示すイントラ予測モードシンタックスを取得し、取得したイントラ予測モードシンタックスをスキャン制御部２０１及び予測部２４０に出力する。輝度ブロックについてイントラ予測モードシンタックスには、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ、及びｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒがある。

イントラ予測モードシンタックスの復号においては、エントロピー復号部２００は、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇを復号し、“１”の場合にはイントラ予測モードがＰｌａｎａｒモードか否かを示すｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇを復号する。ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“０”の場合はイントラ予測モードとしてＰｌａｎａｒモードを特定する。また、エントロピー復号部２００は、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”の場合は、次にｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘを復号し、ＭＰＭの何番目かを特定する。一方、エントロピー復号部２００は、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”の場合にはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒを復号し、ＭＰＭに含まれないいずれのイントラ予測モードであるかを特定する。

また、エントロピー復号部２００は、変換処理に関する情報を取得し、取得した情報を逆量子化・逆変換部２１０に出力する。

さらに、エントロピー復号部２００は、符号化データに対する算術復号処理が行われた後の変換係数の多値化処理において、スキャン順に応じたスキャン処理を行うことにより、復号対象ブロックに対応する変換係数（具体的には、量子化された変換係数）を逆量子化・逆変換部２１０に出力する。

スキャン制御部２０１は、エントロピー復号部２００から出力されるイントラ予測モードシンタックスに応じて、エントロピー復号部２００が変換係数を復号するときのスキャン順を複数のスキャン順候補の中から決定する。具体的には、スキャン制御部２０１は、復号対象ブロックのイントラ予測に用いるべきイントラ予測モードシンタックスに応じて複数のスキャン順候補の中からスキャン順を決定し、決定したスキャン順に応じてエントロピー符号化部１３０を制御する。上述したように、スキャン順の候補には、斜め方向スキャン、垂直方向スキャン、及び水平方向スキャンの３つがある。スキャン制御部２０１の詳細については後述する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２４０から出力される予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。

メモリ２３０は、合成部２２０から出力される復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー復号部２００から出力されるインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いてインター予測の対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー復号部２００から出力されるイントラ予測に関する情報（すなわち、イントラ予測モードシンタックス）に応じたイントラ予測モードを用いて、メモリ２３０に記憶された復号済み画像のうちイントラ予測の対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

本実施形態において、復号装置２は、符号化対象ブロックの左及び上のブロックで利用された予測モードと、それらの予測モードに近い方向の予測モードに優先順位をつけて、他の予測モードに対して相対的に少ないデータ量を割り当てるＭＰＭを適用する。

具体的には、本実施形態に係るイントラ予測部２４２は、ＭＰＭ決定部２４２１を有する。ＭＰＭ決定部２４２１は、優先モード決定部に相当する。

ＭＰＭ決定部２４２１は、復号対象ブロックの周辺のブロックに適用されたイントラ予測モードに基づいて、復号対象ブロックに優先的に適用するＭＰＭモードと、ＭＰＭモード以外の非ＭＰＭモードとを決定する。ＭＰＭ決定部２４２１は、決定したＭＰＭモードからなるリスト（ＭＰＭリスト）を生成する。例えば、ＭＰＭリストは、６つの優先イントラ予測モードからなる。

イントラ予測部２４２は、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“１”の場合において、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“０”の場合はイントラ予測モードとしてＰｌａｎａｒモードを特定する。また、イントラ予測部２４２は、ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇが“１”の場合は、次にｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘを復号し、ＭＰＭ決定部２４２１が決定したＭＰＭの何番目かを特定する。一方、イントラ予測部２４２は、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”の場合には、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒに基づいて、ＭＰＭに含まれないいずれのイントラ予測モードであるかを特定する。

切替部２４３は、インター予測部２４１から出力されるインター予測ブロックとイントラ予測部２４２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックのイントラ予測に用いるイントラ予測モードを示すイントラ予測モードシンタックスと、復号対象ブロックの変換係数とを出力するエントロピー復号部２００と、イントラ予測モードシンタックスに応じて、エントロピー復号部２００が変換係数を復号するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部２０１と、復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、復号対象ブロックに対応する予測ブロックを生成するイントラ予測部２４２と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と予測ブロックとを合成して復号対象ブロックを復元する合成部２２０とを有する。

本実施形態において、スキャン制御部２０１は、符号化装置１のスキャン制御部１３１と同様にして、イントラ予測モードシンタックスからイントラ予測モードを特定することなく、イントラ予測モードシンタックスからスキャン順を直接的に決定する。

具体的には、スキャン制御部２０１は、イントラ予測に用いるべきイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、すなわち、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合、イントラ予測モードを示すイントラ予測モードシンタックスからスキャン順を直接的に決定する。

例えば、スキャン制御部２０１は、イントラ予測に用いるべきイントラ予測モードが非ＭＰＭモードに含まれることをｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが示す場合、各非ＭＰＭモード番号をスキャン順候補と対応付ける対応付け情報（図５参照）を用いて、イントラ予測モードを示すイントラ予測モードシンタックスに含まれる非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）に対応するスキャン順候補をスキャン順として決定する。スキャン制御部２０１は、非ＭＰＭモード番号（ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をスキャン順の番号（“０”、“１”、“２”のいずれか）に変換できるため、非ＭＰＭモード番号からスキャン順を直接的に決定できる。

これにより、スキャン制御部２０１は、イントラ予測モードシンタックスを構文解析するだけで、エントロピー復号部２００におけるスキャン順を適応的に切り替えることができる。言い換えると、イントラ予測モードシンタックスに対する復号処理によってイントラ予測モードを特定するのを待たずにスキャン処理を開始できる。よって、復号装置２側のスループット低減を抑制しつつ、符号化効率の改善が可能である。

＜スキャン制御部の動作＞
次に、本実施形態に係るスキャン制御部１３１及び２０１の動作について説明する。スキャン制御部１３１及び２０１は同様な動作を行うため、ここではスキャン制御部２０１の動作を例に挙げて説明する。図７は、本実施形態に係るスキャン制御部２０１の動作を示す図である。

図７に示すように、ステップＳ１において、スキャン制御部２０１は、エントロピー復号部２００が出力するイントラ予測モードシンタックスに含まれるｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”であるか又は“１”であるかを判定する。

ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇが“０”である場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、スキャン制御部２０１は、エントロピー復号部２００が出力するイントラ予測モードシンタックスに含まれるｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒと、図５に示すようなテーブルとに基づいて、スキャン順を直接的に決定する。

具体的には、スキャン制御部２０１は、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒをスキャン順の番号（“０”、“１”、“２”のいずれか）に変換することにより、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒからスキャン順を直接的に決定する。スキャン順を決定すると、スキャン制御部２０１は、決定したスキャン順で処理を行うようにエントロピー復号部２００を制御する。

＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１３１ ：スキャン制御部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：インター予測部
１７２ ：イントラ予測部
１７３ ：切替部
２００ ：エントロピー復号部
２０１ ：スキャン制御部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：インター予測部
２４２ ：イントラ予測部
２４３ ：切替部
１７２１ ：ＭＰＭ決定部
１７２２ ：シンタックス生成部
２４２１ ：ＭＰＭ決定部

Claims (8)

1. 画像を構成するブロック単位で符号化を行う符号化装置であって、
   符号化対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記符号化対象ブロックに対応する予測ブロックを生成するイントラ予測部と、
   前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、
   前記変換・量子化部が出力する変換係数を符号化するエントロピー符号化部と、
   前記イントラ予測に用いたイントラ予測モードを示すシンタックスに応じて、前記エントロピー符号化部が前記変換係数を符号化するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部と、を備え、
   前記スキャン制御部は、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから前記スキャン順を直接的に決定することを特徴とする符号化装置。
2. 前記イントラ予測部は、
   前記符号化対象ブロックの周辺のブロックに適用されたイントラ予測モードに基づいて、前記符号化対象ブロックに優先的に適用する複数の優先イントラ予測モードと、前記複数の優先イントラ予測モード以外の複数の非優先イントラ予測モードとを決定する優先モード決定部と、
   前記イントラ予測に用いたイントラ予測モードが前記複数の優先イントラ予測モード及び前記複数の非優先イントラ予測モードのいずれに含まれるかを示すフラグを有する前記シンタックスを生成するシンタックス生成部と、を有し、
   前記スキャン制御部は、前記イントラ予測に用いたイントラ予測モードが前記複数の非優先イントラ予測モードに含まれることを前記フラグが示す場合、前記シンタックスから前記スキャン順を直接的に決定することを特徴とする請求項１に記載の符号化装置。
3. 前記シンタックス生成部は、前記イントラ予測に用いたイントラ予測モードが前記複数の非優先イントラ予測モードに含まれる場合、前記イントラ予測に用いたイントラ予測モードを示す非優先イントラ予測モード番号をさらに含む前記シンタックスを生成し、
   前記スキャン制御部は、前記イントラ予測に用いたイントラ予測モードが前記複数の非優先イントラ予測モードに含まれることを前記フラグが示す場合、各非優先イントラ予測モード番号をスキャン順候補と対応付ける対応付け情報を用いて、前記シンタックスに含まれる前記非優先イントラ予測モード番号に対応するスキャン順候補を前記スキャン順として決定することを特徴とする請求項２に記載の符号化装置。
4. 画像を構成するブロック単位で復号を行う復号装置であって、
   符号化ストリームを復号することで、復号対象ブロックのイントラ予測に用いるイントラ予測モードを示すシンタックスと、前記復号対象ブロックの変換係数とを出力するエントロピー復号部と、
   前記シンタックスに応じて、前記エントロピー復号部が前記変換係数を復号するときのスキャン順を複数のスキャン順候補の中から決定するスキャン制御部と、
   前記復号対象ブロックの周辺の復号済み画素を用いるイントラ予測によって、前記復号対象ブロックに対応する予測ブロックを生成するイントラ予測部と、
   前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
   前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、を備え、
   前記スキャン制御部は、前記シンタックスから前記イントラ予測モードを特定することなく、前記シンタックスから前記スキャン順を直接的に決定することを特徴とする復号装置。
5. 前記イントラ予測部は、前記復号対象ブロックの周辺のブロックに適用されたイントラ予測モードに基づいて、前記復号対象ブロックに優先的に適用する複数の優先イントラ予測モードと、前記複数の優先イントラ予測モード以外の複数の非優先イントラ予測モードとを決定する優先モード決定部を有し、
   前記シンタックスは、前記復号対象ブロックのイントラ予測に用いるイントラ予測モードが前記複数の優先イントラ予測モード及び前記複数の非優先イントラ予測モードのいずれに含まれるかを示すフラグを有し、
   前記スキャン制御部は、前記復号対象ブロックのイントラ予測に用いるイントラ予測モードが前記複数の非優先イントラ予測モードに含まれることを前記フラグが示す場合、前記シンタックスから前記スキャン順を直接的に決定することを特徴とする請求項４に記載の復号装置。
6. 前記シンタックスは、前記復号対象ブロックのイントラ予測に用いるイントラ予測モードが前記複数の非優先イントラ予測モードに含まれる場合、前記イントラ予測に用いるイントラ予測モードを示す非優先イントラ予測モード番号をさらに有し、
   前記スキャン制御部は、前記イントラ予測に用いるイントラ予測モードが前記複数の非優先イントラ予測モードに含まれることを前記フラグが示す場合、各非優先イントラ予測モード番号をスキャン順候補と対応付ける対応付け情報を用いて、前記シンタックスに含まれる前記非優先イントラ予測モード番号に対応するスキャン順候補を前記スキャン順として決定することを特徴とする請求項５に記載の復号装置。
7. コンピュータを請求項１乃至３のいずれか１項に記載の符号化装置として機能させることを特徴とするプログラム。
8. コンピュータを請求項４乃至６のいずれか１項に記載の復号装置として機能させることを特徴とするプログラム。

Images