JP5376049B2 - イントラ予測処理方法、及びイントラ予測処理プログラム - Google Patents

Description

本発明は、入力画像の予測符号化に用いるため、複数画素からなる処理対象ブロックについて、対応する予測ブロックを、予測モードに従って隣接ブロックから予測するイントラ予測処理方法、及びイントラ予測処理プログラムに関する。

動画圧縮処理等において、同じフレーム内で予測を行うイントラ予測処理による符号化や、時間的に連続するフレーム間で予測を行うインター予測符号化などの予測符号化技術が知られている。

これらは、画像符号化方式の国際標準・規格にも採用されており、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以降、Ｈ．２６４と呼称する）方式のエンコーダは、図２に示すように構成されている。

図２のＨ．２６４エンコーダ１のイントラ予測処理部２において、隣接ブロックから予測パターンを決定するイントラ予測処理が実行される。

イントラ予測処理方法は、入力画像において、複数画素からなる処理対象ブロックを設定し、対応する予測ブロックを隣接ブロックから予測するものであり、この予測に基づき予測符号化処理を行う。

予測ブロックが処理対象ブロックに近ければ近いほど、予測符号化のコストは小さくなる。すなわち、情報量としてより圧縮することができる。処理対象ブロックの画像は隣接するブロックの画像に近いと推定し、隣接ブロックから予測するのである。

詳細は後述するが、どの隣接ブロックの画素からどのように予測するかによって、複数の予測モードが設定されている（図４に具体例を示す）。

複数の予測モードは主にどの方向の隣接ブロックがより近いかを示すものであるが、どの予測モード（予測方向）を用いると予測精度がよくなるかは予め分からない。

従って、すべての予測モードを実行してみて、最も予測精度のよい、すなわち符号化コストの最小となる予測モードを探索することが一般的に行われている。

しかしながら、すべての予測モードを実行し、さらに符号化コストを算出し評価する段階まで処理を進めなければならないため、その演算量は膨大となる。

このようにイントラ予測処理方法は、非常に計算量の多い処理として知られており、そのため、イントラ予測処理方法における予測モード決定のための計算量の削減が重要な技術課題として研究されてきた。

例えば、特許文献１では、イントラ予測処理によって符号化済みの隣接ブロックの予測モードを参考にして、予測モードを絞り込む手法が提案されている。

図４を参照して具体例を示すと、対象ブロックの上の隣接ブロックがモードＭ１、左の隣接ブロックがモードＭ５の場合には、Ｍ１、Ｍ５に加えて、それらの間の角度となるＭ４、Ｍ６（図４右下参照）との４つの予測モードを候補として限定している。

また、特許文献２では、対象ブロックの空間的な位置、あるいは時間軸上の位置に応じて、予測モード候補数を限定し、予測モードを評価する演算量を削減している。

特許文献２によれば、画像内のあるブロックにおいて、予測モードの候補数を限定するブロックを外部入力により決定している。限定するモード数も外部入力として与えられ、ブロックごとに可変である。

このようにして、各ブロックにおいて決定された予測モードの候補数に基づき、優先順位が付けられた符号化済み近隣ブロックの予測モードから候補の予測モードを決定している。

特開２００６−１２８７７０号公報 特開２００６−１４８４１９号公報

上に述べてきたように、予測符号化のためのイントラ予測処理は計算量が非常に多く、その処理を削減する方法が提案されてきた。

特に予測モード候補の数を絞り込むことで計算量を抑制しようと、上記特許文献１や特許文献２に記載されたような技術が研究されてきた。

しかしながら、絞り込んだ予測モード候補による予測の精度という点から考慮すると、例えば特許文献１や２に記載の従来の方法では、以下のような問題がある。

第１に、予測モード候補を限定するために参照する符号化済み近隣ブロックの予測モード自体も、上述したように限定して決定した予測モードである。そのため、本当に最適な予測モードに決定できたかどうかは分からない。

第２に、符号化済みの近隣ブロックしか参考にできない。そのため、未処理領域に似たような予測モードの傾向を示す領域が存在し、符号化処理済み領域には存在しない場合には、符号化処理済み領域の予測モードを用いて予測モードを限定することが最適とは言えない。

第３に、イントラ予測処理を行うブロックの度に符号化済み近隣ブロックの予測モードを参照するようなこれらの手法は、リアルタイムでの処理に不向きである。例えば、超広角系のように常に一定の特徴が含まれる場合には、イントラ予測処理ブロックごとに近隣ブロックを参照する処理は冗長になってしまう。

すなわち、上記のような従来手法では、予測モード候補の限定方法が、符号化処理済み領域での処理内容に依存したり、処理する入力画像に固有の特徴に依存したりして、簡単迅速に最適な予測モード候補に絞り込めるものとは言えなかった。

本発明は、上記の技術的課題に鑑みてなされたものである。

本発明の目的は、入力画像の予測符号化処理に際して、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができるイントラ予測処理方法、及びイントラ予測処理プログラムを提供することである。

上記の課題を解決するために、本発明は以下の特徴を有するものである。

第１の態様に係るイントラ予測処理方法は、入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備え、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理方法。

第２の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第１の態様に係るイントラ予測処理方法。

第３の態様に係るイントラ予測処理方法は、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第２の態様に係るイントラ予測処理方法。

第４の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第１の態様に係るイントラ予測処理方法。

第５の態様に係るイントラ予測処理方法は、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第１の態様に係るイントラ予測処理方法。

第６の態様に係るイントラ予測処理プログラムは、コンピュータに、入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備え、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理プログラム。

第７の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第６の態様に係るイントラ予測処理プログラム。

第８の態様に係るイントラ予測処理プログラムは、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第７の態様に係るイントラ予測処理プログラム。

第９の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第６の態様に係るイントラ予測処理プログラム。

第１０の態様に係るイントラ予測処理プログラムは、前記コンピュータに、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第６の態様に係るイントラ予測処理プログラム。

本発明に係るイントラ予測処理方法、及びイントラ予測処理プログラムによれば、入力画像の予測符号化処理に際して、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込み、処理対象ブロックに対応する予測ブロックを、隣接ブロックから予測する。

これにより、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができる。

図１は、本実施形態に係るイントラ予測処理方法の処理手順例を示すフローチャートである。 図２は、イントラ予測処理を実行するエンコーダの機能構成例を示すブロック図である。 図３は、イントラ予測処理の説明のための対象画像例を示した説明図である。 図４は、輝度信号のイントラ４×４予測モードのパターン図である。 図５は、輝度信号のイントラ１６×１６予測モードのパターン図である。 図６は、色差信号のイントラ８×８予測モードのパターン図である。 図７は、イントラ予測処理における予測モード決定手順の一例を示すフローチャートである。 図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。 図９は、任意角α、周波数ｋのときのＳａｇｉｔｔａｌ方向、Ｔａｎｇｅｎｔｉａｌ方向の周波数を表す図である。 図１０は、撮像に光学系（レンズ）を用いた形態での予測モード候補限定工程の概要を説明するための図である。 図１１は、対象画像における処理対象ブロックの位置を示すための図である。 図１２は、点（ｉ，ｊ）におけるイントラ４×４予測モードの方向性を表す図である。 図１３は、ｄ₀方向のＭＴＦの算出を説明するための図である。 図１４は、ｄ₁方向のＭＴＦの算出を説明するための図である。 図１５は、ｄ₅方向のＭＴＦの算出を説明するための図である。 図１６は、画像処理によりディストーションを補正した例を示す図である。 図１７は、画像処理を構成に取り入れたＨ．２６４エンコーダの例を示す図である。

（第１の実施形態）
本発明に係るイントラ予測処理方法、及びイントラ予測処理プログラムの一実施形態を、以下に図を用いて説明する。

（イントラ予測処理の手順例）
図１は、本実施形態に係るイントラ予測処理方法の概略処理手順例を示すフローチャートである。図１を用いて、本実施形態に係るイントラ予測処理方法の概略処理手順例を説明する。

なお、以下に述べるイントラ予測処理方法の処理手順は、それらを実行するようにプログラムされたイントラ予測処理プログラムをコンピュータ等の情報処理装置に適用することにより実行される。

図１において、ステップＳ１は、入力画像のイントラ予測による予測符号化処理実行の対象となるブロックとして、対象画像に複数画素からなる処理対象ブロックを設定する。

ステップＳ２は、入力画像における、設定した処理対象ブロックの位置での解像度情報（例えばＭＴＦ）の方向成分を算出する、あるいは取得する。ＭＴＦは、Ｍｏｄｕｌｅｒ
Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎであり、詳細は後述する。

ステップＳ３は、予測モード候補限定工程であり、複数の所定の予測モード候補から、ステップＳ２で求められた解像度情報（以降、ＭＴＦとする）の方向成分に応じて、処理対象ブロックの予測モード候補を限定する。

なお予測モードとは、処理対象のブロックを隣接ブロックから予測するためのパターンを示すものであり、パターンの方向性の異なる複数のモードが候補として設定されている。詳細は後述する。

予測モード候補の限定数は、１つであっても複数であってもよい。本実施形態では、複数の候補に限定されたとして説明する。

ステップＳ３の解像度情報に基づく予測モード候補限定工程の詳細については、具体例を後述して、説明する。

ステップＳ４からステップＳ６は、予測モード決定工程であり、ステップＳ３で限定された予測モード候補について、予測符号化のコストが最小となる予測モード候補を予測モードとして決定する。

またそのために、ステップＳ４からステップＳ６では、それぞれの予測モード候補での予測符号化のコスト評価を行っている。

ステップＳ４は、設定した処理対象ブロックに対して、ステップＳ３で限定された予測モード候補ごとに、当該予測モードに従い隣接ブロックを参照し、予測ブロックを算出する。

ステップＳ５は、限定された予測モード候補ごとに算出された予測ブロックを用いて、処理対象ブロックのコスト計算処理を行う。予測モード候補ごとの予測符号化のコスト評価を比較するためである。

ステップＳ６は、ステップＳ５の予測符号化のコスト評価結果により、設定した処理対象ブロックに対する予測モードを１つに決定する。すなわち、予測モード候補のうち、符号化コストが最小となる予測モード候補を予測モードとして決定する。

ステップＳ４からステップＳ６の予測モード決定工程の詳細については、具体例を後述して、説明する。

ステップＳ７は、予測符号化工程であり、設定した処理対象ブロックについて、ステップＳ６で決定された予測モードでの予測符号化処理を行う。

なお、決定された予測モードでの予測符号化は、ステップＳ５で、コスト評価の際に予測符号化処理まで実行しておき、その処理結果を参照するようにしてもよい。

ステップＳ８は、処理対象の画像に対して、すべての処理対象ブロックを設定し、上記手順によるイントラ予測処理を終えたかどうかを判定する。

ステップＳ８で判定がＹｅｓの場合は、対象画像に対するイントラ予測処理は終了する。

ステップＳ８で判定がＮｏの場合は、ステップＳ１へ戻り、次の処理対象ブロックを設定し、ステップＳ８までを繰り返す。

ステップＳ１からステップＳ８の反復は、ステップＳ８で判定がＹｅｓとなり、対象画像に対するイントラ予測処理が終了するまで継続する。

本実施形態に係るイントラ予測処理方法とそれを実行するためのイントラ予測処理プログラムでは、このようにして予測モード決定工程の前に、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存しない解像度情報に基づく予測モード候補限定工程を実行する。

これにより、予測モードを決定するための符号化コスト評価の計算量を削減し、簡単迅速に最適な予測モード候補に絞り込めるよう図っている。

以下にまず、イントラ予測処理の従来技術としての予測モード決定工程について詳細を述べ、その後で光学特性としてのＭＴＦとその方向成分の算出について述べ、その解像度と方向成分に基づいた予測モード候補限定工程の処理例を説明する。

（予測モード決定工程）
上述したステップＳ４からステップＳ６の予測モード決定工程について詳細を説明する。

予測モード決定工程では、イントラ予測処理において設定されている複数の予測モード候補から、予測符号化に用いる予測モードを決定する処理が行われる。この工程は、従来の公知技術（画像符号化方式の国際標準・Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ）を用いる例を説明する。

イントラ予測処理は、従来の画像符号化装置においても適用されている予測符号化方法であり、フレーム内で予測を行う予測符号化処理である。

入力画像において、複数画素からなる処理対象ブロックを設定し、対応する予測ブロックを隣接ブロックから予測するものであり、この予測に基づき予測符号化処理を行う。

例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式のエンコーダの構成を、既に図２に示した。図２のＨ．２６４エンコーダ１のイントラ予測処理部２において、隣接ブロックから予測パターンを決定するイントラ予測処理が実行される。

図３は、イントラ予測処理について説明するための対象画像例を示した説明図である。イントラ予測処理部２で行われるイントラ予測処理について、図３を用いて説明する。

動画像（入力画像）から１枚のフレーム（対象画像）３を抽出したとき、通常は画像内の被写体はある程度の領域で分布しており、隣り合う画素において画素値（輝度や色）が類似していることが多い。このことを利用して、近傍にある隣接ブロック５の画素から、符号化の処理対象ブロック４の画素値の推定を行うのがイントラ予測処理である。

Ｈ．２６４では、符号化の処理対象ブロック４に対して、符号化済み領域６に含まれる上、左、右上、左上のブロックが隣接ブロック５として定義されている。

次に、具体的なイントラ予測処理について述べる。

＜予測モードについて＞
どの隣接ブロックからどのように予測するかについては、複数の予測モードがパターンとして設定されている。

Ｈ．２６４では、輝度信号を用いる
・イントラ４×４（画素）予測モード
・イントラ１６×１６（画素）予測モード
と、色差信号を用いる
・イントラ８×８（画素）予測モード
と、が定義されている。

それぞれの予測モードには、平均値と画素の予測方向とを表すモードと呼ばれる番号が定義されている。

例えば、図４に輝度信号のイントラ４×４予測モードのパターン図を示す。イントラ４×４予測モードでは、図４に示すように、平均値を表すＭｏｄｅ２（以降はＭｏｄｅＸ＝Ｍ_Xと表記する）と、方向を表すＭ₀、Ｍ₁、Ｍ₃、Ｍ₄、・・・、Ｍ₈との９種類の予測モードが定義されている。

さらに輝度信号においては、画素単位を１６×１６画素サイズにしたイントラ１６×１６予測モードが図５のように４種類の予測モードで定義されている。図５に輝度信号のイントラ１６×１６予測モードのパターン図を示す。

同様にして、色差信号においても８×８画素のイントラ８×８予測モードが図６のように定義されている。図６に色差信号のイントラ８×８予測モードのパターン図を示す。

これらの予測モード番号と、そのモードで実際に予測した結果からの差分値とを符号化することで、画像そのものを符号化するよりも遥かに高い圧縮率を実現している。

図４のアルファベット記号を用いてより具体的に示す。

例えばイントラ４×４予測モードのＭ₀のとき、隣接画素Ａ〜Ｄが符号化済みであれば、符号化の処理対象ブロックａ〜ｐは、
ａ，ｅ，ｉ，ｍ＝Ａ （１）
ｂ，ｆ，ｊ，ｎ＝Ｂ （２）
ｃ，ｇ，ｋ，ｏ＝Ｃ （３）
ｄ，ｈ，ｌ，ｐ＝Ｄ （４）
と予測され、イントラ４×４予測モードのＭ₁の場合、隣接画素Ｉ〜Ｌが符号化済みであれば、
ａ，ｂ，ｃ，ｄ＝Ｉ （５）
ｅ，ｆ，ｇ，ｈ＝Ｊ （６）
ｉ，ｊ，ｋ，ｌ＝Ｋ （７）
ｍ，ｎ，ｏ，ｐ＝Ｌ （８）
と予測される。イントラ４×４予測モードのＭ₂の場合は、
ａ〜ｐ＝（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３
（Ａ〜Ｄ，Ｉ〜Ｌが符号化済みのとき）
ａ〜ｐ＝（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２
（Ａ〜Ｄのどれかが参照不可で、Ｉ〜Ｌがすべて符号化済みのとき）
ａ〜ｐ＝（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２
（Ａ〜Ｄがすべて符号化済みで、Ｉ〜Ｌのどれかが参照不可のとき）
ａ〜ｐ＝１２８
（Ａ〜ＤとＩ〜Ｌとに参照不可が含まれるとき）
（９）
と予測される。同様にしてＭ₃、Ｍ₄、・・・、Ｍ₈も図４で示されている方向に従って予測される。

＜予測モードの決定と計算量＞
Ｈ．２６４のイントラ予測処理は画素単位での予測を行うため、きめ細かい予測が可能となり、高画質で高圧縮な符号化を実現している。しかしながら、その一方で予測に要する演算処理量は激増している。

例えば、１６×１６画素の輝度信号マクロブロックの予測モードを決定する処理の例を、図７を用いて説明する。図７は、イントラ予測処理における予測モード決定手順の一例を示すフローチャートである。

図７の重要なステップのみ以下に述べる。

ステップＳ１１：イントラ１６×１６予測モードで予測を行う。予測モードは４種類（図５参照）あるため、符号化コスト算出処理を４回繰り返し、コストが最小となるＭα_iを決定する。

ステップＳ１２：マクロブロック内にエッジが含まれるかどうかを判定する。エッジが含まれていなければ、当該マクロブロックの予測モードはイントラ１６×１６予測モードのＭα_iとして決定する。

ステップＳ１３：マクロブロック内にエッジが含まれている場合は、４×４画素単位のサブマクロブロック１６個に分割し、各々のマクロブロックで９種類（図４参照）のイントラ４×４予測モードを検討する。つまり符号化コスト算出処理を最大９×１６回繰り返す。

ステップＳ１４：あるサブマクロブロックにおけるイントラ４×４予測モードが決まる度に、当該マクロブロックにおける現時点での累積符号化コスト（ΣＣｏｓｔ（Ｍβ_bj））（Σはｂ＝０〜１５）と、ステップＳ１１で得られたＭα_iの符号化コストとを比較する。

Ｍα_iの符号化コストの方が小さければサブマクロブロックでの計算を中止し、Ｍα_iを当該マクロブロックの予測モードとして決定する。サブマクロブロックの累積符号化コストの方が小さければ、当該マクロブロックで１６個の予測モードＭβ_bj（０≦ｂ≦１５）を決定する。

以上のように、各ブロックですべての予測方向（予測モード）に対して符号化コストを評価する必要がある。符号化コストを評価するためには、その予測モードで符号化した場合にどれだけの符号量になるのかを判断するため、イントラ予測処理の次のステップまで処理を進める必要があり、その演算量は膨大になる。

そこで、この演算処理量を削減するために、従来から様々な手法が提案されている（例えば、特許文献１、２参照）。

これらは、既に述べたように、予測モード候補を限定して絞り込むことで、演算量を削減しようとするものであるが、予測モード候補の限定方法が、符号化処理済み領域での処理内容に依存したり、処理する入力画像に固有の特徴に依存したりして、簡単迅速に最適な予測モード候補に絞り込めるものとは言えない。

本実施形態は、予測モード決定工程に先立ち、予測モード候補限定工程を設け、その中で、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込む処理を行っている。

これにより、撮像時の光学特性（ＭＴＦ）等、入力画像に依存しない、すなわち符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存しない解像度情報に基づくことで、簡単迅速に最適な予測モード候補に絞り込み、予測モードを決定するための符号化コスト評価の計算量を削減している。

また入力画像に依存しない解像度情報に基づくため、限定された予測モード候補をテーブルにして保持しておけば、絞り込みのための評価も、その都度演算する必要がなくなり、リアルタイムでの予測符号化処理も可能となる。

以下に、まず光学特性による解像度（方向成分）の低下について述べる。ＭＴＦを例に採っているが、光学特性（解像度情報）としては、ＯＴＦ、ＰＳＦなど、他の特性を用いてもよい。

＜ＭＴＦ＞
カメラなどの撮像装置における光学系の性能を表す指標の１つにＭＴＦ（Ｍｏｄｕｌｅｒ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）がある。

ＭＴＦは、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、１［ｍｍ］当たりに含まれるパターン（正弦波など）数を示す。

ＭＴＦは一般的に、周波数を固定（６０本／ｍｍ、１００本／ｍｍなど）して、横軸に画像中心からの距離（像高）をとったグラフにおいて、画像中心から放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）の２方向についてプロットしたものとして表現される。

図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。

一般に、ＭＴＦは像高が高くなるに従って低下する傾向があり、また、放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）で異なる値をとることがある。その差異は、広角な光学系においては、顕著に現れる。

また、ＭＴＦを計測する方法として、特許文献（特開２００１−３２４４１３号公報）のような方法が開示されている。

＜画像処理＞
一方、撮像された画像をイントラ予測処理の前に画像処理する場合がある。そのような場合には、画像処理の結果としての解像度情報を用いてもよい。

例えば、特許文献（特開２００９−２８４４２１号公報）では、広角な車載カメラで撮影した画像を歪み補正及び視点変換した画像を表示している。

このような画像では、元の撮像系で撮影された画像に対して画像処理による拡大・縮小処理が行われており、特に拡大処理が行われている部分では解像度が低下している。

生成される画像解像度は、同じ画像処理を適用している間は、画面のそれぞれの領域で一定である。

（ＭＴＦの方向成分の算出）
ここでは、画像の解像度特性として撮像系のＭＴＦを用いる場合を説明する。ＭＴＦの方向成分に応じて予測モード候補を取捨選択するために、まず光学系の設計データから水平・垂直方向のＭＴＦ成分を算出する方法について述べる。

＜光学系の設計データからの算出＞
画像上の各座標における垂直及び水平方向のＭＴＦは、光学系の設計データを用いてシミュレーションによって求めることができる。

画像上の任意の点におけるスポットダイヤグラム（点光源から瞳面上のＮ個の格子点を通る光線が画像上に作る点群。光線追跡によって求められる）のＮ個の点の座標をｘ_k、ｙ_kとする。Ｓａｇｉｔｔａｌ方向と画像の水平面のなす角をαとし、その方向の周波数をｗ本／ｍｍとすると、Ｓａｇｉｔｔａｌ方向の周波数ｓとＴａｎｇｅｎｔｉａｌ方向の周波数ｔは、図９からそれぞれ式（１０）及び式（１１）のようになる。

ｓ＝ｗｃｏｓα （１０）
ｔ＝ｗｓｉｎα （１１）
ＭＴＦの水平及び垂直方向の値、ＭＴＦ_h（ｉ，ｊ）及びＭＴＦ_v（ｉ，ｊ）は、それぞれ式（１２）及び式（１３）のように表すことができ、スポットダイヤグラムから計算できる。

＜像高に対するＭＴＦ値からの算出＞
ＭＴＦの水平及び垂直方向成分の値が算出されれば、説明は略すが、任意の方向の成分を求めることができる。

＜像高に対するＭＴＦ値からの算出＞
図８のようなＳａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦ値のみが得られるときの、ＭＴＦの任意の方向の成分を求める求め方については後で述べる。

（予測モード候補限定工程）
既述した図１のイントラ予測処理手順における、ステップＳ３の予測モード候補限定工程について詳細を説明する。

＜解像度情報の方向成分による予測モード候補の限定＞
予測モード候補限定工程では、複数の所定の予測モード候補から、ステップＳ２で求められた解像度情報（ＭＴＦ）の方向成分に応じて、処理対象ブロックの予測モード候補を限定する。

本実施形態におけるこの工程は、解像度情報を利用して予測モード候補を絞り込み、ステップＳ４からステップＳ６の工程でのイントラ予測処理の演算処理量を削減するためのものである。入力画像の解像度情報を利用するため、事前に画像解析を行ったり、入力画像を想定したパターンを生成したりする必要はない。

本実施形態における予測モード候補限定工程の概要を、撮像に光学系（レンズ）を用いた形態を例にとって、図１０を用いて説明する。

撮像対象の物体を光学系としてレンズを介して結像させると、レンズの中心位置からの距離によってその解像力が異なる。また、その解像力の分布は、レンズによって異なるパラメータである。

この解像力情報を利用して、画質の劣化を招かないように演算処理量の削減を行う。

図１０に示すように、レンズの解像力が高ければ（図１０上）一画素ずつ処理を行い、高画質、高圧縮を狙った予測を行う。

一方で、レンズの解像力がそもそも低いのであれば（図１０下）、演算コストが高い一画素単位の処理を行う必要はない。方向を表す予測モードは考慮せずに、演算コストが低い予測モード候補、例えばＭ₂（図４参照）と限定すれば、予測モードの評価処理を大幅に削減することができる。

ところで、このようなレンズの解像力は、レンズの中心からの距離（像高）、またその位置での方向によっても異なる情報である。このため、各レンズによって、画像中の位置と、予測モードの方向とを加味して解像力を判断し、予測モード候補をその方向性と照らして取捨選択することにより、最適な演算処理量削減を行う。

例えば、設定した処理対象ブロックの位置において、複数の所定の予測モード候補について、それぞれの予測モード候補の方向性と対応する解像度情報の方向成分に基づき、当該予測モード候補を取捨選択することにより、限定された予測モード候補に絞り込む。

解像度の方向成分に応じて予測モード候補を限定する具体的な処理について、以下に説明する。

＜像高に対するＭＴＦ値からの方向成分算出＞
図１１は、対象画像３における処理対象ブロック４の位置を示すための図である。

図１１に示す画素ｆ（ｉ，ｊ）を左上にした４×４画素の処理対象ブロック４のイントラ予測処理を行うとする。

このとき、画像の中心を（Ｃ_X，Ｃ_Y）とすれば、画像中心と対象画素とがなす角度θ、画像中心と対象画素との距離（像高）ｌは、それぞれ以下で表される。

θ＝ａｒｃｔａｎ（｜ｊ−Ｃ_Y｜／｜ｉ−Ｃ_X｜） （１４）
ｌ＝｜（ｉ，ｊ）−（Ｃ_X，Ｃ_Y）｜ （１５）
さらに、画素ｆ（ｉ，ｊ）を左上にしたブロックを処理対象ブロック４とすると、点（ｉ，ｊ）におけるイントラ４×４予測モードの方向性を図１２のように表す。

ここで方向ｄ_Xは、Ｍ_Xを表す方向であるとする。また、図に示しているｓ、ｔはＳ（Ｓａｇｉｔｔａｌ）方向、Ｔ（Ｔａｎｇｅｎｔｉａｌ）方向を表しており、点（ｉ，ｊ）におけるＭＴＦを、像高ｌの関数としてＳ方向、Ｔ方向でそれぞれＳ（ｌ）、Ｔ（ｌ）として定義する。

これらを用いて、点（ｉ，ｊ）におけるｄ_X（Ｘ＝｛０，１，３，４，・・・，８｝）方向のＭＴＦを以下のように定義する。

ＭＴＦ（ｄ_X）＝｜Ｓ（ｌ）ｃｏｓδ｜＋｜Ｔ（ｌ）ｓｉｎδ｜ （１６）
ここで、δは以下の通りである。

δ＝｜θ−（１／２）π｜ （ｄ₀のとき） （１７）
δ＝ θ （ｄ₁のとき） （１８）
δ＝｜θ−（３／４）π｜ （ｄ₃のとき） （１９）
δ＝｜θ−（１／４）π｜ （ｄ₄のとき） （２０）
δ＝｜θ−（３／８）π｜ （ｄ₅のとき） （２１）
δ＝｜θ−（１／８）π｜ （ｄ₆のとき） （２２）
δ＝｜θ−（５／８）π｜ （ｄ₇のとき） （２３）
δ＝｜θ＋（１／８）π｜ （ｄ₈のとき） （２４）
例えば、ｄ₀方向のＭＴＦは、図１３のように捉えることができる。また同様に、ｄ₁、ｄ₅方向についても図１４、１５のように表すことができる。

＜予測モード候補の限定＞
上記のようにして求めた解像度（ＭＴＦ）のｄ_X方向成分に応じて、対応する方向性を有する予測モード候補を選別する処理例を説明する。

例えば、求めたｄ_X（Ｘ＝｛０，１，３，４，・・・，８｝）方向のＭＴＦを、所定の閾値Ｈと比較して、
ＭＴＦ（ｄ_X）＜Ｈ （２５）
となるとき、ｄ_X方向に対応する（例えば垂直な）方向性を有する予測モードＭ_Yは、予測モードの候補から削除するものとする。

例えば、ｄ₀方向のＭＴＦが閾値Ｈを下回るときは、予測モードＭ₁は予測モードの候補から削除する。ｄ₃方向のＭＴＦが閾値Ｈを下回るときは、予測モードＭ₄は、予測モードの候補から削除する。

ここで閾値Ｈは、撮像素子の画素ピッチ、及びＭＴＦデータの周波数により決定する。

本実施形態の予測モード候補限定方法によれば、レンズの点像再現性に基づいて予測モードの候補を減らすことができるため、画質の劣化を招くことなく、演算処理量を削減することができる。

もし、ＭＴＦ（ｄ_X）（Ｘ＝｛０，１，３，４，・・・，８｝）のすべてが閾値Ｈ以下であれば、当該ブロックの予測モードをＭ₂に決定することができ、演算処理量を大幅に削減することができる。

上述の予測モード候補限定の処理では、イントラ４×４予測モードに関してのみ述べたが、イントラ１６×１６予測モードなど他のイントラ予測モードにも適用できる。

例えば、１６×１６画素のマクロブロックにおいて、平均値予測のＭ₂に決定することができれば、図７で例示して説明したように４×４画素単位で処理をする必要はなく、演算処理量を抑えることができる。

＜予測モード候補の優先度＞
また、予測モードの候補数を決定するだけでなく、上述のＭＴＦ（ｄ_X）を降順に並べれば、優先順位として決定することができる。すなわち、解像力の低い方向に対応する方向性を有するモードから優先的に候補から削除する処理を行うこともできる。

処理系によっては、予測モードの処理数に限界があり、すべての予測モード候補を計算できない可能性もあり、そのような場合には、適正な処理数になるまで、対応する解像力の方向成分に応じた優先度判定に従って、予測モード候補を候補から外していくようにしてもよい。

（第２の実施形態）
上述の実施形態は、光学特性として撮像系のＭＴＦを用いて説明した。

イントラ予測処理の前に画像処理が行われるような場合には、その画像処理に起因する画像のひずみ等、画像内の位置に依存する解像度の方向性を使用してもよい。

例として以下に、本発明の第２の実施形態について述べる。

広角系のレンズや歪曲収差を生じるレンズなどで撮影された画像を、画像処理を用いて補正する従来技術がある。例えば、図１６に示すように、歪曲している画像を補正する技術である。図１６では、画像処理前の（ａ）歪曲画像と、画像処理後の（ｂ）補正後画像を、格子状の画像として表している。

このような画像処理は何らかの補間が行われるため、図中の格子形状からも分かるように、方向によって解像度の違いが生じる。

この解像度情報は上述したＭＴＦと同じように扱うことができるため、同様に予測モード候補の選択に用いて優先順位付けを行うことができる。

なお、第２の実施形態はＭＴＦのように静的なデータとは異なり、動的に変動する場合もある。例えば、車載カメラの視点変換の用途などでは、時間の経過に伴い画像処理が行われる。

この画像処理を構成に取り入れたエンコーダの例を図１７に示す。

図１７に示したエンコード処理では、撮像装置から取得した入力信号に対して、最初に画像処理８が行われる。画像処理８は、視点変換のための処理であったり、ズーム処理、パン処理、色補正処理などであったり、様々な処理がある。

このときに生じたパラメータ情報を、第２の実施形態におけるイントラ予測処理部９に入力すれば、同様に解像度（方向成分）を算出し、画像処理８で処理した画像の特性に合わせてイントラ予測処理を行うことができる。

以上のように、複数の予測モード候補に対して優先順位を付けることができる本発明は、静的にも動的にも適用することができる。

なお本発明は、Ｈ．２６４のイントラ予測処理だけに限らず、処理対象ブロックを隣接ブロックから予測するイントラ予測処理一般に適用することができる。加重平均を用いた予測や何らかの変換を伴うような予測処理でも適用できる。

＜予測モード候補限定の結果保持及び活用＞
入力画像における解像度情報の処理対象ブロックの位置での方向成分に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込んだ結果は、保存しておくことで、上記、イントラ予測処理の計算量削減に有効に活用することもできる。

例えば、図１のイントラ予測処理の手順において、ステップＳ３の予測モード候補限定工程の終わった後、ステップＳ４からステップＳ６の予測モード決定工程の間、あるいはその前後において、予測モード候補保持工程を設けてもよい。

予測モード候補保持工程では、入力画像の撮像システムに関しての予測モード候補限定工程の結果、すなわち、処理対象ブロック位置と限定された予測モード候補とを対応づけた予測モード候補テーブルを保持する。

これにより、同じ撮像システムの入力画像に対しては、上記のように保持されている予測モード候補テーブルの情報に基づいて予測モード候補を設定する工程を設けることで、図１のステップＳ２及びステップＳ３の工程を省略することができる。

このように、予測モード候補限定のために用いる解像度情報が入力画像に依存しないことで、一度求めた予測モード候補限定の結果が同じシステムの場合はそのまま適用できるのである。

上述してきたように、本実施形態に係るイントラ予測処理方法、及びイントラ予測処理プログラムによれば、入力画像の予測符号化処理に際して、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込み、処理対象ブロックに対応する予測ブロックを、隣接ブロックから予測する。

これにより、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができる。

なお、上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ Ｈ．２６４エンコーダ
２ イントラ予測処理部
３ フレーム（イントラ予測処理の対象画像）
４ 処理対象ブロック
５ 隣接ブロック
６ 符号化済み領域
７ 未処理領域
８ 画像処理部
９ イントラ予測処理部（第２の実施形態）

Claims (10)

1. 入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、
   前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、
   前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、
   前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、
   を備え、
   前記予測モード候補限定工程においては、
   前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理方法。
2. 前記予測モード候補限定工程においては、
   前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項１に記載のイントラ予測処理方法。
3. 前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項２に記載のイントラ予測処理方法。
4. 前記予測モード候補限定工程においては、
   前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項１に記載のイントラ予測処理方法。
5. 前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、
   前記予測モード決定工程においては、
   同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項１に記載のイントラ予測処理方法。
6. コンピュータに、
   入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、
   前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、
   前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、
   前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、
   を備え、
   前記予測モード候補限定工程においては、
   前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理プログラム。
7. 前記予測モード候補限定工程においては、
   前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項６に記載のイントラ予測処理プログラム。
8. 前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項７に記載のイントラ予測処理プログラム。
9. 前記予測モード候補限定工程においては、
   前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項６に記載のイントラ予測処理プログラム。
10. 前記コンピュータに、
    前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、
    前記予測モード決定工程においては、
    同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項６に記載のイントラ予測処理プログラム。