JP5174062B2 - イントラ予測装置、符号化器、復号器、及びプログラム - Google Patents

Description

本発明は、復号済みの画素値から符号化対象の画素値を外挿により予測する装置及びプログラムに関し、特に画像の交流成分の連続性を損なわない予測が可能なイントラ予測装置、符号化器、復号器、及びプログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ/ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）では、インター予測（画面間予測）のほか、符号化対象の画像ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図７に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８と、イントラ予測部３９と、フレームメモリ４０と、動き補償予測部４１と、加算部４２とを備える。

並べ替え部３１は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部３２及び動き補償予測部４１に出力する。

動き補償予測部４１は、並べ替え部３１から供給される入力画像に対して、フレームメモリ４０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ３８を介して減算部３２及び加算部４２に出力する。動きベクトルの情報は、可変長符号化部３５に出力する。

減算部３２は、並べ替え部３１からの入力画像と、動き補償予測部４１又はイントラ予測部３９からの予測画像との差分画像を生成して直交変換部３３に出力する。

直交変換部３３は、減算部３２から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部３４に出力する。

量子化部３４は、直交変換部３３から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部３５及び逆量子化部３６に出力する。

可変長符号化部３５は、量子化部３４から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部４１から入力される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部３６は、量子化部３４から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部３７に出力する。

逆直交変換部３７は、逆量子化部３６から入力された直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部４２に出力する。

加算部４２は、逆直交変換部３７から得られる逆直交変換した画像と、動き補償予測部４１又はイントラ予測部３９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部３９及びフレームメモリ４０に出力する。

切替えスイッチ３８は、動き補償予測とイントラ予測とを切替える。

イントラ予測部３９は、既符号化ブロックを復号した画像（加算部４２の出力画像）からイントラ予測した予測画像を生成して減算部３２及び加算部４２に出力する。ここで、減算部３２では、この予測画像と原画像との差分画像を直交変換部３３に出力し、量子化部３４及び可変長符号化部３５を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図８は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該予測ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。

特開２００９−０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報

しかし、従来の方向性を持ったイントラ予測方法は、復号済みの隣接画素の値と予測対象画素の値とが直流的な意味で連続であることを仮定しており、交流的な意味での連続性は仮定していなかった。また、特許文献３に記載の技法は交流成分も含んだ予測を行うものではあるが、参照画素と予測画素との間に交流的（位相的）な連続性はない。そのため、参照画像が周期性のあるパターンの一部であるような場合には、交流成分を考慮した高度な予測を行うことができなかった。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分が、予測値にそのまま影響を及ぼしてしまうという問題があった。

本発明の目的は、上記問題を解決するため、参照画素と予測画素との間で交流成分の連続性を損なわない予測を行うとともに、雑音成分の影響の少ない予測を行うイントラ予測装置、符号化器、復号器、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るイントラ予測装置は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、予測画像の初期値を予測ブロックに設定する予測画像初期値設定手段と、参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成手段と、前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換手段と、前記直交変換手段によって生成した直交変換係数を、高周波領域において元の値よりも小さい値に修正する係数修正手段と、前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換手段と、前記逆直交変換手段によって生成した画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出手段と、を備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記予測画像初期値設定手段は、前記初期値を前記参照ブロックの全部又は一部の画素値から得られる値とすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記逆直交変換手段によって生成した画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換手段に供給する画像修正手段と、前記逆直交変換手段によって生成した画像を、前記画像修正手段、前記直交変換手段、前記係数修正手段、及び前記逆直交変換手段による一連の繰り返し処理を実行させるために前記画像修正手段に供給するか、又は、前記繰り返し処理を終了して前記予測画像抽出手段に供給する分岐手段と、を更に備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記係数修正手段は、前記直交変換手段によって生成した直交変換係数を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、該高周波領域を減少させることを特徴とする。

また、本発明に係るイントラ予測装置において、前記画像修正手段は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、該画像領域を減少させることを特徴とする。

また、本発明に係るイントラ予測装置において、前記分岐手段は、前記逆直交変換手段によって生成した画像を、前記一連の処理の繰り返し処理の回数が所定の回数以下の場合には前記画像修正手段に供給し、所定の回数を超えた場合には前記予測画像抽出手段に供給するか、又は、現在の参照ブロックの画素値と元の復号済みの画像の画素値との差分値を算出し、該差分値が閾値以上の場合には前記画像修正手段に供給し、閾値より小さい場合には前記予測画像抽出手段に供給するか、又は、前記繰り返し処理の回数が所定の回数以下でかつ前記差分値が閾値以上の場合には前記画像修正手段に供給し、前記繰り返し処理の回数が所定の回数を超えるか若しくは前記差分値が閾値より小さい場合には前記予測画像抽出手段に供給することを特徴とする。

また、本発明に係るイントラ予測装置において、前記予測画像初期値設定手段に設定される初期値を規定するパラメータ、前記処理ブロック生成手段に設定される前記参照ブロック及び前記予測ブロックの領域を規定するパラメータ、前記係数修正手段に設定される前記高周波領域を規定するパラメータ及び直交変換係数の修正値を規定するパラメータ、前記画像修正手段に設定される前記画像領域を規定するパラメータ、前記分岐手段に設定される前記繰り返し処理を規定するパラメータのうち、いずれか一つ以上のパラメータを外部に伝送する制御パラメータ伝送手段を更に備えることを特徴とする。

さらに、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

さらに、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

さらに、本発明は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、（ａ）予測画像の初期値を予測ブロックに設定するステップと、（ｂ）参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、（ｃ）前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成するステップと、（ｄ）前記ステップ（ｃ）によって生成した直交変換係数を、高周波領域において元の値よりも小さい値に修正するステップと、（ｅ）前記ステップ（ｄ）によって修正された直交変換係数に対して逆直交変換を行って画像を生成するステップと、（ｆ）前記ステップ（ｅ）によって生成した画像から予測ブロックの画像を抽出して予測画像を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、参照画素と予測画素との間で交流成分の連続性が損なわれない予測を行うことが可能となる。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分の影響の少ない予測を行うことが可能となる。

本発明による一実施例の符号化側のイントラ予測装置の構成図である。 本発明による一実施例のイントラ予測装置の処理を説明する図である。 本発明による一実施例の復号側のイントラ予測装置の構成図である。 本発明による一実施例のイントラ予測装置の動作を示すフローチャートである。 本発明による一実施例のイントラ予測装置を備える符号化器の構成図である。 本発明による一実施例のイントラ予測装置を備える復号器の構成図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器の構成図である。 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

２つの制約条件（パラメータ）を交互に適用して徐々に適切な結果を得る方法として、例えば凸射影法（ＰＯＣＳ）が知られている。凸射影法では、２つの制約条件を満たす集合が凸集合の場合、繰り返しにより収束していくことが保証されている。本発明によるイントラ予測装置は、交流成分も含め、復号済みの画像との連続性を損なわず、かつ雑音成分の影響の少ない予測を行うために、予測画像の直交変換係数の高周波領域を所定の値に修正する、予測画像に隣接する参照画像が演算により変化した場合には元の値に修正する、という２つの制約条件を用いる。

予測には、予測画素の隣接画素だけでなく、一定の領域をもつ復号済み画素を活用し、ＤＣＴやＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの直交変換を用いる。そして、２つの制約条件の調和のために射影の繰り返しを行う。多数の隣接する参照画素を用い、かつ低周波成分を重視した予測を行うため、雑音の影響を軽減することができる。

具体的には、予測画像及び参照画像を含んだブロックに対して、直交変換、逆直交変換を、制約条件に近づけるための画像修正を施しながら繰り返し行う。理想的には、繰り返しの結果、参照画素に対応する画素の値は参照画素の値になり、予測画素に対応する画素の値は参照画素の値と直流的及び交流的に連続するものになればよい。しかし、このような状態に収束する保証はなく、また、収束するとしても繰り返しが多数となり演算量が増大するため、徐々に制約条件を緩和することにより、妥当な演算量で有効な結果を得るのが好適である。

まず、本発明による一実施例のイントラ予測装置の構成について、図１乃至図３を参照して詳細に説明する。

図１は、本発明による一実施例の符号化側のイントラ予測装置１の構成図である。イントラ予測装置１は、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、予測画像抽出部１８と、制御パラメータ設定部１９と、制御パラメータ伝送部２０とを備える。

後述する繰り返し処理を行う場合には、イントラ予測装置１は、更に分岐部１６と画像修正部１７とを備える。繰り返し処理を行わない場合でも一定の効果を得ることができるが、繰り返し処理を行うことで、より一層、交流成分の不連続性を低減することができる。以下の説明においては、繰り返し処理を行う場合について説明する。

図２は、本発明による一実施例のイントラ予測装置１の処理を説明する図である。具体的には、図２（ａ）及び図２（ｃ）は、イントラ予測装置１で行う処理単位となる画像ブロックを例示する図である。図２（ｂ）及び図２（ｄ）は、図２（ａ）及び図２（ｃ）に対応する周波数領域を示す図であり、左上の領域は低周波成分を示し、右下の領域は高周波成分を示す。画像ブロックＸは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。また、参照ブロック内の画像を参照画像といい、予測ブロック内の画像を予測画像という。

参照ブロックＤ，Ｂ，Ａ、及び予測ブロックＸのブロックサイズは任意である。予測ブロックＸの画像を予測するにはテクスチャが連続である領域を参照領域とすべきである一方、被写体の境界などのテクスチャが不連続になる領域は、参照画素として不適切である。テクスチャの連続性は画像領域によって異なる。そこで、符号化側で予め画像分析を行うか、又はいくつかの参照ブロック設定を試行して予測精度さらには符号化効率の点で最適なブロック設定を選択することができる。以下の説明では、図１（ａ）に示すように、参照ブロックＤのサイズをｋ画素×ｍライン、参照ブロックＢのサイズをｌ画素×ｍライン、参照ブロックＡのサイズをｋ画素×ｎライン、予測ブロックＸのサイズをｌ画素×ｎラインとする。また、以下の説明において、参照ブロックＤ，Ｂ，Ａと予測ブロックＸからなる、（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインの画像ブロックを「処理ブロック」という。

予測画像初期値設定部１１は、制御パラメータ設定部１９の指示に基づき、予測ブロックＸの初期値として、参照ブロックＤ，Ｂ，Ａの全部又は一部の画素値から得られる値を設定する。例えば、参照画像の画素値の平均値を初期値とするのが、直流成分が保持され好適である。また、予測ブロックＸに隣接する画素の平均値を初期値としたり、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測（図８参照）の結果を初期値としたりすることもできる。そして、この初期値を処理ブロック生成部１２に出力する。

処理ブロック生成部１２は、制御パラメータ設定部１９の指示に基づき、入力される参照ブロックＤ，Ｂ，Ａの参照画像、及び予測画像初期値設定部１１から入力される予測ブロックＸの初期値を用いて、図２（ａ）に示すように、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックを生成する。そして、この処理ブロックを直交変換部１３に出力する。

直交変換部１３は、処理ブロック生成部１２から入力される処理ブロックに対し、直交変換を行って直交変換係数を導出し、この直交変換係数を係数修正部１４に出力する。

係数修正部１４は、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの境界領域において、参照画像と予測画像との間に交流的な連続性をもたせる（不連続性を低減する）ために、制御パラメータ設定部１９の指示に基づき、処理ブロックの高周波成分を抑圧する。すなわち、直交変換部１３から入力される直交変換係数のうち、図２（ｂ）に示すように、最高次（最高周波数）の直交変換係数から順にｈ_１（１≦ｈ_１＜（ｋ＋ｌ）×（ｍ＋ｎ））個の高周波領域の直交変換係数を元の値よりも低い値に修正する。そして、修正した直交変換係数を逆直交変換部１５に出力する。修正する値は、０とするのが高周波成分を除去するのに好適である。また、ｈ_１個の直交変換が修正される高周波領域は、図２（ｄ）に示すように、正方形状又は長方形状としてもよい。

係数修正部１４は、後述する繰り返し処理によりｎ回目の処理を行う場合には、最高次の直交変換係数から順にｈ_ｎ個の直交変換係数を０に修正する。ここで、予測画像の直交変換係数の高周波領域を所定の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、該高周波領域を減少させる、すなわち、ｈ_１＞ｈ_２＞…＞ｈ_ｎとするのが好適である。

逆直交変換部１５は、係数修正部１４から入力される修正された直交変換係数に対し、逆直交変換を行って画像を生成し、この画像を分岐部１６に出力する。

分岐部１６は、制御パラメータ設定部１９の指示に基づき、後述する画像の修正、及び上記の直交変換、直交変換係数の修正、逆直交変換という一連の処理を繰り返すか否かを判定する。例えば、繰り返し回数が所定の回数以下の場合には、繰り返し処理を実行させるために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、繰り返し回数が所定の回数を超えた場合には、繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力する。

また、分岐部１６における別の判定方法として、参照ブロックＤ，Ｂ，Ａ内の領域について現在の画素値と元の復号済みの画像の画素値との差分値を算出し、この差分値が閾値以上の場合には繰り返し処理を実行させために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、閾値より小さい場合には繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力するようにしてもよい。差分値を算出する対象となる参照ブロックＤ，Ｂ，Ａ内の領域は、以下に説明する、画像修正部１７で修正する画像領域とするのが好適である。また、この判定方法による場合でも、繰り返し回数を制限するために、上限の繰り返し回数を設けるのが好適である。

画像修正部１７は、境界領域において、元の参照ブロックＤ，Ｂ，Ａの値と予測ブロックＸの予測値との間に交流的な連続性をもたせるために、制御パラメータ設定部１９の指示に基づき、分岐部１６から入力される画像を修正する。高次の直交変換係数の値を０に修正して逆直交変換を行うことにより、参照ブロックＤ，Ｂ，Ａと予測ブロックＸとの境界領域における画素値の不連続性が緩和されるが、参照ブロックＤ，Ｂ，Ａの画素値は元の値から変化している。そのため、例えば、図２（ｃ）に示すように、参照ブロックＤ，Ｂ，Ａ内の予測ブロックＸに隣接するｇ_１（１≦ｇ_１≦ｋ×ｍ＋ｌ×ｎ＋ｋ×ｎ）個の画像領域の画素値を、参照ブロックＤ，Ｂ，Ａの元の画素値に修正する。そして、画素値を修正した後の処理ブロックを直交変換部１３に出力する。

画像修正部１７は、繰り返し処理によりｎ回目の処理を行う場合には、参照ブロックＤ，Ｂ，Ａのうち、予測ブロックＸに隣接する画素を含むｇ_ｎ個の画素からなる画像領域を元の画素値に修正する。ここで、参照画像が演算により変化した場合には元の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、該画像領域を減少させる、すなわち、ｇ_１＞ｇ_２＞…＞ｇ_ｎとするのが好適である。

予測画像抽出部１８は、分岐部１６から入力される画像に対し、予測ブロックＸの領域の画像を抽出し、イントラ予測の予測画像とする。

制御パラメータ設定部１９は、予測ブロックＸの初期値を規定するパラメータ（初期値を平均値とするか又はＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測結果とするかなど）を予測画像初期値設定部１１に出力し、参照ブロックＤ，Ｂ，Ａ及び予測ブロックＸの領域を規定するパラメータ（ｋ，ｌ，ｍ，ｎ）を処理ブロック生成部１２に出力し、直交変換係数を修正する高周波領域を規定するパラメータ及び直交変換係数の修正値を規定するパラメータを係数修正部１４に出力し、繰り返し処理を規定するパラメータ（繰り返し回数及び／又は参照ブロックの差分値の閾値）を分岐部１６に出力し、画像を修正する画像領域を規定するパラメータを画像修正部１７に出力する。これらの設定によってイントラ予測の結果は異なるものとなる。また、設定した制御パラメータを制御パラメータ伝送部２０に出力する。

制御パラメータ伝送部２０は、制御パラメータ設定部１９から入力される制御パラメータを外部に伝送する。ただし、制御パラメータを固定して使用する場合には、ＡＶＣ／Ｈ．２６４規格では必要な予測方向を示すためのオーバーヘッド情報を伝送する必要もないため、制御パラメータ伝送部２０を備える必要はない。一方、画像全体又はブロックごとに最適なパラメータは異なるので、符号化側で画像分析あるいは試行により最適なパラメータの設定を行うことが考えられる。複数のパラメータを符号化側で試行し、最も精度の高い予測を行う制御パラメータを選択して使用する場合には、その制御パラメータを復号側に伝送する。また、上述したように、予測画像初期値設定部１１が従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測の結果を予測ブロックＸの初期値とする場合には、従来のイントラ予測モードもパラメータ情報として伝送する必要がある。

図３は、本発明による一実施例の復号側のイントラ予測装置１の構成図である。符号化側のイントラ予測装置１で制御パラメータ伝送部２０を用いて制御パラメータを伝送する場合には、制御パラメータ受信部２１を備える。制御パラメータ受信部２１は、符号化側のイントラ予測装置１の制御パラメータ伝送部２０から制御パラメータを受信し、受信した制御パラメータを制御パラメータ設定部１９に出力する。制御パラメータ設定部１９は、制御パラメータ受信部２１から入力される制御パラメータを、予測画像初期値設定部１１、処理ブロック生成部１２、係数修正部１４、分岐部１６、及び画像修正部１７に設定する。その他の処理は、符号化側のイントラ装置１と同様であるため、説明を省略する。

［イントラ予測装置の動作］
図４は、本発明による一実施例のイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、予測画像初期値設定部１１により、例えば、参照ブロックＤ，Ｂ，Ａの画素値の平均値を求め、予測ブロックＸに設定する。

ステップＳ１０２にて、処理ブロック生成部１２により、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックを生成する。

ステップＳ１０３にて、直交変換部１３により、ステップＳ１０２で生成した処理ブロックに対して直交変換を行い、直交変換係数を導出する。

ステップＳ１０４にて、係数修正部１４により、ステップＳ１０３で導出した直交変換係数のうち、最高次のものから順にｈ個の直交変換係数を０に修正する。

ステップＳ１０５にて、逆直交変換部１５により、ステップＳ１０４で修正した直交変換係数に対して逆直交変換を行い、画像を生成する。

ステップＳ１０６にて、分岐部１６により、ステップＳ１０３からステップＳ１０５の処理が所定回数繰り返して行われたか否かを判定する。繰り返しが所定回数に達していないと判定した場合には処理をステップＳ１０７に進め、繰り返しが所定回数に達していると判定した場合には処理をステップＳ１０８に進める。なお、判定方法は、上述したように閾値を判定する方法であってもよい。

ステップＳ１０７にて、画像修正部１７により、ステップＳ１０５で生成した画像に対して、参照ブロックＤ，Ｂ，Ａのうち予測ブロックＸに隣接するｇ個の画素値を、元の参照画素値に修正し、処理をステップＳ１０３に戻す。

ステップＳ１０８にて、予測画像抽出部１８により、ステップＳ１０５で生成した画像に対して、予測ブロックＸの領域の画像を抽出して予測画像を生成する。

［符号化器及び復号器］
図５は、本発明による一実施例のイントラ予測装置１を備える符号化器２の構成図である。符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器（図７参照）におけるイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部３６及び逆直交変換部３７を経て既符号化ブロックを復号した画像を予測画像初期値設定部１１、処理ブロック生成部１２、及び画像修正部１７に入力し、生成した予測画像を切替えスイッチ３８を介して減算部３２及び加算部４２に出力する。制御パラメータ伝送部２０は、設定した制御パラメータを可変長符号化部３５に出力する。なお、上述したように、固定の制御パラメータを使用する場合には、イントラ予測装置１にて制御パラメータ伝送部２０を備える必要はない。

図６は、本発明による一実施例のイントラ予測装置１を備える復号器３の構成図である。復号器３は、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、イントラ予測装置１と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８とを備える。復号器３は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。

可変長復号部５１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部５２に出力するとともに、動きベクトルの情報を復号して動き補償予測部５６に出力する。さらに、符号化器側から制御パラメータ情報が伝送された場合には、制御パラメータ情報を復号して制御パラメータ受信部２１に出力する。

逆量子化部５２は、可変長復号部５１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部５３に出力する。

逆直交変換部５３は、逆量子化部５２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部５４に出力する。

加算部５４は、逆直交変換部５３から得られる当該差分画像と、動き補償予測部５６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像を復元し、並べ替え部５８、イントラ予測装置１、及びフレームメモリ５５に出力する。

動き補償予測部５６は、フレームメモリ５５から得られる参照画像と可変長復号部５１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ５７を介して加算部５４に出力する。

並べ替え部５８は、加算部５４から入力される復元された復号画像の各フレームを表示フレーム順に並べ替えて出力する。

イントラ予測装置１は、逆量子化部５２及び逆直交変換部５３を経て復号した画像を入力し、上述したように、予測画像初期値設定部１１、処理ブロック生成部１２、直交変換部１３、係数修正部１４、逆直交変換部１５、分岐部１６、画像修正部１７、予測画像抽出部１８、及び制御パラメータ設定部１９により予測画像を生成し、この予測画像を切替えスイッチ５７を介して加算部５４に出力する。

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御パラメータ設定部１９と、制御パラメータ伝送部２０又は制御パラメータ受信部２１とを機能させるための制御部をＣＰＵ（中央演算処理装置）と、少なくとも１つのメモリで構成される記憶部とで実現できる。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御パラメータ設定部１９と、制御パラメータ伝送部２０又は制御パラメータ受信部２１の有する機能を実現させることができる。

同様に、符号化器２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予装置１と、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８とフレームメモリ４０と、動き補償予測部４１と、加算部４２とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予装置１と、並べ替え部３１と、減算部３２と、直交変換部３３と、量子化部３４と、可変長符号化部３５と、逆量子化部３６と、逆直交変換部３７と、切替えスイッチ３８とフレームメモリ４０と、動き補償予測部４１と、加算部４２の有する機能を実現させることができる。

同様に、復号器３として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、イントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７と、並べ替え部５８の有する各機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、イントラ予測を行う際に、画像に応じて上述した方式による予測と従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式による予測とを切替える、又は両方式による予測画像を生成して符号化効率の良い予測画像を判定して出力するようにしてもよい。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１ イントラ予測装置
１１ 予測画像初期値設定部
１２ 処理ブロック生成部
１３ 直交変換部
１４ 係数修正部
１５ 逆直交変換部
１６ 分岐部
１７ 画像修正部
１８ 予測画像抽出部
１９ 制御パラメータ設定部
２０ 制御パラメータ伝送部
２１ 制御パラメータ受信部
２ 符号化器
３ 復号器

Claims (10)

1. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
   予測画像の初期値を予測ブロックに設定する予測画像初期値設定手段と、
   参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成手段と、
   前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換手段と、
   前記直交変換手段によって生成した直交変換係数を、高周波領域において元の値よりも小さい値に修正する係数修正手段と、
   前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換手段と、
   前記逆直交変換手段によって生成した画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出手段と、
   を備えることを特徴とするイントラ予測装置。
2. 前記予測画像初期値設定手段は、前記初期値を前記参照ブロックの全部又は一部の画素値から得られる値とすることを特徴とする、請求項１に記載のイントラ予測装置。
3. 前記逆直交変換手段によって生成した画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換手段に供給する画像修正手段と、
   前記逆直交変換手段によって生成した画像を、
   前記画像修正手段、前記直交変換手段、前記係数修正手段、及び前記逆直交変換手段による一連の繰り返し処理を実行させるために前記画像修正手段に供給するか、
   又は、前記繰り返し処理を終了して前記予測画像抽出手段に供給する分岐手段と、
   を更に備えることを特徴とする、請求項１又は２に記載のイントラ予測装置。
4. 前記係数修正手段は、前記直交変換手段によって生成した直交変換係数を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、該高周波領域を減少させることを特徴とする、請求項３に記載のイントラ予測装置。
5. 前記画像修正手段は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、該画像領域を減少させることを特徴とする、請求項３又は４に記載のイントラ予測装置。
6. 前記分岐手段は、前記逆直交変換手段によって生成した画像を、
   前記一連の処理の繰り返し処理の回数が所定の回数以下の場合には前記画像修正手段に供給し、所定の回数を超えた場合には前記予測画像抽出手段に供給するか、
   又は、現在の参照ブロックの画素値と元の復号済みの画像の画素値との差分値を算出し、該差分値が閾値以上の場合には前記画像修正手段に供給し、閾値より小さい場合には前記予測画像抽出手段に供給するか、
   又は、前記繰り返し処理の回数が所定の回数以下でかつ前記差分値が閾値以上の場合には前記画像修正手段に供給し、前記繰り返し処理の回数が所定の回数を超えるか若しくは前記差分値が閾値より小さい場合には前記予測画像抽出手段に供給する
   ことを特徴とする、請求項３から５のいずれか一項に記載のイントラ予測装置。
7. 前記予測画像初期値設定手段に設定される初期値を規定するパラメータ、前記処理ブロック生成手段に設定される前記参照ブロック及び前記予測ブロックの領域を規定するパラメータ、前記係数修正手段に設定される前記高周波領域を規定するパラメータ及び直交変換係数の修正値を規定するパラメータ、前記画像修正手段に設定される前記画像領域を規定するパラメータ、前記分岐手段に設定される前記繰り返し処理を規定するパラメータのうち、いずれか一つ以上のパラメータを外部に伝送する制御パラメータ伝送手段を更に備えることを特徴とする、請求項３から６のいずれか一項に記載のイントラ予測装置。
8. 請求項１から７のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
9. 請求項１から６のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
10. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、
    （ａ）予測画像の初期値を予測ブロックに設定するステップと、
    （ｂ）参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、
    （ｃ）前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成するステップと、
    （ｄ）前記ステップ（ｃ）によって生成した直交変換係数を、高周波領域において元の値よりも小さい値に修正するステップと、
    （ｅ）前記ステップ（ｄ）によって修正された直交変換係数に対して逆直交変換を行って画像を生成するステップと、
    （ｆ）前記ステップ（ｅ）によって生成した画像から予測ブロックの画像を抽出して予測画像を生成するステップと、
    を実行させるためのプログラム。

Images