JP5138933B2 - 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、集積回路、およびプログラム - Google Patents

Description

本発明は、動画像信号を圧縮符号化する際の画像符号化方法および画像復号化方法に関する。

従来の画像符号化装置（例えば、特許文献１参照。）は、第１および第２の符号化部を備え、階層的動画像符号化方式（スケーラブル符号化方式）により画像を符号化する。第１の符号化部は、入力画像（高解像度画像）を縮小して低解像度画像に変換し、低解像度画像に対して符号化を実施する。第２の符号化部は、第１の符号化部により得られた低解像度画像に対する局所復号画像を拡大処理した画像と入力画像（高解像度画像）との差分画像に対して符号化を実施する。

つまり、このような従来の方法では、入力画像の高解像度成分を、低解像度画像の局所復号画像を拡大した画像と入力画像との差分画像として符号化する。言い換えれば、この差分画像が高解像度成分となる。
特開平６−７８２９２号公報

しかしながら、この高解像度成分はあくまでも画像データ（差分画像）として符号化されており、符号化により生成される符号量が大きくなるという問題がある。

本発明は、かかる問題に鑑みてなされたものであって、符号量を大幅に削減しながらも、復号画像の高画質化を図ることができる画像符号化方法および画像復号化方法を提供することを目的とする。

上記目的を達成するために、入力画像を符号化する画像符号化方法であって、入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ステップと、符号化された入力画像を復号化することにより復号画像を生成する復号画像生成ステップと、前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成ステップとを含み、前記パラメータ生成ステップでは、前記復号画像および前記入力画像のうち何れか一方の画像に対して、パラメータにより特性が決まる予め定められた関数形によるフィルタ処理を行い、前記フィルタ処理が行われた一方の画像と他方の画像との誤差に基づいて前記パラメータを生成する。
また、上記目的を達成するために、本発明に係る画像符号化方法は、入力画像を符号化する画像符号化方法であって、入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ステップと、符号化された入力画像を復号化することにより復号画像を生成する復号画像生成ステップと、前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成ステップとを含むことを特徴とする。例えば、前記パラメータ生成ステップでは、前記復号画像および前記入力画像を周波数変換し、前記周波数変換により得られるそれぞれの周波数変換係数の差分を特定することにより前記パラメータを生成する。

これにより、入力画像および復号画像の少なくとも一方の周波数成分に基づいてパラメータが生成されるため、そのパラメータの情報量を、従来のような画像データ（差分画像）よりも少なくすることができる。即ち、符号列とパラメータを含む符号量を大幅に削減しながらも、画像復号化装置では、そのパラメータを用いて復号画像の高画質化を図ることができる。

また、前記パラメータ生成ステップでは、前記復号画像および前記入力画像のそれぞれの画像領域ごとに前記周波数変換係数の差分を特定することにより、前記画像領域ごとの前記パラメータを生成することを特徴としてもよい。

これにより、画像領域ごとにその画像領域に応じたパラメータが生成されるため、復号画像を入力画像により近づけて高画質化をさらに図ることができる。

また、前記画像符号化方法は、さらに、前記パラメータ生成ステップで前記パラメータを生成するために用いられる処理を識別するための識別情報を生成する識別情報生成ステップを含むことを特徴としてもよい。

これにより、画像復号化装置がその識別情報を取得すれば、画像復号化装置は、その識別情報の示す処理に基づいて、復号画像を入力画像に適切に近づけて高画質化を図ることができる。

また、前記画像符号化方法は、さらに、前記入力画像に対して所定の前処理を行う前処理ステップを含み、前記符号化ステップでは、前記前処理が行われた入力画像を符号化して符号列を生成し、前記パラメータ生成ステップでは、前記復号画像と、前記前処理が行われた入力画像または前記前処理が行われていない入力画像とのうち少なくとも一方の周波数成分に基づいて前記パラメータを生成することを特徴としてもよい。例えば、前記前処理ステップでは、前記入力画像に対して、画像サイズの縮小処理、低域通過フィルタ処理、またはフレームレート削減処理を行う。

これにより、入力画像に対して前処理が行われるため符号量をさらに削減することができる。

また、前記画像生成方法は、さらに、前記前処理ステップで行われる前記前処理の内容を示す前処理パラメータを生成する前処理パラメータ生成ステップを含むことを特徴としてもよい。

これにより、画像復号化装置がその前処理パラメータを取得すれば、その画像復号化装置は、その前処理パラメータの示す前処理の内容に基づいて、適切に復号画像を生成して高画質化を図ることができる。

ここで本発明に係る画像復号化方法は、符号化された入力画像を復号化する画像復号化方法であって、符号列を取得する符号列取得ステップと、前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を生成する復号化ステップと、前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生成されたパラメータを取得するパラメータ取得ステップと、前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高画質復号画像を生成する高画質化ステップとを含むことを特徴とする。

これにより、画像符号化装置からパラメータが出力されたときには、そのパラメータを用いて復号画像を適切に高画質化して高画質復号画像を生成することができる。

なお、本発明は、このような画像符号化方法および画像復号化方法として実現することができるだけでなく、その方法を用いた処理を行う画像符号化装置および画像復号化装置や、集積回路、その方法を実現するためのプログラム、そのプログラムを格納する記憶媒体としても実現することができる。

本発明の画像符号化方法および画像復号化方法は、符号量を大幅に削減しながらも、復号画像の高画質化を図ることができるという作用効果を奏し、その実用的価値が高い。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像符号化方法を用いた画像符号化装置１００のブロック図である。図１に示すように、画像符号化装置１００は画像符号化部１０１およびパラメータ抽出部１０２ａを備えている。

入力画像ＯＲは、画像符号化部１０１に入力される。画像符号化部１０１は、規格により規定された画像符号化方法によりその入力画像ＯＲを符号化する。規格により規定された画像符号化方法としては、ＩＳＯ／ＩＥＣ規格であるＪＰＥＧ(Joint Photographic Experts Group)方式やＭＰＥＧ(Moving Picture Experts Group)方式、ＩＴＵ−Ｔ規格であるＨ．２６ｘ方式、等を用いることができる。画像符号化部１０１からは、入力画像ＯＲを符号化して得られる符号列ＢＳと、符号化された入力画像ＯＲを復号化して得られる局所復号画像ＬＤが出力される。符号列ＢＳは、画像符号化装置１００の外部に出力され、伝送、蓄積、等の処理が施される。

局所復号画像ＬＤは、パラメータ抽出部１０２ａに入力される。また、パラメータ抽出部１０２ａには、入力画像ＯＲも入力される。パラメータ抽出部１０２ａは、入力画像ＯＲと局所復号画像ＬＤとを用いて、局所復号画像ＬＤを入力画像ＯＲに近づけるための高画質化パラメータＰＲを抽出する。高画質化パラメータＰＲは、画像符号化装置１００の外部に出力され、符号列ＢＳと共に、伝送、蓄積、等の処理が施される。

パラメータ抽出部１０２ａは、高画質化パラメータＰＲを、符号列ＢＳ中のヘッダ領域やユーザデータ領域に含めても良いし、符号列ＢＳとは別の符号列として出力しても良い。

以下、パラメータ抽出部１０２ａにおいて高画質化パラメータＰＲを求める際の処理例について説明する。

図２は、パラメータ抽出部１０２ａの構成例を示すブロック図である。

パラメータ抽出部１０２ａは、離散コサイン変換部２０１、２０２、および抽出部２０３を備えている。離散コサイン変換部２０１は入力画像ＯＲに対して離散コサイン変換を施して離散コサイン変換係数ＯＴを出力する。離散コサイン変換部２０２は局所復号画像ＬＤに対して離散コサイン変換を施して離散コサイン変換係数ＤＴを出力する。離散コサイン変換を施す場合には、例えば入力画像ＯＲと局所復号画像ＬＤを水平８画素、垂直８画素のブロックに分割し、ブロック毎に処理を行えば良い。または、領域毎に異なる大きさのブロックに分割しても良い。この場合には例えば、平坦な部分ではブロックサイズを大きくし、エッジ等を含む複雑な絵柄の部分ではブロックサイズを小さくする、等の方法がある。

離散コサイン変換部２０１、２０２で、入力画像ＯＲと局所復号画像ＬＤのそれぞれに対して得られた離散コサイン変換係数ＯＴ、ＤＴは、抽出部２０３に入力される。抽出部２０３は、入力画像ＯＲと局所復号画像ＬＤとの離散コサイン変換係数ＯＴ，ＤＴの周波数分布に基づいて、局所復号画像ＬＤの離散コサイン変換係数ＤＴの周波数分布から入力画像ＯＲの離散コサイン変換係数ＯＴの周波数分布を得るためのパラメータを求める。

図３は、抽出部２０３の構成例を示すブロック図である。図３に示すように、抽出部２０３は、係数補正部３０１、補正パターン保持部３０２、距離計算部３０３、および最適値検出部３０４を備えている。

係数補正部３０１には、局所復号画像ＬＤの離散コサイン変換係数ＤＴが入力される。係数補正部３０１は、補正パターン保持部３０２に保持されている複数の補正パターンのそれぞれを順に用いて、局所復号画像ＬＤの離散コサイン変換係数ＤＴに対して補正を施す。

図４は、係数補正部３０１での処理方法を説明するための模式図である。図４の（ａ）は、局所復号画像ＬＤの離散コサイン変換係数ＤＴの周波数分布を示している。ここでは簡単化のために、離散コサイン変換係数ＤＴを１次元データとして表現しているが、実際には２次元データである。図４の（ｂ）は、補正パターンを示している。補正パターンは、周波数毎に異なるゲインを有している。

係数補正部３０１は、図４の（ａ）に示す局所復号画像ＬＤの離散コサイン変換係数ＤＴの周波数分布に対して、図４の（ｂ）に示す補正パターンを乗じることによって、図４の（ｃ）に示す離散コサイン変換係数ＣＤＴの周波数分布を得る。そして、係数補正部３０１は、その離散コサイン変換係数ＣＤＴを距離計算部３０３に対して出力する。

距離計算部３０３には、上述の離散コサイン変換係数ＣＤＴと入力画像ＯＲの離散コサイン変換係数ＯＴとが入力される。距離計算部３０３は、離散コサイン変換係数ＣＤＴと、入力画像ＯＲの離散コサイン変換係数ＯＴとの距離ＤＳを計算する。この距離ＤＳとしては、例えば各周波数に対応する係数毎の差分値の２乗和や、重み付き２乗和、等を用いることができる。そして距離計算部３０３は、この距離ＤＳを最適値検出部３０４に対して出力する。

上記の係数補正部３０１と距離計算部３０３との処理は、補正パターン保持部３０２に保持されている補正パターンの数だけ繰り返される。そして、最適値検出部３０４は、距離ＤＳが最小となる補正パターンを見つける。このときの補正パターンの番号ＰＮが最適な補正パターンの番号となる。最適値検出部３０４は、この最適な補正パターンの番号ＰＮを高画質化パラメータＰＲとして出力する。

図５は、本実施の形態における画像符号化装置１００の動作を示すフロー図である。

まず、画像符号化装置１００は、入力画像ＯＲを取得し（ステップＳ１００）、その入力画像ＯＲを符号化して符号列ＢＳを生成する（ステップＳ１０２）。さらに、画像符号化装置１００は、符号化された入力画像ＯＲを復号化することで局所復号画像ＬＤを生成する（ステップＳ１０４）。

次に、画像符号化装置１００は、入力画像ＯＲおよび局所復号画像ＬＤに対して離散コサイン変換を施して離散コサイン変換係数ＯＴ、ＤＴを生成する（ステップＳ１０６）。そして、画像符号化装置１００は、局所復号画像ＬＤの離散コサイン変換係数ＤＴを、入力画像ＯＲの離散コサイン変換係数ＯＴに近づけるための補正パターンを特定する（ステップＳ１０８）。

補正パターンを特定すると、画像符号化装置１００は、ステップＳ１０２で生成された符号列ＢＳと、ステップＳ１０８で特定された補正パターンを示す高画質化パラメータＰＲとを出力する（ステップＳ１１０）。

以上のように、本実施の形態の画像符号化方法では、入力画像を規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）で符号化し、さらに高画質化成分を生成するための高画質化パラメータを入力画像と局所復号画像との周波数成分を用いて求める。この高画質化パラメータは、局所復号画像をより入力画像に近づけるためのパラメータであり、離散コサイン変換を用いて求められる。

したがって、本実施の形態の画像符号化方法を用いることにより、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）等と互換性を有する符号列を生成し、それとは別に、さらに高画質化パラメータを生成することができる。この高画質化パラメータは、画像データではなく、入力画像および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で復号画像の高画質化を図ることができる。例えば、本実施の形態の画像符号化方法により生成した符号列を受信した画像復号化装置が、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）の復号化のみに対応している場合には、符号列ＢＳのみを復号化することにより、低画質ではあるが画像の再生を行うことができる。また、画像復号化装置が、高画質化パラメータＰＲの処理も行うことができる場合には、高画質な画像の再生を行うことができる。すなわち、本実施の形態の画像符号化方法を用いることにより、規格により規定された画像符号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができる。また、いわゆるスケーラブル符号化の特徴も有しながらも、従来のスケーラブル機能を有する画像符号化方法と比較して、大幅に符号量を削減することができる。

なお、上記の実施の形態では、パラメータ抽出部１０２ａにおいて、入力画像ＯＲと局所復号画像ＬＤとの離散コサイン変換係数を求めたが、例えば画像符号化部１０１が離散コサイン変換係数を用いて符号化を行う場合には（例えば、ＭＰＥＧ方式）、改めてパラメータ抽出部１０２ａで離散コサイン変換係数を求める代わりに、画像符号化部１０１で求められた離散コサイン変換係数を用いても良い。これにより、計算量の削減を図ることができる。

（変形例１）
ここで、高画質化パラメータＰＲの生成方法における第１の変形例について説明する。

本変形例に係る画像符号化装置のパラメータ抽出部は、離散コサイン変換の代わりに離散ウェーブレット変換を行うことで高画質化パラメータＰＲを生成する。

図６は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。

このパラメータ抽出部１０２ｂは、離散ウェーブレット変換部５０１、５０２、および抽出部５０３を備えている。離散ウェーブレット変換部５０１は、入力画像ＯＲに対して離散ウェーブレット変換を施して離散ウェーブレット変換係数ＯＷを出力する。離散ウェーブレット変換部５０２は、局所復号画像ＬＤに対して離散ウェーブレット変換を施して離散ウェーブレット変換係数ＬＷを出力する。離散ウェーブレット変換を施す場合には、例えば入力画像ＯＲと局所復号画像ＬＤの全画面に対して処理を行えば良い。または、画面を領域に分割して、領域毎に処理を行えばよい。この場合、例えば画面内を画像の複雑さ（平坦さ）に応じて各領域に分割する方法がある。

離散ウェーブレット変換部５０１、５０２で、入力画像ＯＲと局所復号画像ＬＤのそれぞれに対して得られた離散ウェーブレット変換係数ＯＷ、ＬＷは、抽出部５０３に入力される。

抽出部５０３は、入力画像ＯＲと局所復号画像ＬＤとのそれぞれの離散ウェーブレット変換係数ＯＷ、ＬＷの周波数分布に基づいて、局所復号画像ＬＤの離散ウェーブレット変換係数ＬＷの周波数分布から入力画像ＯＲの離散ウェーブレット変換係数ＯＷの周波数分布を得るための高画質化パラメータＰＲを求める。

図７を用いて、高画質化パラメータＰＲの求め方の例を説明する。

図７は、離散ウェーブレット変換係数を用いて入力画像ＯＲおよび局所復号画像ＬＤを多重解像度表現した場合の模式図である。ここでは、水平および垂直方向に１回ずつ離散ウェーブレット変換を施した場合を示している。図７に示す記号「ＬＬ」、「ＨＬ」、「ＬＨ」、及び「ＨＨ」において、「Ｌ」は低周波数成分を示し、「Ｈ」は高周波数成分を示す。また２つの記号の並びについて、１つ目は水平方向周波数を示し、２つ目は垂直方向周波数を示している。よって例えば、記号「ＬＨ」は水平方向が低周波数成分で、垂直方向が高周波数成分である画像成分であることを示している。図７の（ａ）は、入力画像ＯＲの離散ウェーブレット変換係数ＯＷを用いた多重解像度表現を示し、図７の（ｂ）は、局所復号画像ＬＤの離散ウェーブレット変換係数ＬＷを用いた多重解像度表現を示す。

抽出部５０３は、局所復号画像ＬＤのＬＬ成分に対する入力画像ＯＲのＬＬ成分のゲインＧ０'と、局所復号画像ＬＤのＨＬ成分に対する入力画像ＯＲのＨＬ成分のゲインＧ１'と、局所復号画像ＬＤのＬＨ成分に対する入力画像ＯＲのＬＨ成分のゲインＧ２'と、局所復号画像ＬＤのＨＨ成分に対する入力画像ＯＲのＨＨ成分のゲインＧ３'とを求めて、これらのゲインを高画質化パラメータＰＲとして出力する。

このように本変形例では、上述の実施の形態と同様、この高画質パラメータＰＲは、画像データではなく、入力画像および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができる。

ここで、本変形例では、ゲインＧ０'、ゲインＧ１'、ゲインＧ２'、およびゲインＧ３'を高画質パラメータＰＲとしたが、それら以外のゲインを高画質パラメータＰＲとしてもよい。

例えば、抽出部５０３は、入力画像ＯＲのＬＬ成分に対する入力画像ＯＲのＨＬ成分のゲインＧ１と、入力画像ＯＲのＬＬ成分に対する入力画像ＯＲのＬＨ成分のゲインＧ２と、入力画像ＯＲのＬＬ成分に対する入力画像ＯＲのＨＨ成分のゲインＧ３とを求める。これは例えば、各成分のエネルギー値を計算し、その比を取ることによって計算することができる。そして、抽出部５０３は、これらのゲインを高画質化パラメータＰＲとして出力する。

また、抽出部５０３は、上記のゲインＧ１、Ｇ２、Ｇ３、Ｇ０'、Ｇ１'、Ｇ２'、Ｇ３'を高画質化パラメータＰＲとして出力してもよい。

なお、本変形例では、離散ウェーブレット変換部５０１、５０２を用いて、入力画像ＯＲと局所復号画像ＬＤのそれぞれに対する離散ウェーブレット変換係数を求めたが、例えば画像符号化部１０１が離散ウェーブレット変換係数を用いて符号化を行う場合には（例えば、ＪＰＥＧ２０００方式）、改めてパラメータ抽出部１０２ｂで離散ウェーブレット変換係数を求める代わりに、画像符号化部１０１で求めた離散ウェーブレット変換係数を用いても良い。これにより、計算量の削減を図ることができる。

また、本変形例において、入力画像ＯＲおよび局所復号画像ＬＤを領域ごとに分割してウェーブレット変換を施した場合には、領域毎に異なる高画質化パラメータＰＲを送っても良い。または、ウェーブレット変換は全画面で施し、領域に分割して、領域毎に異なる高画質化パラメータＰＲを生成しても良い。このようにすることにより、高画質化パラメータＰＲの数は多くなるが、より細かい処理が可能な高画質化パラメータＰＲを生成することができる。

（変形例２）
ここで、高画質化パラメータＰＲの生成方法における第２の変形例について説明する。

本変形例に係る画像符号化装置のパラメータ抽出部は、離散コサイン変換の代わりにエッジ成分を抽出することで高画質化パラメータＰＲを生成する。

図８は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。

このパラメータ抽出部１０２ｃは、ラプラシアン生成部７０１、７０２、および抽出部７０３を備えている。ラプラシアン生成部７０１は、入力画像ＯＲからラプラシアン画像ＯＬＰを生成し、ラプラシアン生成部７０２は、局所復号画像ＬＤからラプラシアン画像ＬＬＰを生成する。ラプラシアン画像の生成を行う場合には、例えば入力画像ＯＲと局所復号画像ＬＤの全画面に対して処理を行えば良い。または、画面を領域に分割して、領域毎に処理を行えば良い。この場合、例えば画面内を画像の複雑さ（平坦さ）に応じて各領域に分割する方法がある。

図９を用いて、ラプラシアン生成部７０１、７０２による処理方法を説明する。

図９は、ラプラシアン生成部７０１、７０２のブロック図である。

ラプラシアン生成部７０１、７０２はそれぞれ、低域通過フィルタ８０１、８０２と減算部８０３、８０４とを備えている。

ラプラシアン生成部７０１では、まず、低域通過フィルタ８０１が入力画像ＯＲに対して、ガウス型の低域通過フィルタを施し、低周波数成分画像ＬＦ１を生成する。そして、減算部８０３が、入力画像ＯＲからその低周波数成分画像ＬＦ１を減じて、第１レベルのラプラシアン画像ＬＰ１を生成する。次に、低域通過フィルタ８０２が低周波数成分画像ＬＦ１に対して、ガウス型の低域通過フィルタを施し、低周波数成分画像ＬＦ２を生成する。そして、減算部８０４が、低周波数成分画像ＬＦ１からその低周波数成分画像ＬＦ２を減じて、第２レベルのラプラシアン画像ＬＰ２を生成する。

このように生成された入力画像ＯＲの第１レベルおよび第２レベルのラプラシアン画像ＬＰ１，ＬＰ２は、上述のラプラシアン画像ＯＬＰとして出力される。

ラプラシアン生成部７０２においても上述と同様、まず、低域通過フィルタ８０１が局所復号画像ＬＤに対して、ガウス型の低域通過フィルタを施し、低周波数成分画像ＬＦ１を生成する。そして、減算部８０３が、局所復号画像ＬＤからその低周波数成分画像ＬＦ１を減じて、第１レベルのラプラシアン画像ＬＰ１を生成する。次に、低域通過フィルタ８０２が低周波数成分画像ＬＦ１に対して、ガウス型の低域通過フィルタを施し、低周波数成分画像ＬＦ２を生成する。そして、減算部８０４が、低周波数成分画像ＬＦ１からその低周波数成分画像ＬＦ２を減じて、第２レベルのラプラシアン画像ＬＰ２を生成する。

このように生成された局所復号画像ＬＤの第１レベルおよび第２レベルのラプラシアン画像ＬＰ１，ＬＰ２は、上述のラプラシアン画像ＬＬＰとして出力される。

このようなラプラシアン生成部７０１、７０２の処理方法からわかるように、ラプラシアン画像は、入力画像から入力画像の低周波数成分を減ずることにより生成される。すなわち、ラプラシアン画像は一種の高域通過フィルタにより生成される画像であり、画像のエッジ成分を抽出することができる。そして、ラプラシアン画像のレベルが上がるごとに、より低域のエッジ成分を抽出することができる。

図１０は、ラプラシアン画像の例を示す図である。図１０の（ａ）は入力画像ＯＲを示し、図１０の（ｂ）および（ｃ）はそれぞれ、入力画像ＯＲに対する第１レベルおよび第２レベルのラプラシアン画像ＬＰ１、ＬＰ２を示している。また、図１０の（ｄ）は局所復号画像ＬＤを示し、図１０の（ｅ）および（ｆ）はそれぞれ、局所復号画像ＬＤに対する第１レベルおよび第２レベルのラプラシアン画像ＬＰ１、ＬＰ２を示している。

抽出部７０３は、入力画像ＯＲと局所復号画像ＬＤとの同レベルのラプラシアン画像を比較して、パラメータを抽出する。例えば、局所復号画像ＬＤの第１レベルのラプラシアン画像ＬＰ１から入力画像ＯＲの第１レベルのラプラシアン画像ＬＰ１を得るためのゲインＧ１と、局所復号画像ＬＤの第２レベルのラプラシアン画像ＬＰ２から入力画像ＯＲの第２レベルのラプラシアン画像ＬＰ２を得るためのゲインＧ２とがパラメータとなる。抽出部７０３は、これらのゲインを高画質化パラメータＰＲとして出力する。

このように本変形例では、上述の実施の形態と同様、この高画質パラメータＰＲは、画像データではなく、入力画像および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができる。

なお、本変形例では、第１レベルおよび第２レベルのラプラシアン画像ＬＰ１、ＬＰ２を求めたが、さらに多くのレベルのラプラシアン画像を求めても良く、さらにどのレベルのラプラシアン画像まで求めたかを示す情報も高画質化パラメータＰＲに含めても良い。

また、本変形例において、入力画像ＯＲおよび局所復号画像ＬＤを領域ごとに分割してラプラシアン画像を生成した場合には、領域毎に異なる高画質化パラメータＰＲを送っても良い。または、全画面に対してラプラシアン画像を生成し、領域に分割して、領域毎に異なる高画質化パラメータを生成しても良い。このようにすることにより、高画質化パラメータＰＲの数は多くなるが、より細かい処理が可能な高画質化パラメータＰＲを生成することができる。

（変形例３）
ここで、高画質化パラメータＰＲの生成方法における第３の変形例について説明する。

本変形例に係る画像符号化装置のパラメータ抽出部は、離散コサイン変換の代わりに点像強度分布関数（Point Spread Function）によるフィルタ処理を用いることで高画質化パラメータＰＲを生成する。

図１１は、本変形例に係るパラメータ抽出部の構成例を示すブロック図である。

このパラメータ抽出部１０２ｄは、入力画像ＯＲに対して点像強度分布関数によるフィルタ処理を施して（畳み込み処理を施して）得られる画像が局所復号画像ＬＤであると仮定し、点像強度分布関数のパラメータを求める。ここで、点像強度分布関数は一般にガウス関数として近似されるので、ここでのパラメータはガウス関数のパラメータ（標準偏差σ）とする。

具体的に、このパラメータ抽出部１０２ｄは、畳み込み処理部１４０１、関数パラメータ保持部１４０２、誤差エネルギー計算部１４０３、およびパラメータ決定部１４０４を備えている。

関数パラメータ保持部１４０２は、予め定めた複数の点像強度分布関数のパラメータ（例えばガウス関数のパラメータ）を保持している。畳み込み処理部１４０１は、関数パラメータ保持部１４０２が保持しているパラメータの中から何れかのパラメータを選択する。そして畳み込み処理部１４０１は、選択したパラメータを用いて入力画像ＯＲに対して畳み込み処理を行い、その結果得られる画像ＣＲを出力する。誤差エネルギー計算部１４０３は、画像ＣＲと局所復号画像ＬＤとの誤差エネルギーＥＲを求める。この誤差エネルギーＥＲはパラメータ決定部１４０４に入力される。このような誤差エネルギーＥＲの算出は、関数パラメータ保持部１４０２に保持されている点像強度分布関数のパラメータのそれぞれに対して行われる。

パラメータ決定部１４０４は、誤差エネルギーＥＲが最小となる点像強度分布関数のパラメータを選択し、そのパラメータの番号ＰＮを高画質化パラメータＰＲとして出力する。

このように本変形例では、上述の実施の形態と同様、この高画質パラメータＰＲは、画像データではなく、入力画像に対して周波数に基づくフィルタ処理を行って生成されたパラメータであるので、データ量を極めて少なくすることができる。

なお、本変形例では、入力画像ＯＲに対して畳み込み処理を行い、その結果と局所復号画像ＬＤとの誤差エネルギーが最小となる点像強度分布関数のパラメータを求めたが、局所復号画像ＬＤに対して逆畳み込み処理を行い、その結果と入力画像ＯＲとの誤差エネルギーが最小となる点像強度分布関数のパラメータを求めても良い。

また、本変形例では、全画面に対する点像強度分布関数のパラメータを求めたが、画面を領域ごとに分割して、領域毎に点像強度分布関数のパラメータを求めても良い。この場合には、高画質化パラメータＰＲとして、領域に関する情報を含めれば良い。このようにすることにより、高画質化パラメータＰＲの数は多くなるが、より細かい処理が可能な高画質化パラメータＰＲを生成することができる。

（変形例４）
ここで、高画質化パラメータＰＲの生成方法における第４の変形例について説明する。

本変形例に係る画像符号化装置は、図１に示すパラメータ抽出部１０２ａの代わりに最適パラメータ抽出部を備えて構成されている。

図１２は、本変形例に係る最適パラメータ抽出部の構成を示すブロック図である。

この最適パラメータ抽出部１０２は、パラメータ抽出部１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと選択部１１２とを備えている。

パラメータ抽出部１０２ａ、１０２ｂ、１０２ｃ、１０２ｄはそれぞれ、上述のように入力画像ＯＲおよび局所復号画像ＬＤを取得して、各々の処理手順に基づいて高画質化パラメータＰＲを出力する。

選択部１１２は、各パラメータ抽出部１０２ａ、１０２ｂ、１０２ｃ、１０２ｄから出力される高画質化パラメータＰＲを取得する。そして、選択部１１２は、それらの高画質化パラメータＰＲのうち、局所復号画像ＬＤを入力画像ＯＲに最も近づけることができる高画質化パラメータＰＲを選択する。

即ち、選択部１１２は、各パラメータ抽出部から出力された高画質化パラメータＰＲごとに、その高画質化パラメータＰＲを用いて局所復号画像ＬＤから高画質復号画像を生成する。そして、選択部１１２は、高画質化パラメータＰＲごとに生成された高画質復号画像から、入力画像ＯＲに最も近い高画質復号画像を見つけ、その高画質復号画像を生成するのに用いられた高画質化パラメータＰＲを選択する。

選択部１１２は、そのように選択した高画質化パラメータＰＲと、その高画質化パラメータＰＲの生成方法を示す識別子Ｐｉｄとを出力する。

これにより、本変形例では、最適な高画質化パラメータＰＲを生成することができる。また、高画質化パラメータＰＲの生成方法を示す識別子Ｐｉｄも高画質化パラメータＰＲとともに出力されるため、画像復号化装置では、その高画質化パラメータＰＲを用いて符号列ＢＳから入力画像ＯＲにより近い高画質な復号画像を生成することができる。

なお、本変形例では、入力画像ＯＲに対して各パラメータ抽出部１０２ａ、１０２ｂ、１０２ｃ、１０２ｄが全て高画質化パラメータＰＲを生成したが、その入力画像ＯＲや所定の条件に応じて何れか１つのパラメータ抽出部のみが高画質化パラメータＰＲを生成してもよい。

また、本実施の形態および変形例１〜４では、離散コサイン変換係数や、離散ウェーブレット変換係数、ラプラシアン画像、点像強度分布関数を用いて高画質化パラメータＰＲを生成したが、他の周波数変換方法、例えばフーリエ変換や、アダマール変換、等や、画像処理方法、例えば、ソーベルオペレータによるエッジ画像生成法や、ガボール関数を用いたエッジ画像生成法、等を用いて高画質化パラメータＰＲを生成しても良い。

（実施の形態２）
図１３は、本発明の実施の形態２における画像符号化方法を用いた画像符号化装置１０００のブロック図である。図１３に示すように、画像符号化装置１０００は、画像符号化部１００１、付加パラメータ抽出部１００２ａ、および前処理部１００３を備えている。

入力画像ＯＲは、前処理部１００３に入力される。前処理部１００３は、入力画像ＯＲに対して、画像サイズの縮小処理や、低域通過型フィルタによるフィルタ処理、時間方向のフレーム間引きによるフレームレート削減処理、等を行う。これらの処理を全て行っても良いし、いずれか一つだけの処理を行っても良い。前処理部１００３は、上述の処理によって生成された前処理画像ＰＩを、画像符号化部１００１と付加パラメータ抽出部１００２ａに対して出力する。そして、前処理部１００３は、入力画像ＯＲに対して施した処理、およびその処理のパラメータ（例えば、縮小の比率や、低域通過フィルタの周波数特性、フレーム間引きの間引き方、等）を前処理パラメータＰＰとして、付加パラメータ抽出部１００２ａに出力する。

画像符号化部１００１は、入力された前処理画像ＰＩに対して、規格により規定された画像符号化方法を実施する。規格により規定された画像符号化方法としては、実施の形態１と同様に、ＪＰＥＧ方式やＭＰＥＧ方式、Ｈ．２６ｘ方式等を用いることができる。画像符号化部１００１は、前処理画像ＰＩを符号化して得られる符号列ＢＳと局所復号画像ＬＤとを出力する。符号列ＢＳは、画像符号化装置１０００の外部に出力され、伝送、蓄積、等の処理が施される。局所復号画像ＬＤは、付加パラメータ抽出部１００２ａに対して出力される。

付加パラメータ抽出部１００２ａは、入力された入力画像ＯＲ、前処理画像ＰＩ、局所復号画像ＬＤ、および前処理パラメータＰＰのいずれかを用いて、局所復号画像ＬＤを入力画像ＯＲに近づけるための高画質化パラメータＰＲ'を抽出する。高画質化パラメータＰＲ'は、画像符号化装置１０００の外部に出力され、符号列ＢＳと共に、伝送、蓄積、等の処理が施される。

付加パラメータ抽出部１００２ａは、実施の形態１のパラメータ抽出部１０２ａと同様に、高画質化パラメータＰＲ'を、符号列ＢＳ中のヘッダ領域やユーザデータ領域に含めても良いし、符号列ＢＳとは別の符号列として出力しても良い。

以下、付加パラメータ抽出部１００２ａにおいて高画質化パラメータＰＲ'を求める際の処理例について説明する。

図１４は、付加パラメータ抽出部１００２ａの構成例を示すブロック図である。付加パラメータ抽出部１００２ａは、実施の形態１で説明したパラメータ抽出部１０２ａを備えている。

実施の形態１で説明したパラメータ抽出部１０２ａは、入力画像ＯＲと局所復号画像ＬＤとを取得するが、本実施の形態におけるパラメータ抽出部１０２ａは、入力画像ＯＲの代わりに前処理画像ＰＩを取得する。そして、本実施の形態におけるパラメータ抽出部１０２ａは、それらの取得した情報に対して処理を行い、パラメータＰｒを出力する。このようなパラメータ抽出部１０２ａによる処理内容は、実施の形態１の処理内容と同様である。

付加パラメータ抽出部１００２ａは、パラメータ抽出部１０２ａから出力されたパラメータＰｒと前処理パラメータＰＰとを高画質化パラメータＰＲ'として出力する。

このように、本実施の形態の画像符号化方法では、入力画像に対して、画像サイズの縮小処理や、低域通過型フィルタによるフィルタ処理、時間方向のフレーム間引きによるフレームレート削減処理、等の処理を行った後、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）で符号化を行う。さらに、高画質化成分を生成するための高画質化パラメータＰＲ'を、入力画像ＯＲと局所復号画像ＬＤと前処理パラメータＰＰとを用いて求める。

したがって、本実施の形態の画像符号化方法を用いることにより、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）等と互換性を有する符号列を生成し、それとは別に、さらに高画質化パラメータを生成することができる。この高画質化パラメータは、画像データではなく、前処理画像および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で復号画像の高画質化を図ることができる。また、前処理部１００３において、入力画像ＯＲのデータ量を削減するので、符号列ＢＳの符号量自体も削減することができる。例えば、本実施の形態の画像符号化方法により生成した符号列ＢＳを受信した画像復号化装置が、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）の復号化のみに対応している場合には、その符号列ＢＳのみを復号化することにより、低画質ではあるが画像の再生を行うことができる。また、画像復号化装置が、高画質化パラメータＰＲ'の処理も行うことができる場合には、高画質な画像の再生を行うことができる。すなわち、本実施の形態の画像符号化方法を用いることにより、規格により規定された画像符号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができる。また、いわゆるスケーラブル符号化の特徴も有しながら、従来のスケーラブル機能を有する符号化方法と比較して、大幅に符号量を削減することができる。

（変形例）
ここで、高画質化パラメータＰＲ'の生成方法における変形例について説明する。

本変形例に係る画像符号化装置の付加パラメータ抽出部は、逆前処理を行って高画質化パラメータＰＲ'を生成する。

図１５は、本変形例に係る付加パラメータ抽出部１００２ｂの構成例を示すブロック図である。

この付加パラメータ抽出部１００２ｂは、逆前処理部１２０１と、実施の形態１で説明したパラメータ抽出部１０２ａとを備えている。

逆前処理部１２０１には、局所復号画像ＬＤと前処理パラメータＰＰが入力される。逆前処理部１２０１は、前処理パラメータＰＰを用いて、局所復号画像ＬＤに対して前処理部１００３で施した処理と逆の処理を施す。例えば、前処理部１００３で画像サイズの縮小処理が施されている場合には、逆前処理部１２０１は拡大処理を行う。また、前処理部１００３で低域通過型フィルタによるフィルタ処理が行われている場合には、逆前処理部１２０１は低域通過型フィルタの逆フィルタによる処理を行う。また、前処理部１００３で時間方向のフレーム間引きによるフレームレート削減処理が施されている場合には、逆前処理部１２０１はフレームレートの向上処理を行う。逆前処理部１２０１は、そのような処理を施された局所復号画像ＬＤ'をパラメータ抽出部１０２ａに対して出力する。

実施の形態１で説明したパラメータ抽出部１０２ａは、入力画像ＯＲと局所復号画像ＬＤとを取得するが、本変形例に係るパラメータ抽出部１０２ａは、局所復号画像ＬＤの代わりに、逆前処理部１２０１により処理を施された局所復号画像ＬＤ'を取得する。そして、本変形例に係るパラメータ抽出部１０２ａは、それらの取得した情報に対して処理を行い、パラメータＰｒを出力する。このような本変形例に係るパラメータ抽出部１０２ａによる処理内容は、実施の形態１の処理内容と同様である。

付加パラメータ抽出部１００２ｂは、パラメータ抽出部１０２ａから出力されたパラメータＰｒと前処理パラメータＰＰとを高画質化パラメータＰＲ'として出力する。

このように本変形例においても、上記実施の形態と同様、また、前処理部１００３において、入力画像ＯＲのデータ量を削減するので、符号列ＢＳの符号量自体を削減することができる。

なお、本実施の形態および変形例では、付加パラメータ抽出部１００２ａ、１００２ｂは実施の形態１のパラメータ抽出部１０２ａを備えたが、実施の形態１の変形例１におけるパラメータ抽出部１０２ｂ、実施の形態１の変形例２におけるパラメータ抽出部１０２ｃ、実施の形態１の変形例３におけるパラメータ抽出部１０２ｄ、および実施の形態１の変形例４における最適パラメータ抽出部１０２のうち何れかを、パラメータ抽出部１０２ａの代わりに備えてもよい。

（実施の形態３）
図１６は、本発明の実施の形態３における画像復号化方法を用いた画像複号化装置１５００のブロック図である。図１６に示すように、画像復号化装置１５００は画像復号化部１５０１および高画質化処理部１５０２ａを備えている。画像復号化装置１５００には、実施の形態１で説明した本発明の画像符号方法を用いた画像符号化装置により生成された符号列ＢＳと高画質化パラメータＰＲとが入力される。

符号列ＢＳは、画像復号化部１５０１に入力される。画像復号化部１５０１は、符号列ＢＳに対して、規格で規定された画像復号化を実施する。画像復号化部１５０１は、例えば、符号列ＢＳがＪＰＥＧ方式で符号化されたものである場合には、ＪＰＥＧ方式で復号化し、符号列ＢＳがＭＰＥＧ方式で符号化されたものである場合には、ＭＰＥＧ方式で復号化し、符号列ＢＳがＨ．２６ｘ方式で符号化されたものである場合には、Ｈ．２６ｘ方式で復号化する。そして画像復号化部１５０１は、高画質化処理部１５０２ａに対して復号画像ＤＣを出力する。

なお、高画質化パラメータＰＲが符号列ＢＳのヘッダ領域やユーザデータ領域に含められている場合には、画像復号化部１５０１は、取得した符号列ＢＳからその高画質化パラメータＰＲを分離する。そして、画像復号化部１５０１は、その分離された高画質化パラメータＰＲを復号画像ＤＣとともに高画質化処理部１５０２ａに出力する。

高画質化処理部１５０２ａには、復号画像ＤＣと高画質化パラメータＰＲとが入力される。高画質化処理部１５０２ａは、高画質化パラメータＰＲを用いて復号画像ＤＣに対して処理を施し、高画質復号画像ＨＱを出力する。

図１７は、高画質化処理部１５０２ａの構成例を示すブロック図である。高画質化処理部１５０２ａは、離散コサイン変換部１６０１、係数補正部１６０２、補正パターン保持部１６０３、および逆離散コサイン変換部１６０４を備えている。

離散コサイン変換部１６０１は、復号画像ＤＣを取得して、その復号画像ＤＣに対して離散コサイン変換を施す。離散コサイン変換を施す場合には、例えば復号画像ＤＣを水平８画素、垂直８画素のブロックに分割し、ブロック毎に処理を行えば良い。離散コサイン変換部１６０１は、復号画像ＤＣに対して得られた離散コサイン変換係数ＣＴを、係数補正部１６０２に対して出力する。

高画質化パラメータＰＲは、補正パターン保持部１６０３に入力される。補正パターン保持部１６０３は、実施の形態１で説明した補正パターン保持部３０２で保持されている補正パターンと同じパターンを保持している。そして、補正パターン保持部１６０３は、自らが保持している補正パターンの中から、高画質化パラメータＰＲにより指定される補正パターンＰＴを係数補正部１６０２に対して出力する。

係数補正部１６０２は、復号画像ＤＣの離散コサイン変換係数ＣＴと補正パターンＰＴとを取得し、離散コサイン変換係数ＣＴに対して、その補正パターンＰＴを用いて補正を行う。係数補正部１６０２は、実施の形態１で図４を用いて説明した方法と同様の方法で補正を行う。そして係数補正部１６０２は、補正された離散コサイン変換係数ＣＴである離散コサイン変換係数ＣＣＴを逆離散コサイン変換部１６０４に対して出力する。

逆離散コサイン変換部１６０４は、離散コサイン変換係数ＣＣＴに対して逆離散コサイン変換を施すことにより、高画質復号画像ＨＱを生成して出力する。

図１８は、本実施の形態における画像復号化装置１５００の動作を示すフロー図である。

まず、画像復号化装置１５００は、画像符号化装置から符号列ＢＳと高画質化パラメータＰＲとを取得する（ステップＳ２００）。そして、画像復号化装置１５００は、ステップＳ２００で取得した符号列ＢＳに対して復号化処理を施して復号画像ＤＣを生成する（ステップＳ２０２）。

次に、画像復号化装置１５００は、復号画像ＤＣに対して離散コサイン変換を施して離散コサイン変換係数ＣＴを生成する（ステップＳ２０４）。そして、画像復号化装置１５００は、生成された離散コサイン変換係数ＣＴに対して高画質化パラメータＰＲの示す補正パターンＰＴを適用して、その離散コサイン変換係数ＣＴの補正を行う（ステップＳ２０６）。

その後、画像復号化装置１５００は、補正された離散コサイン変換係数ＣＴ、つまり離散コサイン変換係数ＣＣＴに対して逆離散コサイン変換を施して高画質復号画像ＨＱを生成する（ステップＳ２０８）。

以上のように、本実施の形態の画像復号化方法では、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号化して生成された符号列ＢＳと、さらに高画質化成分を生成するための高画質化パラメータＰＲとを取得する。そして、符号列ＢＳを規格により規定された画像復号化方法により復号化して復号画像ＤＣを生成し、復号画像ＤＣに対して高画質化パラメータＰＲを用いて画像処理を行うことにより、高画質復号画像ＨＱを生成する。高画質化パラメータＰＲを用いた処理では、離散コサイン変換などを用いることにより、復号画像ＤＣには含まれていない高周波数成分を復号画像ＤＣに付加することができる。

したがって、本実施の形態の画像復号化方法では、規格により規定された画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列ＢＳを復号化して復号画像ＤＣを生成し、さらに高画質化パラメータＰＲを用いて復号画像ＤＣの高画質化を図ることができる。この高画質化パラメータＰＲは、画像データではなく、画像符号化装置によって入力画像（原画像）および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。すなわち、本実施の形態の画像復号化方法を用いることにより、規格により規定された画像復号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができ、また、いわゆるスケーラブル復号化の特徴も有しながら、従来のスケーラブル機能を有する画像復号化方法と比較して、大幅に符号量を削減することができる。

なお、本実施の形態では、離散コサイン変換部１６０１で、復号画像ＤＣの離散コサイン変換係数ＣＴを求めたが、例えば符号列ＢＳが離散コサイン変換係数を用いて符号化されているものであれば（例えば、ＭＰＥＧ方式）、画像復号化部１５０１で符号列ＢＳから得られた離散コサイン変換係数を用いても良い。これにより、計算量の削減を図ることができる。

また、本変形例では、高画質パラメータＰＲが領域毎に生成されている場合には、係数補正部１６０２は、領域毎に係数補正処理を行う。

（変形例１）
ここで、復号画像ＤＣから高画質復号画像ＨＱを生成する方法における第１の変形例について説明する。

本変形例に係る画像復号化装置の高画質化処理部は、実施の形態１の変形例１で説明したパラメータ抽出部１０２ｂにより生成された高画質化パラメータＰＲを取得する。そして高画質化処理部は、復号画像ＤＣに対して、離散コサイン変換および逆離散コサイン変換の代わりに離散ウェーブレット変換および逆離散ウェーブレット変換を行うことで高画質復号画像ＨＱを生成する。

図１９は、本変形例に係る高画質化処理部の構成例を示すブロック図である。

この高画質化処理部１５０２ｂは、離散ウェーブレット変換部１７０１、係数補正部１７０２、および逆離散ウェーブレット変換部１７０３を備えている。

離散ウェーブレット変換部１７０１は、復号画像ＤＣに対して離散ウェーブレット変換を施す。離散ウェーブレット変換を施す場合には、例えば復号画像ＤＣの全画面に対して処理を行っても良いし、または、画面を領域に分割して領域毎に処理を行ってもよい。この場合、例えば画面内を画像の複雑さ（平坦さ）に応じて分割して得る方法がある。ただし、領域に分割する際には、符号化で分割した方法と同じ方法を用いる。

離散ウェーブレット変換部１７０１は、復号画像ＤＣに対して得られた離散ウェーブレット変換係数ＷＣを係数補正部１７０２に対して出力する。

係数補正部１７０２には、離散ウェーブレット変換係数ＷＣと高画質化パラメータＰＲとが入力される。図２０Ａおよび図２０Ｂを用いて、係数補正部１７０２での処理方法について説明する。

図２０Ａは、離散ウェーブレット変換係数を用いて復号画像ＤＣおよび高画質復号画像ＨＱを多重解像度表現した場合の模式図である。図２０Ａにおける表記方法（「Ｈ」および「Ｌ」などの表記方法）は、図７における表記方法と同じである。図２０Ａの（ａ）は、復号画像ＤＣの離散ウェーブレット変換係数ＷＣを用いた多重解像度表現を示す。

係数補正部１７０２は、図２０Ａの（ａ）に示すように、復号画像ＤＣにおけるＬＬ成分、ＨＬ成分、ＬＨ成分、およびＨＨ成分のそれぞれの離散ウェーブレット変換係数ＷＣに対して、高画質化パラメータＰＲとして実施の形態１で説明したゲインＧ０'、Ｇ１'、Ｇ２'、Ｇ３'を用いてゲイン補正を行う。その結果、図２０Ａの（ｂ）に示すように、高画質復号画像ＨＱに対応する、ＬＬ''成分、ＨＬ''成分、ＬＨ''成分、およびＨＨ''成分を有する離散ウェーブレット変換係数ＣＷＣが生成される。

ここで、係数補正部１７０２は、上記ゲインＧ０'、Ｇ１'、Ｇ２'、Ｇ３'を示す高画質化パラメータＰＲを用いてゲイン補正を行ったが、実施の形態１で説明したゲインＧ１、Ｇ２、Ｇ３を示す高画質化パラメータＰＲを用いてゲイン補正を行ってもよい。

図２０Ｂは、離散ウェーブレット変換係数を用いて復号画像ＤＣおよび高画質復号画像ＨＱを多重解像度表現した場合の他の模式図である。図２０Ｂにおける表記方法（「Ｈ」および「Ｌ」などの表記方法）は、図７における表記方法と同じである。図２０Ｂの（ａ）は、復号画像ＤＣの離散ウェーブレット変換係数ＷＣを用いた多重解像度表現を示す。

係数補正部１７０２は、図２０Ｂの（ａ）および（ｂ）に示すように、復号画像ＤＣに対応する離散ウェーブレット変換係数ＷＣのＬＬ成分をＬＬ'成分としてそのままコピーする。そして、係数補正部１７０２は、復号画像ＤＣに対応する離散ウェーブレット変換係数ＷＣのＨＬ成分、ＬＨ成分、およびＨＨ成分のそれぞれに対して、高画質化パラメータＰＲとして実施の形態１で説明したゲインＧ１、Ｇ２、Ｇ３を用いてゲイン補正を行う。その結果、図２０Ｂの（ｂ）に示すように、高画質復号画像ＨＱに対応する、ＬＬ'成分、ＨＬ'成分、ＬＨ'成分、およびＨＨ'成分を有する離散ウェーブレット変換係数ＣＷＣが生成される。

また、係数補正部１７０２は、上記のゲインＧ１、Ｇ２、Ｇ３、Ｇ０'、Ｇ１'、Ｇ２'、Ｇ３'のすべてを用いてゲイン補正を行っても良い。

逆離散ウェーブレット変換部１７０３は、補正によって生成された離散ウェーブレット変換係数ＣＷＣに対して逆離散ウェーブレット変換を行うことにより、高画質復号画像ＨＱを生成して出力する。

このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列ＢＳを復号化して復号画像ＤＣを生成し、さらに高画質化パラメータＰＲを用いて復号画像ＤＣの高画質化を図ることができる。この高画質化パラメータＰＲは、画像データではなく、画像符号化装置によって入力画像（原画像）および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。

なお、本変形例では、離散ウェーブレット変換部１７０１が復号画像ＤＣに対する離散ウェーブレット係数ＷＣを求めたが、例えば符号列ＢＳが離散ウェーブレット変換係数を用いて符号化されているものであれば（例えば、ＪＰＥＧ２０００方式）、画像復号化部１５０１で符号列ＢＳから得られた離散ウェーブレット変換係数を用いても良い。これにより、計算量の削減を図ることができる。

また、本変形例では、高画質パラメータＰＲが領域毎に生成されている場合には、係数補正部１７０２は、領域毎に係数補正処理を行う。

（変形例２）
ここで、復号画像ＤＣから高画質復号画像ＨＱを生成する方法における第２の変形例について説明する。

本変形例に係る画像復号化装置の高画質化処理部は、実施の形態１の変形例２で説明したパラメータ抽出部１０２ｃにより生成された高画質化パラメータＰＲを取得する。そして高画質化処理部は、離散コサイン変換および逆コサイン変換の代わりにエッジ成分の抽出を行うことで高画質復号画像ＨＱを生成する。

図２１は、本変形例に係る高画質化処理部の構成例を示すブロック図である。

この高画質化処理部１５０２ｃは、ラプラシアン生成部１９０１、およびラプラシアン補正部１９０２、および合成部１９０３を備えている。

ラプラシアン生成部１９０１は、復号画像ＤＣに対して処理を行い、ラプラシアン画像ＬＰを生成する。ラプラシアン画像ＬＰの生成を行う場合には、例えば復号画像ＤＣの全画面に対して処理を行っても良いし、領域に分割して領域毎に行っても良い。ラプラシアン生成部１９０１の構成は、実施の形態１の変形例２におけるラプラシアン生成部７０１、７０２と同様の構成であって、ラプラシアン生成部１９０１は、実施の形態１の変形例２で図９を用いて説明した内容と同様の処理を行う。ここでは例えば、ラプラシアン生成部１９０１は、ラプラシアン画像ＬＰとして、第１レベルおよび第２レベルのラプラシアン画像ＬＰ１、ＬＰ２を求める。なお、ラプラシアン画像を生成するレベルは、符号化方法と同じにすれば良い。

図２２は、ラプラシアン生成部１９０１により得られたラプラシアン画像ＬＰの例を示す図である。図２２の（ａ）は復号画像ＤＣを示し、図２２の（ｂ）および（ｃ）はそれぞれ、復号画像ＤＣに対する第１レベルおよび第２レベルのラプラシアン画像ＬＰ１、ＬＰ２を示している。ラプラシアン生成部１９０１は生成されたラプラシアン画像ＬＰをラプラシアン補正部１９０２に対して出力する。

ラプラシアン補正部１９０２は、ラプラシアン画像ＬＰおよび高画質化パラメータＰＲを取得してラプラシアン画像ＬＰの補正を行う。ラプラシアン補正部１９０２は、高画質化パラメータＰＲとして実施の形態１の変形例２で説明したゲインＧ１およびゲインＧ２を用いる。そして、ラプラシアン補正部１９０２は、図２２に示すように、第１レベルのラプラシアン画像ＬＰ１（図２２の（ｂ））にゲインＧ１を施してラプラシアン画像ＣＬＰ１を生成するとともに（図２２の（ｄ））、第２レベルのラプラシアン画像ＬＰ２（図２２の（ｃ））にゲインＧ２を施してラプラシアン画像ＣＬＰ２を生成することで（図２２の（ｅ））、ラプラシアン画像ＬＰ１，ＬＰ２の補正を行う。ラプラシアン補正部１９０２は、補正によって生成されたラプラシアン画像ＣＬＰ１、ＣＬＰ２を、ラプラシアン画像ＣＬＰとして合成部１９０３に対して出力する。

合成部１９０３は、復号画像ＤＣおよびラプラシアン画像ＣＬＰを取得し、これらの画像を加算することにより、高画質化画像ＨＱ（図２２の（ｆ））を生成して出力する。

このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列ＢＳを復号化して復号画像ＤＣを生成し、さらに高画質化パラメータＰＲを用いて復号画像ＤＣの高画質化を図ることができる。この高画質化パラメータＰＲは、画像データではなく、画像符号化装置によって入力画像（原画像）および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。

なお、本変形例では、高画質パラメータＰＲが領域毎に生成されている場合には、ラプラシアン補正部１９０２は、領域毎に補正処理を行う。

（変形例３）
ここで、復号画像ＤＣから高画質復号画像ＨＱを生成する方法における第３の変形例について説明する。

本変形例に係る画像復号化装置の高画質化処理部は、実施の形態１の変形例３で説明したパラメータ抽出部１０２ｄにより生成された高画質化パラメータＰＲを取得する。そして高画質化処理部は、離散コサイン変換および逆離散コサイン変換の代わりに点像強度分布関数によるフィルタ処理を行うことで高画質復号画像ＨＱを生成する。

図２３は、本変形例に係る高画質化処理部の構成例を示すブロック図である。

この高画質化処理部１５０２ｄは、逆畳み込み部２１０１および関数パラメータ保持部２１０２を備えている。

関数パラメータ保持部２１０２は、予め定めた複数の点像強度分布関数のパラメータ（例えばガウス関数のパラメータ：標準偏差σ）を保持している。ここでは、実施の形態１の変形例３における関数パラメータ保持部１４０２と同じパラメータが保持されているものとする。関数パラメータ保持部２１０２は、高画質化パラメータＰＲを取得する。この高画質化パラメータＰＲには、点像強度分布関数のパラメータの番号が記述されている。関数パラメータ保持部２１０２は、保持している複数の点像強度分布関数のパラメータから、その番号に対応するパラメータを選択して、その選択したパラメータを逆畳み込み部２１０１に対して出力する。

逆畳み込み部２１０１は、復号画像ＤＣと点像強度分布関数のパラメータとを取得し、そのパラメータから得られる関数の逆関数を復号画像ＤＣに畳み込む（フィルタ処理する）ことで高画質復号画像ＨＱを生成し、その高画質復号画像ＨＱを出力する。

このように、本変形例でも、上記実施の形態と同様、規格により規定された画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列ＢＳを復号化して復号画像ＤＣを生成し、さらに高画質化パラメータＰＲを用いて復号画像ＤＣの高画質化を図ることができる。この高画質化パラメータＰＲは、画像データではなく、画像符号化装置によって入力画像（原画像）および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。

なお、本変形例では、関数パラメータ保持部２１０２は、実施の形態１の変形例３における関数パラメータ保持部１４０２と同じパラメータを保持していたが、関数パラメータ保持部１４０２に対応する逆関数のパラメータを初めから保持しておいても良い。これにより、逆畳み込み部２１０１は、逆関数を畳み込むのではなく、通常の畳み込み処理を行うことになり、処理の簡易化を図ることができる。

また、本変形例では、全画面に対する点像強度分布関数のパラメータを求めたが、高画質化パラメータＰＲにおいて、画面の領域毎に点像強度分布関数のパラメータが指定されている場合には、領域毎に異なるパラメータを用いて逆関数の畳み込みを行う。

（変形例４）
ここで、復号画像ＤＣから高画質復号画像ＨＱを生成する方法における第４の変形例について説明する。

本変形例に係る画像復号化装置は、図１６に示す高画質化処理部１５０２ａの代わりに最適高画質化処理部を備えて構成されている。この最適高画質化処理部は、実施の形態１の変形例４で説明した最適パラメータ抽出部１０２により生成された高画質化パラメータＰＲおよび識別子Ｐｉｄを取得する。

図２４は、本変形例に係る最適高画質化処理部の構成例を示すブロック図である。

この最適高画質化処理部１５０２は、高画質化処理部１５０２ａ、１５０２ｂ、１５０２ｃ、１５０２ｄと選択部１５１２とを備えている。

選択部１５１２は、画像符号化装置から高画質化パラメータＰＲと、その高画質化パラメータＰＲの生成方法を示す識別子Ｐｉｄとを取得する。そして、選択部１５１２は、その識別子Ｐｉｄが離散コサイン変換に基づく生成方法を示す場合には、高画質化パラメータＰＲを高画質化処理部１５０２ａに出力し、その識別子Ｐｉｄが離散ウェーブレット変換に基づく生成方法を示す場合には、高画質化パラメータＰＲを高画質化処理部１５０２ｂに出力する。また、選択部１５１２は、その識別子Ｐｉｄがラプラシアン画像に基づく生成方法を示す場合には、高画質化パラメータＰＲを高画質化処理部１５０２ｃに出力し、その識別子Ｐｉｄが点像強度分布関数に基づく生成方法を示す場合には、高画質化パラメータＰＲを高画質化処理部１５０２ｄに出力する。

高画質化処理部１５０２ａ、１５０２ｂ、１５０２ｃ、１５０２ｄはそれぞれ、選択部１５１２から高画質化パラメータＰＲを取得すると、上述のように高画質化パラメータＰＲおよび復号画像ＤＣから、各々の処理手順に基づいて高画質復号画像ＨＱを生成して出力する。

これにより、本変形例では、どのような生成方法により生成された高画質化パラメータＰＲであっても、その高画質化パラメータＰＲを用いて高画質復号画像ＨＱを生成することができる。

なお、本実施の形態およびその変形例１〜４では、離散コサイン変換係数や、離散ウェーブレット変換係数、ラプラシアン画像、点像強度分布関数を用いて生成されたパラメータを高画質化パラメータＰＲとしたが、これは他の周波数変換方法、例えばフーリエ変換や、アダマール変換、等や、画像処理方法、例えば、ソーベルオペレータによるエッジ画像生成法や、ガボール関数を用いたエッジ画像生成法、等を用いて生成されたパラメータを高画質化パラメータＰＲとしても良い。

（実施の形態４）
本実施の形態では、実施の形態２およびその変形例で説明した本発明の画像符号方法を用いた画像符号化装置により生成された符号列ＢＳと高画質化パラメータＰＲ'を用いて、高画質復号画像ＨＱを生成する際の画像復号化方法を説明する。

図２５は、本実施の形態の画像復号化方法を用いた画像復号化装置２２００のブロック図である。図２５に示すように、画像復号化装置２２００は、画像復号化部２２０１、高画質化処理部２２０２、および後処理部２２０３を備えている。画像復号化装置２２００には、実施の形態２で説明した本発明の画像符号方法を用いた画像符号化装置により生成された符号列ＢＳと高画質化パラメータＰＲ'とが入力される。ここで、高画質化パラメータＰＲ'は、実施の形態２の図１４を用いて説明した方法で求められたものである。

符号列ＢＳは、画像復号化部２２０１に入力される。画像復号化部２２０１は、符号列ＢＳに対して、規格により規定された画像復号化を実施する。画像復号化部２２０１は、例えば、符号列ＢＳがＪＰＥＧ方式で符号化されたものである場合には、ＪＰＥＧ方式で復号化し、符号列ＢＳがＭＰＥＧ方式で符号化されたものである場合には、ＭＰＥＧ方式で復号化し、符号列ＢＳがＨ．２６ｘ方式で符号化されたものである場合には、Ｈ．２６ｘ方式で復号化する。画像復号化部２２０１は、高画質化処理部２２０２に対して、画像復号化処理の結果である復号画像ＤＣを出力する。

なお、符号列ＢＳのヘッダ領域やユーザデータ領域に高画質化パラメータＰＲ'が含まれている場合には、画像復号化部２２０１は、取得した符号列ＢＳからその高画質化パラメータＰＲ'を分離する。そして、画像復号化部２２０１は、その分離された高画質化パラメータＰＲ'を高画質化処理部２２０２および後処理部２２０３に出力する。

高画質化処理部２２０２には、復号画像ＤＣと高画質化パラメータＰＲ'とが入力される。高画質化処理部２２０２は、高画質化パラメータＰＲ'を用いて、実施の形態３の高画質化処理部１５０２ａと同様の処理を復号画像ＤＣに対して施す。この処理によって高画質化処理部２２０２は、高画質復号画像ＨＤＣを生成し、その高画質復号画像ＨＤＣを出力する。

後処理部２２０３は、高画質復号画像ＨＤＣに対して、高画質化パラメータＰＲ'に含まれる前処理パラメータＰＰを用いて、後処理を行う。後処理部２２０３は、実施の形態２の変形例における逆前処理部１２０１と同様の処理を行う。すなわち、後処理部２２０３は、前処理パラメータＰＰを用いて、高画質復号画像ＨＤＣに対して本発明の画像符号化装置の前処理部１００３で施した処理と逆の処理を施す。後処理部２２０３は、前処理部１００３で施された処理内容を、前処理パラメータＰＰから知ることができる。例えば、後処理部２２０３は、前処理部１００３で画像サイズの縮小処理が施されている場合には、拡大処理を行う。また、後処理部２２０３は、前処理部１００３で低域通過型フィルタによるフィルタ処理が行われている場合には、低域通過型フィルタの逆フィルタによる処理を行う。また、後処理部２２０３は、前処理部１００３で時間方向のフレーム間引きによるフレームレート削減処理が施されている場合には、フレームレートの向上処理を行う。後処理部２２０３は、このように処理された高画質復号画像ＨＤＣを、高画質復号画像ＨＱとして出力する。

以上のように、本実施の形態の画像復号化方法では、入力画像に対して、画像サイズの縮小処理、低域通過型フィルタによるフィルタ処理、時間方向のフレーム間引きによるフレームレート削減処理、等の前処理を行った後、規格により規定された画像符号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号化して生成された符号列ＢＳと、さらに高画質化成分を生成するための高画質化パラメータＰＲ'とを取得する。そして、符号列ＢＳを規格により規定された画像復号化方法により復号化して復号画像ＤＣを生成し、その復号画像ＤＣに対して高画質化パラメータＰＲ'を用いて、前処理に対応する後処理と高画質化処理とを行うことにより、高画質復号画像ＨＱを生成する。

したがって、本実施の形態の画像復号化方法では、規格により規定された画像復号化方法（ＪＰＥＧ方式やＭＰＥＧ方式等）を用いて符号列ＢＳを復号化して復号画像ＤＣを生成し、さらに高画質化パラメータＰＲ'を用いて復号画像ＤＣの高画質化を図る。この高画質化パラメータＰＲ'は、画像データではなく、画像符号化装置によって入力画像（原画像）および局所復号画像の周波数成分に基づいて生成されたパラメータであるので、データ量を極めて少なくすることができ、少ない情報量の増加で高画質化を図ることができる。また、画像符号化装置側における符号化時の前処理において、入力画像のデータ量が削減されているので、符号列ＢＳの符号量自体も削減されている。すなわち、本実施の形態の画像復号化方法を用いることにより、規格により規定された画像復号化方法と比較して、わずかな符号量の増加で大幅に画質を向上させることができ、また、いわゆるスケーラブル復号化の特徴も有しながらも、従来のスケーラブル機能を有する画像復号化方法と比較して、大幅に符号量を削減することができる。

なお、本実施の形態では、高画質化処理部２２０２は、実施の形態３の高画質化処理部１５０２ａと同様の処理を復号画像ＤＣに対して施したが、実施の形態３の変形例１〜３における高画質化処理部１５０２ｂ、１５０２ｃ、１５０２ｄと同様の処理を施してもよく、実施の形態３の変形例４における最適高画質化処理部１５０２と同様の処理を施してもよい。このように本実施の形態における高画質化パラメータＰＲ'を用いた処理では、離散コサイン変換や、離散ウェーブレット変換、ラプラシアン画像、点像強度分布関数、等を用いることにより、復号画像には含まれていない高周波数成分等を復号画像に付加することができる。

（変形例）
ここで、本実施の形態における画像復号化装置の変形例について説明する。

図２６は、本変形例に係る画像復号化装置２３００のブロック図である。図２６に示すように、画像復号化装置２３００は、画像復号化部２３０１、後処理部２３０２、および高画質化処理部２３０３を備えている。画像復号化装置２３００には、実施の形態２の変形例で説明した本発明の画像符号方法を用いた画像符号化装置により生成された符号列ＢＳと高画質化パラメータＰＲ'とが入力される。ここで、高画質化パラメータＰＲ'は、実施の形態２の変形例における図１５を用いて説明した方法で求められたものである。

符号列ＢＳは、画像復号化部２３０１に入力される。画像復号化部２３０１は、画像復号化部２２０１と同様の処理を行う。そして、画像復号化部２３０１は、後処理部２３０２に対して、その処理によって生成された復号画像ＤＣを出力する。なお、符号列ＢＳのヘッダ領域やユーザデータ領域に高画質化パラメータＰＲ'が含まれている場合には、画像復号化部２３０１は、取得した符号列ＢＳからその高画質化パラメータＰＲ'を分離する。そして、画像復号化部２３０１は、その分離された高画質化パラメータＰＲ'を後処理部２３０２および高画質化処理部２３０３に出力する。

後処理部２３０２は、復号画像ＤＣに対して、高画質化パラメータＰＲ'のうち前処理パラメータＰＰを用いて、後処理を行う。後処理部２３０２は、実施の形態２の変形例における逆前処理部１２０１と同様の処理を行う。すなわち、後処理部２３０２は、前処理パラメータＰＰを用いて、復号画像ＬＤに対して本発明の画像符号化装置の前処理部１００３で施した処理と逆の処理を施す。後処理部２３０２は、前処理部１００３で施された処理内容を、前処理パラメータＰＰから知ることができる。後処理部２３０２は、例えば、前処理部１００３で画像サイズの縮小処理が施されている場合には、拡大処理を行う。また、後処理部２３０２は、前処理部１００３で低域通過型フィルタによるフィルタ処理が行われている場合には、低域通過型フィルタの逆フィルタによる処理を行う。また、後処理部２３０２は、前処理部１００３で時間方向のフレーム間引きによるフレームレート削減処理が施されている場合には、フレームレートの向上処理を行う。後処理部２３０２は、このように処理された結果である後処理後復号画像ＤＣ'を、高画質化処理部２３０３に対して出力する。

高画質化処理部２３０３には、後処理後復号画像ＤＣ'と高画質化パラメータＰＲ'とが入力される。高画質化処理部２３０３は、高画質化パラメータＰＲ'を用いて、実施の形態３で説明した高画質化処理部１５０２ａと同様の処理を、後処理後復号画像ＤＣ'に対して施し、その処理結果を高画質復号画像ＨＱとして出力する。

なお、本変形例では、高画質化処理部２３０３は、実施の形態３の高画質化処理部１５０２ａと同様の処理を後処理後復号画像ＤＣ'に対して施したが、実施の形態３の変形例１〜３における高画質化処理部１５０２ｂ、１５０２ｃ、１５０２ｄと同様の処理を施してもよく、実施の形態３の変形例４における最適高画質化処理部１５０２と同様の処理を施してもよい。

（実施の形態５）
上記各実施の形態および変形例で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態および変形例で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２７Ａ、図２７Ｂおよび図２７Ｃは、上記各実施の形態および変形例の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２７Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２７Ａ は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図２７Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムＣｓに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態６）
さらにここで、上記各実施の形態および変形例で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。

図２８は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２８のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記各実施の形態および変形例と同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態および変形例で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。

その一例として携帯電話について説明する。

図２９は、上記各実施の形態および変形例で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and PRogrammable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図３０を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記各実施の形態および変形例で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記各実施の形態および変形例で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３１に示すようにディジタル放送用システムにも上記各実施の形態および変形例の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記各実施の形態および変形例で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記各実施の形態および変形例で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記各実施の形態および変形例で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図３０に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記各実施の形態および変形例で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

なお、本発明はかかる上記各実施の形態および変形例に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

また、ブロック図（図１、図１３、図１６、図２５、図２６など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明にかかる画像符号化方法および画像復号化方法は、符号量を大幅に削減しながらも、復号画像の高画質化を図ることができるという効果を有し、例えば、画像を符号化および復号化する装置や、その装置を含むデジタルビデオカメラや、携帯電話、ＰＤＡなどに適用することができる。

図１は、本発明の実施の形態１における画像符号化方法を用いた画像符号化装置のブロック図（実施の形態１）である。 図２は、同上の画像符号化装置におけるパラメータ抽出部の構成例を示すブロック図である。（実施の形態１） 図３は、同上の画像符号化装置における抽出部の構成例を示すブロック図である。（実施の形態１） 図４は、同上の画像符号化装置における係数補正部での処理方法を説明するための模式図である。（実施の形態１） 図５は、同上の画像符号化装置の動作を示すフロー図である。（実施の形態１） 図６は、同上の変形例１に係るパラメータ抽出部の構成例を示すブロック図である。（実施の形態１の変形例１） 図７は、同上の変形例１に係る画像符号化装置が離散ウェーブレット変換係数を用いて入力画像および局所復号画像を多重解像度表現した場合の模式図である。（実施の形態１の変形例１） 図８は、同上の変形例２に係るパラメータ抽出部の構成例を示すブロック図である。（実施の形態１の変形例２） 図９は、同上の変形例２に係るラプラシアン生成部の構成例を示すブロック図である。（実施の形態１の変形例２） 図１０は、同上の変形例２に係るラプラシアン画像の例を示す図である。（実施の形態１の変形例２） 図１１は、同上の変形例３に係るパラメータ抽出部の構成例を示すブロック図である。（実施の形態１の変形例３） 図１２は、同上の変形例４に係る最適パラメータ抽出部の構成を示すブロック図である。（実施の形態１の変形例４） 図１３は、本発明の実施の形態２における画像符号化方法を用いた画像符号化装置のブロック図である。（実施の形態２） 図１４は、同上の画像符号化装置の付加パラメータ抽出部の構成例を示すブロック図である。（実施の形態２） 図１５は、同上の変形例に係る画像符号化装置の付加パラメータ抽出部の構成例を示すブロック図である。（実施の形態２の変形例） 図１６は、本発明の実施の形態３における画像復号化方法を用いた画像復号化装置のブロック図である。（実施の形態３） 図１７は、同上の画像復号化装置における高画質化処理部の構成例を示すブロック図である。（実施の形態３） 図１８は、同上の画像復号化装置の動作を示すフロー図である。（実施の形態３） 図１９は、同上の変形例１に係る高画質化処理部の構成例を示すブロック図である。（実施の形態３の変形例１） 図２０Ａは、同上の変形例１に係る画像復号化装置が離散ウェーブレット変換係数を用いて復号画像および高画質復号画像を多重解像度表現した場合の模式図である。（実施の形態３の変形例１） 図２０Ｂは、同上の変形例１に係る画像復号化装置が離散ウェーブレット変換係数を用いて復号画像および高画質復号画像を多重解像度表現した場合の他の模式図である。（実施の形態３の変形例１） 図２１は、同上の変形例２に係る高画質化処理部の構成例を示すブロック図である。（実施の形態３の変形例２） 図２２は、同上の変形例２に係るラプラシアン生成部により得られたラプラシアン画像の例を示す図である。（実施の形態３の変形例２） 図２３は、同上の変形例３に係る高画質化処理部の構成例を示すブロック図である。（実施の形態３の変形例３） 図２４は、同上の変形例４に係る最適高画質化処理部の構成例を示すブロック図である。（実施の形態３の変形例４） 図２５は、本発明の実施の形態４における画像復号化方法を用いた画像復号化装置のブロック図である。（実施の形態４） 図２６は、同上の変形例に係る画像復号化装置のブロック図ある。（実施の形態４の変形例） 図２７Ａは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。（実施の形態５） 図２７Ｂは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての他の説明図である。（実施の形態５） 図２７Ｃは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についてのさらに他の説明図である。（実施の形態５） 図２８は、コンテンツ供給システムの全体構成を示すブロック図である。（実施の形態６） 図２９は、本発明の画像符号化方法および画像復号化方法を用いた携帯電話の例を示す図である。（実施の形態６） 図３０は、同上の携帯電話のブロック図である。（実施の形態６） 図３１は、ディジタル放送用システムの例を示す図である。（実施の形態６）

符号の説明

１００ 画像符号化装置
１０１ 画像符号化部
１０２ 最適パラメータ抽出部
１０２ａ〜１０２ｄ パラメータ抽出部
２０１，２０２ 離散コサイン変換部
２０３ 抽出部
３０１ 係数補正部
３０２ 補正パターン保持部
３０３ 距離計算部
３０４ 最適値検出部
１５００ 画像復号化装置
１５０１ 画像復号化部
１５０２ 最適高画質化処理部
１５０２ａ〜１５０２ｄ 高画質化処理部
１６０１ 離散コサイン変換部
１６０２ 係数補正部
１６０３ 補正パターン保持部
１６０４ 逆離散コサイン変換部

Claims (21)

1. 入力画像を符号化する画像符号化方法であって、
   入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ステップと、
   符号化された入力画像を復号化することにより復号画像を生成する復号画像生成ステップと、
   前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成ステップとを含み、
   前記パラメータ生成ステップでは、
   前記復号画像および前記入力画像のうち何れか一方の画像に対して、パラメータにより特性が決まる予め定められた関数形によるフィルタ処理を行い、前記フィルタ処理が行われた一方の画像と他方の画像との誤差に基づいて前記パラメータを生成する
   ことを特徴とする画像符号化方法。
2. 前記パラメータ生成ステップでは、
   前記関数形によるフィルタ処理として点像強度分布関数によるフィルタ処理を行う
   ことを特徴とする請求項１記載の画像符号化方法。
3. 前記パラメータ生成ステップでは、
   前記復号画像および前記入力画像のうち前記フィルタ処理が行われた一方の画像と他方の画像とをそれぞれの画像領域ごとに比較することにより、前記画像領域ごとの前記パラメータを生成する
   ことを特徴とする請求項１記載の画像符号化方法。
4. 前記画像符号化方法は、さらに、
   前記パラメータ生成ステップで前記パラメータを生成するために用いられる処理を識別するための識別情報を生成する識別情報生成ステップを含む
   ことを特徴とする請求項１記載の画像符号化方法。
5. 前記画像符号化方法は、さらに、
   前記符号化ステップで生成される符号列に対して、前記パラメータ生成ステップで生成されるパラメータを多重化する多重化ステップを含む
   ことを特徴とする請求項１記載の画像符号化方法。
6. 前記画像符号化方法は、さらに、
   前記入力画像に対して所定の前処理を行う前処理ステップを含み、
   前記符号化ステップでは、
   前記前処理が行われた入力画像を符号化して符号列を生成し、
   前記パラメータ生成ステップでは、
   前記復号画像と、前記前処理が行われた入力画像または前記前処理が行われていない入力画像とのうち少なくとも一方の周波数成分に基づいて前記パラメータを生成する
   ことを特徴とする請求項１記載の画像符号化方法。
7. 前記前処理ステップでは、
   前記入力画像に対して、画像サイズの縮小処理、低域通過フィルタ処理、またはフレームレート削減処理を行う
   ことを特徴とする請求項６記載の画像符号化方法。
8. 前記画像符号化方法は、さらに、
   前記前処理ステップで行われる前記前処理の内容を示す前処理パラメータを生成する前処理パラメータ生成ステップを含む
   ことを特徴とする請求項６記載の画像符号化方法。
9. 符号化された入力画像を復号化する画像復号化方法であって、
   符号列を取得する符号列取得ステップと、
   前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を生成する復号化ステップと、
   前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生成された、予め定められた関数形によるフィルタ処理の特性を決めるパラメータを取得するパラメータ取得ステップと、
   前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高画質復号画像を生成する高画質化ステップとを含み、
   前記高画質化ステップでは、
   前記パラメータにより特性が決まる前記関数形によるフィルタ処理を前記復号画像に対して行うことにより前記高画質復号画像を生成する
   ことを特徴とする画像復号化方法。
10. 前記高画質化ステップでは、
    前記関数形によるフィルタ処理として点像強度分布関数によるフィルタ処理を行うことにより前記高画質復号画像を生成する
    ことを特徴とする請求項９記載の画像復号化方法。
11. 前記画像復号化方法は、さらに、
    前記パラメータを生成するために用いられた処理を識別するための識別情報を取得する識別情報取得ステップを含み、
    前記高画質化ステップでは、
    前記識別情報の示す処理に応じて前記パラメータを前記復号画像に対して適用することにより前記高画質復号画像を生成する
    ことを特徴とする請求項９記載の画像復号化方法。
12. 前記パラメータ取得ステップでは、
    前記符号列と前記パラメータとが多重化された多重化情報から、前記パラメータを分離することにより前記パラメータを取得する
    ことを特徴とする請求項９記載の画像復号化方法。
13. 前記画像復号化方法は、さらに、
    前記復号画像または前記高画質復号画像に対して所定の後処理を行う後処理ステップを含み、
    前記高画質化ステップでは、
    前記後処理ステップで前記復号画像に対して前記後処理が行われたときには、前記後処理が行われた復号画像に対して前記パラメータを適用することにより前記高画質復号画像を生成する
    ことを特徴とする請求項９記載の画像復号化方法。
14. 前記後処理ステップでは、前記復号画像または前記高画質復号画像に対して、画像サイズの拡大処理、高域通過フィルタ処理、またはフレームレート向上処理を行う
    ことを特徴とする請求項１３記載の画像復号化方法。
15. 前記画像復号化方法は、さらに、
    前記後処理の内容を示す後処理パラメータを取得する後処理パラメータ取得ステップを含み、
    前記後処理ステップでは、前記後処理パラメータの示す内容の後処理を行う
    ことを特徴とする請求項１３記載の画像復号化方法。
16. 入力画像を符号化する画像符号化装置であって、
    入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化手段と、
    符号化された入力画像を復号化することにより復号画像を生成する復号画像生成手段と、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成手段とを備え、
    前記パラメータ生成手段は、
    前記復号画像および前記入力画像のうち何れか一方の画像に対して、パラメータにより特性が決まる予め定められた関数形によるフィルタ処理を行い、前記フィルタ処理が行われた一方の画像と他方の画像との誤差に基づいて前記パラメータを生成する
    ことを特徴とする画像符号化装置。
17. 符号化された入力画像を復号化する画像復号化装置であって、
    符号列を取得する符号列取得手段と、
    前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を生成する復号化手段と、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生成された、予め定められた関数形によるフィルタ処理の特性を決めるパラメータを取得するパラメータ取得手段と、
    前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高画質復号画像を生成する高画質化手段とを備え、
    前記高画質化手段は、
    前記パラメータにより特性が決まる前記関数形によるフィルタ処理を前記復号画像に対して行うことにより前記高画質復号画像を生成する
    ことを特徴とする画像復号化装置。
18. 入力画像を符号化する集積回路であって、
    入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化手段と、
    符号化された入力画像を復号化することにより復号画像を生成する復号画像生成手段と、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成手段とを備え、
    前記パラメータ生成手段は、
    前記復号画像および前記入力画像のうち何れか一方の画像に対して、パラメータにより特性が決まる予め定められた関数形によるフィルタ処理を行い、前記フィルタ処理が行われた一方の画像と他方の画像との誤差に基づいて前記パラメータを生成する
    ことを特徴とする集積回路。
19. 符号化された入力画像を復号化する集積回路であって、
    符号列を取得する符号列取得手段と、
    前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を生成する復号化手段と、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生成された、予め定められた関数形によるフィルタ処理の特性を決めるパラメータを取得するパラメータ取得手段と、
    前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高画質復号画像を生成する高画質化手段とを備え、
    前記高画質化手段は、
    前記パラメータにより特性が決まる前記関数形によるフィルタ処理を前記復号画像に対して行うことにより前記高画質復号画像を生成する
    ことを特徴とする集積回路。
20. 入力画像を符号化するためのプログラムであって、
    入力画像を符号化して、符号化された入力画像を含む符号列を生成する符号化ステップと、
    符号化された入力画像を復号化することにより復号画像を生成する復号画像生成ステップと、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて、前記復号画像を前記入力画像に近づけるためのパラメータを生成するパラメータ生成ステップとをコンピュータに実行させ、
    前記パラメータ生成ステップでは、
    前記復号画像および前記入力画像のうち何れか一方の画像に対して、パラメータにより特性が決まる予め定められた関数形によるフィルタ処理を行い、前記フィルタ処理が行われた一方の画像と他方の画像との誤差に基づいて前記パラメータを生成する
    ことを特徴とするプログラム。
21. 符号化された入力画像を復号化するためのプログラムであって、
    符号列を取得する符号列取得ステップと、
    前記符号列に含まれる符号化された入力画像を復号化することにより、復号画像を生成する復号化ステップと、
    前記入力画像および前記復号画像の少なくとも一方の周波数成分に基づいて生成された、予め定められた関数形によるフィルタ処理の特性を決めるパラメータを取得するパラメータ取得ステップと、
    前記復号画像に対して前記パラメータを適用することにより、前記復号画像よりも前記入力画像に近い高画質復号画像を生成する高画質化ステップとをコンピュータに実行させ、
    前記高画質化ステップでは、
    前記パラメータにより特性が決まる前記関数形によるフィルタ処理を前記復号画像に対して行うことにより前記高画質復号画像を生成する
    ことを特徴とするプログラム。

Images