JP2009118303A - 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法 - Google Patents

Abstract

【課題】多重解像度解析を用いた画像符号化において、符号量を低減しつつ画質の劣化を防ぐこと。
【解決手段】補間処理部１０４は、処理対象画素を選択して複数の方向（水平方向、垂直方向）に対して補間予測を行う。方向選択部１０５は、補間誤差の小さい方向の補間予測値を選択する。画素分離部１０６は、補間予測値と対象画素の画素値との差分を高周波成分として分離する。さらに、補間処理部１０７は、処理対象としなかった画素に対し処理対象画素を選択して、複数の方向（右斜め方向、左斜め方向）に対して補間予測を行う。方向選択部１０８と画素分離部１０９は、同様に補間予測値を選択し対象画素の高周波成分を分離する。変換・量子化部１１０は、分離した高周波成分を符号化データに変換する。
【選択図】図１

Description

本発明は、画像情報を効率良く符号化する画像符号化装置と画像符号化方法、及び符号化された画像情報を復号化する画像復号化装置と画像復号化方法に関する。

画像情報を圧縮符号化して記録、伝送する手法の１つとして、ＪＰＥＧ２０００規格が定められている。ＪＰＥＧ２０００方式では、画像の全体あるいは一部に対して、水平方向および垂直方向にＷｅｖｅｌｅｔ変換を繰り返し用いて低周波成分と高周波成分に分離し、これらの成分をそれぞれ量子化し符号化を行うものである。このように多重解像度解析によって、画像の周波数成分を水平方向と垂直方向に分離すると、画像の画素と同じ数の周波数係数が得られる。

さらに、水平方向と垂直方向以外の方向に対して周波数成分を分離する手法として、例えば非特許文献１に記載の技術がある。

Ｅｅｒｏ Ｓｉｍｏｎｃｅｌｌｉ，Ｗｉｌｌｉａｍ Ｆｒｅｅｍａｎ："Ｔｈｅ Ｓｔｅｅｒａｂｌｅ Ｐｙｒａｍｉｄ：Ａ Ｆｌｅｘｉｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｆｏｒ Ｍｕｌｔｉ−ｓｃａｌｅ Ｄｅｒｉｖａｔｉｖｅ Ｃｏｍｐｕｔａｔｉｏｎ"，２ｎｄ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｗａｓｈｉｎｇｔｏｎ，ＤＣ．ｖｏｌ ＩＩＩ，ｐｐ ４４４−４４７．Ｏｃｔｏｂｅｒ，１９９５。

既存のＪＰＥＧ２０００方式のようなＷａｖｅｌｅｔ変換技術では、水平方向、垂直方向にＷａｖｅｌｅｔ変換を行うため、その他の方向に強い相関を持つ画像の場合、周波数成分を効率的に分離することができなかった。そこで、水平方向と垂直方向だけでなく他の方向にも周波数成分の分離を行えば、画質の劣化を少なくして符号化することができる。しかしながら、周波数係数の数が画像の画素より多くなってしまい、符号量が増加して符号化効率が悪化するという問題点があった。非特許文献１に記載の手法においても、係数の数が増加して符号化効率が悪化することが予想されるが、これに関しては配慮されていない。

本発明は上記課題を鑑みてなされたものであり、その目的は、多重解像度解析を用いた画像符号化において、符号量を低減しつつ画質の劣化を防ぐことにある。

本発明の画像符号化装置は、入力した画像から所定の間隔で第１の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行う第１の補間処理部と、該第１の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第１の方向選択部と、該第１の方向選択部にて選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する第１の画素分離部と、該第１の画素分離部にて分離された第１の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化する変換・量子化部と、該変換・量子化部にて変換・量子化された係数を符号化データとして出力する符号出力部とを備える。

さらに、前記第１の補間処理部にて処理対象としなかった画素に対し、所定の間隔で第２の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行う第２の補間処理部と、該第２の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第２の方向選択部と、該第２の方向選択部にて選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する第２の画素分離部とを備え、前記変換・量子化部は、前記第１の処理対象画素の高周波成分とともに、該第２の画素分離部にて分離された第２の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化する。

本発明の画像符号化方法は、第１の解像度分解ステップとして、入力した画像から所定の間隔で第１の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行い、補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する工程を有し、該第１の解像度分解ステップにより分離された第１の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化し、変換・量子化された係数を符号化データとして出力する。

さらに、第２の解像度分解ステップとして、前記第１の解像度分解ステップにて処理対象としなかった画素に対し、所定の間隔で第２の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行い、補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する工程を有し、前記第１の解像度分解ステップにて分離された第１の処理対象画素の高周波成分とともに、上記第２の解像度分解ステップにて分離された第２の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化する。

本発明の画像復号化装置は、符号化ストリームの符号化係数に対し逆量子化と逆変換を行い、画素値又は高周波成分を取得する逆量子化・逆変換部と、高周波成分が得られた画素から所定の間隔で第２の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行う第２の補間処理部と、該第２の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第２の方向選択部と、該第２の方向選択部にて選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する第２の画素合成部と、該第２の画素合成部にて合成された画像を出力する画像出力部とを備える。

さらに、前記第２の補間処理部にて処理対象としなかった高周波成分が得られた画素に対し、所定の間隔で第１の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行う第１の補間処理部と、該第１の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第１の方向選択部と、該第１の方向選択部にて選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する第１の画素合成部とを備え、前記画像出力部は、前記第２の画素合成部にて合成された画像とともに、該第１の画素合成部にて合成された画像を出力する。

本発明の画像復号化方法は、符号化ストリームの符号化係数に対し逆量子化と逆変換を行い、画素値又は高周波成分を取得し、第２の解像度合成ステップとして、高周波成分が得られた画素から所定の間隔で第２の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行い、補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する工程を有し、上記第２の解像度合成ステップにて合成された画像を出力する。

さらに第１の解像度合成ステップとして、前記第２の解像度合成ステップにて処理対象としなかった高周波成分が得られた画素に対し、所定の間隔で第１の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行い、補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する工程を有し、前記第２の解像度合成ステップにて合成された画像とともに、上記第１の解像度合成ステップにて合成された画像を出力する。

本発明によれば、画像の符号化及び復号化処理において、符号化データの符号量を低減し、復号画像の画質の劣化を防ぐことが可能となる。

以下、本発明の実施例を、図面を参照して説明する。

図１は、本発明による画像符号化装置の一実施例を示すブロック図である。
画像符号化装置１は、符号化ブロック１０として、画像入力部１０１、画像予測部１０２、解像度分解メモリ１０３、変換・量子化部１１０、符号出力部１１１を備え、解像度分解メモリ１０３には、２系統の補間処理部１０４，１０７、方向選択部１０５，１０８、画素分離部１０６，１０９を接続する。また変換・量子化部１１０の出力端には、復号化ブロック２０として、逆量子化・逆変換部１１２、解像度合成メモリ１１３、復号画像メモリ１２０を接続し、画像予測部１０２に入力する。解像度合成メモリ１１３には、２系統の補間処理部１１４，１１７、方向選択部１１５，１１８、画素合成部１１６，１１９を接続する。

画像符号化装置１の各構成要素の動作を詳細に説明する。なお、以下の動作は、各構成要素の自律的な動作とするが、図示しない制御部や記憶部が記憶するソフトウェアにより実現することもできる。

まず符号化ブロック１０について説明する。
画像入力部１０１には原画像が入力する。画像予測部１０２は、原画像と、復号画像メモリ１２０からの復号済み画像（過去、未来、あるいは現フレーム）とを用いて予測を行い、その差分を計算する。なお、画像の予測を行わずに原画像をそのまま処理してもよい。その場合には、画像予測部１０及び復号化ブロック２０を省略できる。

解像度分解メモリ１０３は、多重解像度分解された画像データを保持するメモリである。本実施例における多重解像度分解は、２段階の解像度分解ステップによって行う。補間処理部１０４、方向選択部１０５、画素分離部１０６によって行われる処理を第１ステップと呼び、補間処理部１０７、方向選択部１０８、画素分離部１０９によって行われる処理を第２ステップと呼ぶことにする。

まず第１ステップについて説明する。補間処理部１０４は、処理対象画素に対して参照画素を用いて補間予測を行う。その際の処理対象画素は、画素座標を（ｘ，ｙ）としたとき、例えば、ｘとｙの一方のみが奇数となる位置の画素を飛び飛びに選択する。各処理対象画素毎に補間予測は複数の方向に対して行い、例えば水平方向と垂直方向の２方向とする。参照画素は、処理対象画素の近傍にあって補間方向に配置された画素を用いるが、処理対象画素として選択されない画素を用いる。なぜなら、処理対象画素のデータは補間処理の後で差分値に置換されるからである。補間に用いる参照画素は、例えば処理対象画素を挟んで一列に並んだ４点とする。補間方法（補間演算式）は線形補間、２次あるいは３次の多項式補間等を用いる。なお、補間方法を複数通り用意し、使用する参照画素の特徴に応じて補間方法を切り替えてもよい。この場合、参照画素の特徴として参照画素の平均値や分散値に注目して、最適な補間方法を選択するのが良い。

方向選択部１０５は、補間処理部１０４によって補間予測された複数の補間方向（水平方向と垂直方向）に対する予測値の中から、１つの方向の予測値を選択する。予測値の選択方法は、例えば隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向（あるいは予め定めた範囲内の値になる方向）の予測値を選択する。すなわち、参照画素の値に対し予測値がより滑らかに連続する方向を選択する。

画素分離部１０６は、処理対象画素の画素値と、方向選択部１０５によって選択された予測値との差分をとり、これを処理対象画素の高周波成分ΔＰ１として解像度分解メモリ１０３の別領域に保存する。これによって、処理対象画素についてその高周波成分データΔＰ１を分離して保存する。

次に第２ステップについて説明する。補間処理部１０７は、第１ステップにおいて処理対象に選択しなかった画素を対象とする。その中で、例えば、座標ｘとｙの両方が奇数の位置の画素を処理対象に選択し、それ以外の画素を参照画素として補間予測を行う。補間予測は複数の方向に対して行うが、この場合は第１ステップと異なる例えば右斜め４５度方向（以下、右斜め方向）と左斜め４５度方向（以下、左斜め方向）の２方向とする。なぜなら、第１ステップと同じ方向（水平方向と垂直方向）に配置されている画素には、既に第１ステップで処理対象となり、高周波成分に置換されたものが含まれるので参照画素とすることができないからである。この場合も補間に用いる参照画素は、例えば一列に並んだ４点を用いる。また補間方法は線形補間、２次あるいは３次の多項式補間等を用いるが、補間方法を複数通り用意し最適な方法を選択してもよい。

方向選択部１０８は、補間処理部１０７によって補間予測された複数の補間方向（右斜め方向と左斜め方向）に対する予測値の中から１つの方向の予測値を選択する。予測値の選択方法は、第１ステップと同様に、例えば隣接画素間の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向の予測値を選択する。

画素分離部１０９は、処理対象画素の値と、方向選択部１０８によって選択された予測値との差分をとり、これを処理対象画素の高周波成分データΔＰ２として解像度分解メモリ１０３の別領域に保存する。これにより、第１ステップと第２ステップで処理対象とされた画素について、高周波成分データΔＰ１，ΔＰ２を分離して保存する。

次に変換・量子化部１１０では、多重解像度分解された画像データを、それぞれのデータの特徴に従って符号化する。例えば、処理対象とならなかった画素データＰ０についてはブロックに分割して離散コサイン変換を行い、係数を量子化して符号化データを生成する。処理対象画素の高周波成分データΔＰ１，ΔＰ２については係数を量子化して符号化データを生成する。
符号出力部１１１では、生成された符号化データを出力する。

このように本実施例では、解像度分解処理において、複数の方向に対して補間予測を行う補間処理部１０４，１０７と、補間誤差のより小さい方向の予測値を選択する方向選択部１０５，１０８を設けたことに特徴がある。そして画素配列を考慮して効率的な処理を行うため２段階の解像度分解ステップで構成したことを特徴とする。

次に復号化ブロック２０について説明する。
逆量子化・逆変換部１１２では、変換・量子化部１１０で作成された符号化データに対して逆量子化、逆変換を行い、画素データＰ０と高周波成分データΔＰ１，ΔＰ２に戻す。

解像度合成メモリ１１３は、多重解像度分解された画像データを元の画像に戻すために保持するメモリである。多重解像度分解された画像の復元は、前記符号化ブロックにおける２段階の解像度分解ステップに対応する、２段階の解像度合成ステップによって行う。補間処理部１１４、方向選択部１１５、画素分離部１１６によって行われる処理は、前記第１ステップを元に戻すもので逆第１ステップと呼び、補間処理部１１７、方向選択部１１８、画素分離部１１９によって行われる処理は、前記第２ステップを元に戻すもので逆第２ステップと呼ぶことにする。

まず逆第２ステップから処理を行う。これは、補間予測に用いる参照画素のデータを不足することなく取得するためである。
補間処理部１１７は、第２ステップと同様に座標ｘとｙの両方が奇数の位置の画素を処理対象に選択し、補間予測を行う。補間方向は第２ステップと同様に右斜め方向と左斜め方向の２方向とする。補間における参照画素は、一列に並んだ４点を用いて、補間方法は線形補間、２次あるいは３次の多項式補間等を用いる。

方向選択部１１８は、補間処理部１１７によって補間予測された複数の方向（右斜め方向と左斜め方向）に対する予測値の中から１つの方向の予測値を選択する。予測値の選択方法は、第２ステップと同様に、例えば隣接画素間の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向の予測値を選択する。

画素合成部１１９は、処理対象画素の高周波成分ΔＰ２と、方向選択部１１８によって選択された予測値との和をとり、これを元の画素値として解像度合成メモリ１１３に保存する。これによって、処理対象画素についてその高周波成分ΔＰ２を合成して元の画像を復元する。

次に逆第１ステップの処理を行う。
補間処理部１１４は、第１ステップと同様に座標ｘとｙの一方のみが奇数となる位置の画素を処理対象に選択し、補間予測を行う。補間方向は第１ステップと同様に水平方向と垂直方向の２方向とする。補間における参照画素は、一列に並んだ４点を用いて、補間方法は線形補間、２次あるいは３次の多項式補間等を用いる。

方向選択部１１５は、補間処理部１１４によって補間予測された複数の方向（水平方向と垂直方向）に対する予測値の中から１つの方向の予測値を選択する。予測値の選択方法は、第１ステップと同様に、例えば隣接画素間の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向の予測値を選択する。

画素合成部１１６は、処理対象画素の高周波成分ΔＰ１と、方向選択部１１５によって選択された予測値との和をとり、これを元の画素値として解像度合成メモリ１１３に保存する。これによって、処理対象画素についてその高周波成分ΔＰ１を合成して元の画像を復元する。

逆第２ステップと逆第１ステップにより合成された復号画像は復号画像メモリ１２０に格納され、画像予測部１０２での予測に利用される。

本実施例では、以上の構成と動作により画像符号化を行うが、以下のような変形が可能である。
まず、符号化ブロックにおける解像度分解処理の順序を、先に第２ステップを行い次に第１ステップを行うようにしても良い。あるいは、先に第１ステップを行う場合と、先に第２ステップを行う場合とを比較し、いずれかを選択してその順序の情報と共に符号化してもよい。ただし、復号化ブロックにおける解像度合成処理の順序は、符号化ブロックにおける解像度分解処理の順序に対応させるようにする。すなわち、符号化ブロックで先に第２ステップを行った場合には、復号化ブロックでは先に逆第１ステップを行うようにする。

また、補間処理部１０４，１０７における補間方向は、本実施例では直交する画素配列を考慮して水平方向と垂直方向、右斜め方向と左斜め方向の４通りについて選択したが、これに限定されず、また４通り以上の方向を選択しても良い。

図３は、本実施例における多重解像度分解の方法を詳細に説明する図である。本実施例では、多重解像度分解処理を（ａ）第１ステップと（ｂ）第２ステップに分けて行うが、そのときの画素の選択を図示したものである。

（ａ）の第１ステップでは、水平・垂直方向の補間予測３０１を行う。ここでは、横軸位置ｘ、縦軸位置ｙとして、ｘとｙの一方が奇数の位置を処理対象画素（×印）として選択する。ここで符号３１０は処理済の画素で、符号３１１は現在処理中の画素を示す。他は参照画素（○印）３１２であるが、現在処理中の画素３１１に対する参照画素として、水平方向に配置された近傍の４画素（◎印）３１３と、垂直方向に配置された近傍の４画素（●印）３１４を用いる。これらの参照画素を用いて水平方向と垂直方向の補間予測を行う。補間方法は線形補間、２次あるいは３次の多項式補間等を用いる。水平方向の予測値と垂直方向の予測値を比較し、より補間誤差の小さい値を選択する。

処理対象画素３１１の値と選択された予測値との差分をとり、これが１／２点差分画像３０２の高周波成分データΔＰ１となる。この１／２点差分画像３０２は画素数が元の画像の１／２であり、またその高周波成分データΔＰ１は、補間誤差の小さい方を選択した結果、より小さな値となっている。第１ステップで未処理の画素３１２は１／２点原画像３０３として残り、その画素数は元の画像の１／２である。

次に（ｂ）の第２ステップでは、（ａ）の第１ステップにおいて処理対象に選択しなかった１／２点原画像３０３の画素３１２を対象に、右斜め・左斜め方向の補間予測３０４を行う。なお（ｂ）の図では、第１ステップで処理対象とした画素は表示していない。ここでは、ｘとｙの両方が奇数の位置を処理対象画素（×印）として選択する。符号３２０は処理済の画素で、符号３２１は現在処理中の画素を示し、それ以外は参照画素３２２とし補間予測を行う。現在処理中の画素３２１に対する参照画素としては、右斜め方向に配置された近傍の４画素（◎印）３２３と、左斜め方向に配置された近傍の４画素（●印）３２４を用いる。これらの参照画素を用いて右斜め方向と左斜め方向の補間予測を行う。これらの予測値を比較し、より補間誤差の小さい値を選択する。

処理対象画素３２１の値と選択された予測値との差分をとり、これが１／４点差分画像３０５の高周波成分データΔＰ２となる。この１／４差分画像３０５は、画素の数が元の画像の１／４であり、またその高周波成分データΔＰ２は、補間誤差の小さい方を選択した結果、より小さな値となっている。第２ステップで未処理の画素３２２は１／４点原画像３０６となり、その画素数が元の画像の１／４であり、これは元の画素値Ｐ０のままである。

このようにして分解された、１／２点差分画像３０２、１／４点差分画像３０５、１／４点原画像３０６の各データΔＰ１，ΔＰ２，Ｐ０は解像度分解メモリ１０３に保存された後、変換・量子化部１１０にてそれぞれ変換・量子化３０７，３０８，３０９して符号化データとなる。このうち１／２点差分画像３０２と１／４点差分画像３０５については、値の小さな高周波成分データΔＰ１，ΔＰ２を符号化したものであるから、符号量はより少ないものとなる。この場合、画素全体に対する差分化処理した画素数の割合（差分化率）は、３／４に達する。引き続き、未処理の１／４点原画像３０６の画素に対して上記の解像度分解の処理を繰り返せば、さらに差分化率を向上させることができる。これを複数の階層に分けた解像度分解という。例えば１回の繰り返し処理で、差分化率は（３／４）＋（１／４）×（３／４）＝１５／１６に向上し、より符号量を削減することができる。

図４は、方向選択部１０５，１０８における予測値の選択方法の一例を示す図である。ここでは、隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値を用いた評価法を示す。図４のように、隣接する画素Ｐ１〜Ｐ４について、それらの画素値（例えば輝度成分）が順に１００，２００，１００，２００の値となった場合、この４点のＬ１ノルムの合計値Ｔは１００＋１００＋１００＝３００となる。複数の補間方向についてそれぞれこの合計値Ｔを求め、最も小さい値を示す方向を選択する。この評価方法によれば、隣接画素との補間誤差がより小さくなる方向、すなわち画素値がより滑らかに連続する方向を選択することができる。画素値の分散値を評価することでも、同様の選択を行うことができる。

図５は、参照画素の設定の他の例を示す図である。前記図３の第１ステップにおける参照画素では、水平方向と垂直方向にそれぞれ一列に並んだ４点を用いた。これに対し本例では、処理対象画素５００に対し、左側に配置される４点（符号５０１）と右側に配置される４点（符号５０２）、及び上側に配置される４点（符号５０３）と下側に配置される４点（符号５０４）を用いて補間予測するものである。各４点の平均値をとり、水平方向の２点、及び垂直方向の２点から補間を行う方法でもよい。この方法によれば、参照画素の数を増加させたことにより補間演算時の誤差が小さくなり、より符号量の低減を図ることができる。

図６は、本実施例における画像符号化方法のフローチャートを示す図である。簡単のために、ここでは原画像を予測なし（差分化処理なし）で符号化する場合を説明する。

ステップ６０１では、画像を入力する。
ステップ６０２では、処理対象とする画像範囲を設定し多重解像度分解を開始する。複数の階層に分けて符号化する場合は、初回は最上位の階層（画像全体）から始め、繰り返し処理の場合は次の下位階層（未処理画像）を対象とする。

ステップ６０３では、第１ステップの解像度分解を開始する。まず、処理対象画素とその参照画素を設定する。ここではｘとｙの一方が奇数の位置を処理対象画素とし、それ以外を参照画素として、水平方向と垂直方向に対して補間予測を行う。
ステップ６０４では、補間予測された２つの値を比較し補間誤差の小さい方の予測値を選択する。

ステップ６０５では、ステップ６０４で選択した予測値と処理対象画素の画素値との差分をとり、これを対象画素の高周波成分ΔＰ１として分離する。
ステップ６０６では、第１ステップの処理対象画素が全て終了したかどうかを判定する。終了していなければステップ６０３に戻り、次の画素を処理する。終了したらステップ６０７へ進む。

ステップ６０７では、第２ステップの解像度分解を開始する。まず、処理対象画素とその参照画素を設定する。ここでは第１ステップ（ステップ６０３）で対象としなかった画素の中で、ｘとｙの両方が奇数の位置を処理対象画素とし、それ以外を参照画素として、右斜め方向と左斜め方向に対して補間予測を行う。
ステップ６０８では、補間予測された２つの値を比較し補間誤差の小さい方の予測値を選択する。

ステップ６０９では、ステップ６０８で選択した予測値と処理対象画素の画素値との差分をとり、これを対象画素の高周波成分ΔＰ２として分離する。
ステップ６１０では、第２ステップの処理対象画素が全て処理終了したかどうかを判定する。終了していなければステップ６０７に戻り、次の画素を処理する。終了したらステップ６１１へ進む。

ステップ６１１では、複数の階層に分けて符号化する場合、最下位の階層に達したかどうか判定する。さらに次の階層を繰り返す場合はステップ６０２へ戻り、未処理の画素からなる画像範囲を処理対象に設定して、次の階層の解像度分解（第１ステップと第２ステップ）を繰り返す。繰り返さない場合は、ステップ６１２へ進む。

ステップ６１２では、多重解像度分解された画素データ（高周波成分ΔＰ１，ΔＰ２と未処理の画素値Ｐ０）を、変換・量子化して符号化データを作成する。
ステップ６１３では、作成された符号化データを出力する。

このように多重解像度分解するとき、２段階のステップで方向の異なる補間予測を行うことにより、画素の配置に従って効率良く符号化処理を行うことができる。またこれらのステップを繰り返すことで所望の階層まで解像度分解し、さらに符号量を削減することができる。

図２は、本発明による画像復号化装置の一実施例を示すブロック図である。
画像復号化装置２は、ストリーム解析部２０１、画像予測部２０２、逆量子化・逆変換部２０３、解像度合成メモリ２０４を備え、解像度合成メモリ２０４には２系統の補間処理部２０５，２０８、方向選択部２０６，２０９、画素合成部２０７，２１０を接続する。解像度合成メモリ２０４の出力端には、復号画像メモリ２１１、画像出力部２１２を接続する。

画像復号化装置２の各構成要素の動作を詳細に説明する。なお、ここでは前記実施例１の画像符号化装置１により作成された符号化データが入力された場合について説明する。
ストリーム解析部２０１は、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。

画像予測部２０２は、フラグや動きベクトル等の情報と、復号画像メモリ２１１からの復号済み画像（過去、未来、あるいは現フレーム）とを用いて予測を行い予測画像の作成を行う。なお入力ストリームが原画像の場合は、画像の予測は行わなくてもよい。
逆量子化・逆変換部２０３では、符号化データに対して逆量子化、逆変換を行い、画素データと高周波成分データに戻す。

解像度合成メモリ２０４は、多重解像度分解された画像データから合成した元の画像データを保持するメモリである。本実施例における多重解像度分解された画像の合成は、２段階の解像度合成ステップによって行う。補間処理部２０５、方向選択部２０６、画素合成部２０７によって行われる処理は、前記実施例１（図１）の第１ステップの逆処理であり逆第１ステップと呼び、補間処理部２０８、方向選択部２０９、画素合成部２１０によって行われる処理は、前記第２ステップの逆処理であり逆第２ステップと呼ぶことにする。

ここで、復号化時における逆第１ステップと逆第２ステップの順序は、符号化時の第１ステップと第２ステップの順序に対応させるようにする。すなわち、符号化時に先に第１ステップを行った場合には、復号化時は先に逆第２ステップを行い、符号化時に先に第２ステップを行った場合には、復号化時は先に逆第１ステップを行うようにする。これにより、補間予測に用いる参照画素のデータを不足することなく取得することができる。

本実施例では、前記実施例１の符号化条件に対応させ、まず逆第２ステップから処理を行う。
補間処理部２０８は、符号化時の第２ステップと同様に座標ｘとｙの両方が奇数の位置の画素を処理対象に選択し、補間予測を行う。この位置の画素は、符号化時に処理対象となった画素であり、符号化データでは高周波成分データΔＰ２として与えられる。補間方向は、第２ステップと同様に右斜め方向と左斜め方向の２方向とする。この方向に設定することで、参照画素のデータを不足することなく取得できる。補間における参照画素は、一列に並んだ４点を用いて、補間方法は線形補間、２次あるいは３次の多項式補間等を用いる。

方向選択部２０９は、補間処理部２０８によって補間予測された複数の方向（右斜め方向と左斜め方向）に対する予測値の中から１つの方向の予測値を選択する。予測値の選択方法は、第２ステップと同様に、例えば隣接画素間の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向の予測値を選択する。

画素合成部２１０は、処理対象画素の高周波成分ΔＰ２と、方向選択部２０９によって選択された予測値との和をとり、これを元の画素値として解像度合成メモリ２０４に保存する。これによって、処理対象画素についてその高周波成分ΔＰ２を合成して元の画像を復元する。

次に逆第１ステップの処理を行う。
補間処理部２０５は、第１ステップと同様に座標ｘとｙの一方のみが奇数となる位置の画素を処理対象に選択し、補間予測を行う。この位置の画素も高周波成分データΔＰ１として与えられており、まだ合成されていないものである。補間方向は第１ステップと同様に水平方向と垂直方向の２方向とする。この方向の画素は、前記逆第２ステップの結果画素値が合成され、参照画素として用いることができる。補間における参照画素は、一列に並んだ４点を用いて、補間方法は線形補間、２次あるいは３次の多項式補間等を用いる。

方向選択部２０６は、補間処理部２０５によって補間予測された複数の方向（水平方向と垂直方向）に対する予測値の中から１つの方向の予測値を選択する。予測値の選択方法は、第１ステップと同様に、例えば隣接画素間の絶対値誤差の和であるＬ１ノルムの合計値等を用いて、この値が最小となる方向の予測値を選択する。

画素合成部２０７は、処理対象画素の高周波成分ΔＰ１と、方向選択部２０６によって選択された予測値との和をとり、これを元の画素値として解像度合成メモリ２０４に保存する。これによって、処理対象画素についてその高周波成分ΔＰ１を合成して元の画像を復元する。

逆第２ステップと逆第１ステップの結果、高周波成分として与えられた全ての画素について画素値データを合成する。合成された復号画像は、復号画像メモリ２１１に格納され、画像出力部２１２から出力される。また、復号画像は画像予測部２０２での予測に利用される。

このように本実施例では、解像度合成処理において、複数の方向に対して補間予測を行う補間処理部２０５，２０８と、補間誤差のより小さい方向の予測値を選択する方向選択部２０６，２０９を設けたことに特徴がある。そして画素配列を考慮して効率的な処理を行うため２段階のステップで構成したことを特徴とする。これにより、符号量を削減して符号化された符号化データ（符号化ストリーム）を効率良くまた高精度に復号化し、復号画像の劣化を防止することができる。

図７は、本実施例における画像復号化方法のフローチャートを示す図である。簡単のために、ここでは原画像を予測なし（差分化処理なし）に復号化する場合を説明する。

ステップ７０１では、符号化ストリームを入力する。
ステップ７０２では、符号化データに対して逆量子化、逆変換を行い、画素値と高周波成分のデータに戻す。

ステップ７０３では、処理対象とする画像範囲を設定し多重解像度合成を開始する。複数の階層に分けて復号化する場合は、初回は最下位の階層（部分画像）から始め、繰り返し処理の場合は次の上位階層（未処理画像）を対象とする。
ステップ７０４では、逆第２ステップの解像度合成を開始する。まず、処理対象画素とその参照画素を設定する。ここではｘとｙの両方が奇数の位置を処理対象画素とし、それ以外を参照画素として、右斜め方向と左斜め方向に対して補間予測を行う。

ステップ７０５では、補間予測された２つの値を比較し補間誤差の小さい方の予測値を選択する。
ステップ７０６では、ステップ７０５で選択した予測値に処理対象画素の高周波成分ΔＰ２を加えて、対象画素の画素値を合成する。

ステップ７０７では、逆第２ステップの処理対象画素が全て終了したかどうかを判定する。終了していなければステップ７０４に戻り、次の画素を処理する。終了したらステップ７０８へ進む。
ステップ７０８では、逆第１ステップの解像度合成を開始する。まず、処理対象画素とその参照画素を設定する。ここでは逆第２ステップ（ステップ７０４）で対象としなかった画素の中で、ｘとｙの一方が奇数の位置を処理対象画素とし、それ以外を参照画素として、水平方向と垂直方向に対して補間予測を行う。

ステップ７０９では、補間予測された２つの値を比較し補間誤差の小さい方の予測値を選択する。
ステップ７１０では、ステップ７０９で選択した予測値に処理対象画素の高周波成分ΔＰ１を加えて、対象画素の画素値を合成する。

ステップ７１１では、逆第１ステップの処理対象画素が全て処理終了したかどうかを判定する。終了していなければステップ７０８に戻り、次の画素を処理する。終了したらステップ７１２へ進む。

ステップ７１２では、複数の階層に分けて復号化する場合、最上位の階層に達したかどうか判定する。さらに次の上位階層が残っている場合はステップ７０３へ戻り、未処理の画素からなる画像範囲を対象に設定して、次の階層の解像度合成（逆第２ステップと逆第１ステップ）を繰り返す。繰り返さない場合は、ステップ７１３へ進む。
ステップ７１３では、合成された復号画像を出力する。

このように多重解像度合成するとき、２段階のステップで方向の異なる補間予測を行うことにより、画素の配置に従って効率良く復号化処理を行うことができる。またこれらのステップを繰り返すことで所定の階層まで解像度合成し、精度良く復号化することができる。

以上述べた各実施例によれば、画像のそれぞれの領域において、解像度分解における画素の補間方向について最適な方向が選択される結果、それぞれの高周波成分の値が小さいものとなり符号化データ量が低減する。また、解像度合成における画素の補間方向について最適な方向が選択される結果、該符号化データを好適に復号化処理し復号画像の劣化を防止することができる。よって、圧縮効率の高い符号化を行う符号化装置と方法、及び画質の良い復号画像を復元する復号化装置と方法を実現できる。

なお、上記実施例において、符号化時に選択した補間方向を各処理対象画素毎に記憶し、符号化データに記述しておくこともできる。例えば方向選択部１０５，１０８にて選択した補間方向（補間予測値）が水平方向・垂直方向・右斜め方向・左斜め方向のいずれであったかを識別するフラグを付加しておく。そうしておけば、復号化時は符号化データに付加された識別フラグに従い、補間方向を一義に決定することができる。よって、補間処理部２０５，２０８の処理が低減し、また方向選択部２０６，２０９の処理が不要になる。

以上述べた符号化装置や復号化装置は、符号化された画像信号を扱う記録装置や再生装置、携帯電話、デジタルカメラ等に適用することが可能である。

さらに、本実施例による解像度分解方式は、画像の検索に利用することも可能である。例えば、一定の階層まで本実施例による解像度分解を行い、最後に残った参照画素の画像と、高周波成分を検索キーとして、データベースに格納された画像と検索対象画像の比較を行う。その際、画像の特徴を保持しつつ処理対象の画像を縮小するため、小さな画像を用いて高速な画像検索を行うことができるので、効率的な検索が可能となる。

また、本実施例による解像度合成方式は、低解像度の画像を高解像度に変換することに利用することも可能である。例えば、低解像度の画像を参照画像とし、高周波成分を適当な方式によって予測するか、または全て０として入力する。これらから画像を復元し、水平方向、垂直方向に２倍の解像度を持った画素数４倍の高解像度画像が得られる。その際、画像の各領域において補間方向を最適な方向に選択することで、ノイズが少なく、エッジのはっきりした高解像度画像を得ることができる。

本発明による画像符号化装置の一実施例を示すブロック図。 本発明による画像復号化装置の一実施例を示すブロック図。 本実施例における多重解像度分解の方法を詳細に説明する図。 方向選択部における予測値の選択方法の一例を示す図。 参照画素の設定の他の例を示す図。 画像符号化方法のフローチャートを示す図。 画像復号化方法のフローチャートを示す図。

符号の説明

１０１…画像入力部、１０２…画像予測部、１０３…解像度分解メモリ、１０４，１０７…補間処理部、１０５，１０８…方向選択部、１０６，１０９…画素分離部、１１０…変換・量子化部、１１１…符号出力部、１１２…逆量子化・逆変換部、１１３…解像度合成メモリ、１１４，１１７…補間処理部、１１５，１１８…方向選択部、１１６，１１９…画素合成部、１２０…復号画像メモリ、２０１…ストリーム解析部、２０２…画像予測部、２０３…逆量子化・逆変換部、２０４…解像度合成メモリ、２０５，２０８…補間処理部、２０６，２０９…方向選択部、２０７，２１０…画素合成部、２１１…復号画像メモリ、２１２…画像出力部。

Claims (16)

1. 画像を符号化する画像符号化装置であって、
   入力した画像から所定の間隔で第１の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行う第１の補間処理部と、
   該第１の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第１の方向選択部と、
   該第１の方向選択部にて選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する第１の画素分離部と、
   該第１の画素分離部にて分離された第１の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化する変換・量子化部と、
   該変換・量子化部にて変換・量子化された係数を符号化データとして出力する符号出力部とを備えることを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置であって、
   前記第１の補間処理部にて処理対象としなかった画素に対し、さらに所定の間隔で第２の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行う第２の補間処理部と、
   該第２の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第２の方向選択部と、
   該第２の方向選択部にて選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する第２の画素分離部とを備え、
   前記変換・量子化部は、前記第１の処理対象画素の高周波成分とともに、該第２の画素分離部にて分離された第２の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化することを特徴とする画像符号化装置。
3. 請求項２に記載の画像符号化装置であって、
   前記第１の補間処理部における第１の複数の補間方向と、前記第２の補間処理部における第２の複数の補間方向は、画素配列に対して水平方向、垂直方向、右４５度方向及び左４５度方向を含むことを特徴とする画像符号化装置。
4. 請求項２に記載の画像符号化装置であって、
   前記第１の方向選択部及び前記第２の方向選択部は、複数の方向における隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値を比較して、その値が小さくなる方向の補間予測値を選択することを特徴とする画像符号化装置。
5. 画像を符号化する画像符号化方法であって、
   第１の解像度分解ステップとして、
   入力した画像から所定の間隔で第１の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行い、
   補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、
   選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する工程を有し、
   該第１の解像度分解ステップにより分離された第１の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化し、
   変換・量子化された係数を符号化データとして出力することを特徴とする画像符号化方法。
6. 請求項５に記載の画像符号化方法であって、
   さらに第２の解像度分解ステップとして、
   前記第１の解像度分解ステップにて処理対象としなかった画素に対し、さらに所定の間隔で第２の処理対象画素を選択して、処理対象とならない他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行い、
   補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、
   選択された補間予測値と当該処理対象画素の画素値との差分を高周波成分として分離する工程を有し、
   前記第１の解像度分解ステップにて分離された第１の処理対象画素の高周波成分とともに、上記第２の解像度分解ステップにて分離された第２の処理対象画素の高周波成分と、処理対象としなかった他の参照画素の画素値を変換・量子化することを特徴とする画像符号化方法。
7. 請求項６に記載の画像符号化方法であって、
   前記第１の解像度分解ステップにおける第１の複数の補間方向と、前記第２の解像度分解ステップにおける第２の複数の補間方向は、画素配列に対して水平方向、垂直方向、右４５度方向及び左４５度方向を含むことを特徴とする画像符号化方法。
8. 請求項６に記載の画像符号化方法であって、
   前記第１の解像度分解ステップ及び前記第２の解像度分解ステップにおいて補間予測値を選択するとき、複数の方向における隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値を比較して、その値が小さくなる方向の補間予測値を選択することを特徴とする画像符号化方法。
9. 符号化された画像ストリームを復号化する画像復号化装置であって、
   符号化ストリームの符号化係数に対し逆量子化と逆変換を行い、画素値又は高周波成分を取得する逆量子化・逆変換部と、
   高周波成分が得られた画素から所定の間隔で第２の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行う第２の補間処理部と、
   該第２の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第２の方向選択部と、
   該第２の方向選択部にて選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する第２の画素合成部と、
   該第２の画素合成部にて合成された画像を出力する画像出力部とを備えることを特徴とする画像復号化装置。
10. 請求項９に記載の画像復号化装置であって、
    前記第２の補間処理部にて処理対象としなかった高周波成分が得られた画素に対し、さらに所定の間隔で第１の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行う第１の補間処理部と、
    該第１の補間処理部にて補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択する第１の方向選択部と、
    該第１の方向選択部にて選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する第１の画素合成部とを備え、
    前記画像出力部は、前記第２の画素合成部にて合成された画像とともに、該第１の画素合成部にて合成された画像を出力することを特徴とする画像復号化装置。
11. 請求項１０に記載の画像復号化装置であって、
    前記第２の補間処理部における第２の複数の補間方向と、前記第１の補間処理部における第１の複数の補間方向は、画素配列に対して水平方向、垂直方向、右４５度方向及び左４５度方向を含むことを特徴とする画像復号化装置。
12. 請求項１０に記載の画像復号化装置であって、
    前記第２の方向選択部及び前記第１の方向選択部は、複数の方向における隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値を比較して、その値が小さくなる方向の補間予測値を選択することを特徴とする画像復号化装置。
13. 符号化された画像ストリームを復号化する画像復号化方法であって、
    符号化ストリームの符号化係数に対し逆量子化と逆変換を行い、画素値又は高周波成分を取得し、
    第２の解像度合成ステップとして、
    高周波成分が得られた画素から所定の間隔で第２の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第２の複数の補間方向に対して補間予測を行い、
    補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、
    選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する工程を有し、
    上記第２の解像度合成ステップにて合成された画像を出力することを特徴とする画像復号化方法。
14. 請求項１３に記載の画像復号化方法であって、
    さらに第１の解像度合成ステップとして、
    前記第２の解像度合成ステップにて処理対象としなかった高周波成分が得られた画素に対し、さらに所定の間隔で第１の処理対象画素を選択して、画素値が得られた他の参照画素を用いて、各処理対象画素毎に第１の複数の補間方向に対して補間予測を行い、
    補間予測された複数の方向に対する補間予測値のうち、補間誤差の小さい方向の補間予測値を選択し、
    選択された補間予測値に当該処理対象画素の高周波成分を加えて画素値を合成する工程を有し、
    前記第２の解像度合成ステップにて合成された画像とともに、上記第１の解像度合成ステップにて合成された画像を出力することを特徴とする画像復号化方法。
15. 請求項１４に記載の画像復号化方法であって、
    前記第２の解像度合成ステップにおける第２の複数の補間方向と、前記第１の解像度合成ステップにおける第１の複数の補間方向は、画素配列に対して水平方向、垂直方向、右４５度方向及び左４５度方向を含むことを特徴とする画像復号化方法。
16. 請求項１４に記載の画像復号化方法であって、
    前記第２の解像度合成ステップ及び前記第１の解像度合成ステップにおいて補間予測値を選択するとき、複数の方向における隣接画素間の画素値の絶対値誤差の和であるＬ１ノルムの合計値を比較して、その値が小さくなる方向の補間予測値を選択することを特徴とする画像復号化方法。

Images