JP4448055B2 - 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム - Google Patents

Description

本発明は、画像信号変換方法を用いた画像符号技術、及び、画像信号逆変換方法を用いた画像復号技術に関する。

従来、静止画像や動画像データの伝送や蓄積を効率良く行うために、圧縮符号化技術が用いられている。特に、動画像の場合には、ＭＰＥＧ（Moving Picture Experts Group）１，２，４やＨ．２６１〜Ｈ．２６４の方式、静止画像の場合には、ＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００が用いられている。

これら殆どの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で、離散コサイン変換（以下、「ＤＣＴ」と記す。）を用いて、各ブロック自体、若しくは、これらのブロックに対する予測信号と当該ブロックとの差分信号を、周波数領域に変換する。そして、変換された変換係数を量子化することにより、原画像の信号のデータ量を圧縮する。再生時には、圧縮されたデータから各ブロックの信号を逆量子化した上で、逆離散コサイン変換（以下、「ＩＤＣＴ」と記す。）を施して、画素領域の信号または差分信号に復元する。ＤＣＴを用いた符号化は、例えば特許文献１に記載されている。

図１は、従来技術におけるＤＣＴ処理を説明するための図である。
図示する例は、４つの画素を周波数領域に変換する場合に該当する。４つの画素ａ０，ａ１，ａ２，ａ３は、それぞれ入力端子１０１〜１０４より入力される。加算器１１３にてａ０とａ３とが加算され、減算器１１４にてａ０とａ３との差分が求められる。同様に、ａ１，ａ２は、加算器１１５と減算器１１６とにて処理される。これらの結果は、端子１０５〜１０８をそれぞれ経由して次段に送られる。端子１０５，１０６からの信号は、加算器１１７と減算器１１８とにて処理され、端子１０７，１０８からの信号は、加算器１１９と減算器１２０と乗算器１２１と１２２とにて処理される。このようにして得られた結果は、周波数領域の係数となり、端子１０９〜１１２経由で出力される。

図２は、従来の技術におけるＩＤＣＴ処理を説明するための図である。
周波数領域の係数は、それぞれ入力端子２０１〜２０４から入力される。端子２０１，２０２からの係数は、加算器２１３と減算器２１４とにて処理され、端子２０３，２０４からの係数は、減算器２１５と加算器２１６と乗算器２２１，２２２とにて処理される。得られた信号は、端子２０５〜２０８経由で次段に送られる。端子２０５，２０８からの信号は、加算器２１７と減算器２１８とにて処理され、端子２０６，２０７からの信号は、加算器２１９と減算器２２０とにて処理される。周波数領域の係数は、元の画素ａ０，ａ１，ａ２，ａ３に逆変換された後、端子２０９〜２１２からそれぞれ出力される。
上述のように、符号化装置は、画像を周波数領域に変換して入力信号をコンパクトに表現することにより、効率の良い符号化を実現する。
米国特許公報 第５１９６９４６号

しかしながら、上述した従来の変換方法では、変換の対象となる信号が一種類の変換方式で変換されるため、エネルギーの集中度を高めることが困難である。すなわち、対象となる信号間の相関が高い場合には、エネルギーの集中度が高まり、効率良く符号化することができるが、信号本来の相関が低い場合には、ＤＣＴによる係数は、周波数帯域の広範囲に広がる。この結果、効率の良い符号化は困難となる。

一般的に、撮影された静止画像や動画像の信号は相関が高いため、ＤＣＴを用いた高効率の符号化が可能である。これに対して、画面内予測や画面間予測によって得られる予測信号と符号化の対象となる画像信号との差分をとった場合、その差分信号の相関は高くない。したがって、ＤＣＴを用いても、コンパクトにその差分信号を表すことは困難となる。

そこで、本発明の課題は、変換の対象となる信号の相関が高くない場合であっても、信号のエネルギーを集中させることで、効率良く信号を表すことである。

上記課題を解決するために、本発明に係る画像信号変換方法は、所定の変換規則に従って、２^Ｎ個（Ｎは自然数）の入力サンプルから２^Ｎ個の変換サンプルを生成する画像信号変換方法であって、前記変換規則に従って定まった第ｎ対（ｎ＝１〜２^Ｎ−１）の入力サンプルのうちの１つの入力サンプルのみを第ｎ番目の重み係数で重み付けした上で、第１変換演算を行い、第ｎ対の中間値を生成する中間値生成ステップと、当該中間値生成ステップにて生成された２^Ｎ個の中間値を入力とし、前記変換規則に従って定まった第ｍ対（ｍ＝１〜２^Ｎ−１）の中間値のうちの１つの中間値のみを第ｍ番目の重み係数で重み付けした上で、第２変換演算を行い、第ｍ対の変換サンプルを生成する変換係数生成ステップと、変換サンプルをエントロピー符号化した際に符号量を最も少なくさせる重み係数を決定し、中間値生成ステップにおける第ｎ番目の重み係数及び変換係数生成ステップにおける第ｍ番目の重み係数の少なくとも一方を決定した重み係数に設定する重み決定ステップとを含む。

本発明によれば、対象となる信号に対して、所定の重み付け処理を施すことによって、信号が、本来の特性に適した変換基底で変換される。このため、エネルギーの集中度を高めることができ、効率良く信号を符号化することができる。

本発明に係る画像信号逆変換方法は、所定の変換規則に従って、２^Ｎ個（Ｎは自然数）の変換サンプルより２^Ｎ個の出力サンプルを生成する画像信号逆変換方法であって、前記変換規則に従って定まった第ｎ対（ｎ＝１〜２^Ｎ−１）の変換サンプルのうちの１つの変換サンプルのみを第ｎ番目の重み係数で重み付けした上で、第１変換演算を行い、第ｎ対の中間値を生成する中間値生成ステップと、当該中間値生成ステップにて生成された２^Ｎ個の中間値を入力とし、前記変換規則に従って定まった第ｍ対（ｍ＝１〜２^Ｎ−１）の中間値のうちの１つの中間値のみを第ｍ番目の重み係数で重み付けした上で、第２変換演算を行い、第ｍ対の出力サンプルを生成する出力値生成ステップとを含み、変換サンプルをエントロピー符号化した際に符号量を最も少なくさせる重み係数が決定されており、中間値生成ステップにおける第ｎ番目の重み係数及び出力値生成ステップにおける第ｍ番目の重み係数の少なくとも一方が決定された重み係数に設定されている。

本発明に係る画像信号変換方法は、画像符号化装置における変換処理に対しても適用できる。
すなわち、画像符号化装置は、符号化の対象となる入力画像を入力する入力手段と、当該入力手段により入力された入力画像を複数の符号化領域に分割する領域分割手段と、当該領域分割手段により分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する予測手段と、上述した画像信号変換方法を用いて、前記予測手段により生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換手段と、当該変換手段により変換された変換係数を符号化する符号化手段とを備える。

なお、上記画像符号化装置において好ましくは、前記変換手段は、上述の画像信号変換方法における中間値生成ステップと変換係数生成ステップにて、複数の重み係数の中から、前記変換対象信号のエネルギー集中度が最も高くなるような重み係数を選択し、当該重み係数の識別情報をさらに符号化する。

また、本発明に係る画像符号化方法は、符号化の対象となる入力画像を入力する入力ステップと、当該入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、当該領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する予測ステップと、上述した画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、当該変換ステップにて変換された変換係数を符号化する符号化ステップとを含む。

同様に、本発明に係る画像信号逆変換方法は、画像復号装置における逆変換処理に対しても適用できる。
すなわち、画像復号装置は、複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する入力手段と、当該入力手段により入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号手段と、上述した画像信号逆変換方法を用いて、前記復号手段により生成された復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換手段とを備える。

なお、上記画像復号装置において好ましくは、前記圧縮データは、上述の画像信号逆変換方法における中間値生成ステップまたは出力値生成ステップにて用いられた重み係数の識別情報を含み、前記復号手段は、前記識別情報を復号し、当該識別情報に対応した重み係数を用いて、前記中間値生成ステップまたは前記出力値生成ステップの処理を行う。

また、本発明に係る画像復号方法は、複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する入力ステップと、当該入力ステップにて入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、上述した画像信号逆変換方法を用いて、前記復号ステップにて生成された復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップとを含む。

さらに、本発明に係る符号化技術は、プログラムへの適用も可能である。
すなわち、符号化プログラムは、符号化の対象となる入力画像を入力する処理と、当該入力された入力画像を複数の符号化領域に分割する処理と、当該分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する処理と、上述の画像信号変換方法を用いて、前記生成された変換対象信号を入力サンプルとして変換サンプルを生成し、当該変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する処理と、当該変換された変換係数を符号化する処理とをコンピュータに実行させる。

同様に、本発明に係る復号プログラムは、複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する処理と、当該入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する処理と、上述の画像信号逆変換方法を用いて、前記復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する処理とをコンピュータに実行させる。

これらの発明によれば、対象となる信号に対して、所定の重み付けを施すことによって、当該信号を、本来の特性に適した変換基底で変換することができる。これにより、エネルギーの集中度が高まり、信号を効率良く符号化することができる。とりわけ、差分信号のように信号間の相関の低い信号に対して所定の重み付けを施すことによって、信号の相関は高まり、その結果、符号化効率が向上する。

以下、添付図面を参照しながら、本発明の一実施形態における画像信号変換装置について説明する。
図３は、本発明に係る画像信号変換装置の構成を示す図である。
本実施の形態における画像信号変換装置３００は、入力端子３０１〜３０４と、接続端子３０５〜３０８と、出力端子３０９〜３１２と、減算器３１７，３２２，３２７，３３４と、加算器３２１，３２６，３３３，３３８と、重み付け器３１８，３２３，３２９，３３５と、乗算器３２０、３２５、３２８、３３２、３３７とを備えて構成される。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。

画像信号変換装置３００は、図４に示す４×４画素からなる画像信号５０１を入力とする。図４において、各升目は１画素に対応する。
以下、４画素からなる一列の信号、すなわち図４の画素５０２〜５０５を入力とする１次元変換について説明するが、図４の各行に対して同じ処理を行ってもよい。さらに、各列に対して、後述の変換処理を行った上で、その結果を行単位で処理してもよい。

図４の画素“ａ０”（５０２）〜“ａ３”（５０５）は、それぞれ入力端子３０１〜３０４に入力される。入力端子３０４から入力された画素“ａ３”は、ｗ_１（３１８）で重み付け処理された後、その結果が、入力端子３０１に入力された画素“ａ０”から引き算される。このようにして得られた中間値は、接続端子３０５に出力されると同時に、加算器３２１に出力される。

加算器３２１では、上記中間値と乗算器３２０にて２倍にされた画素“ａ３”とを加算する。このように加算された中間値は、接続端子３０８に出力される。すなわち、画像信号変換装置３００は、重み付け器３１８と演算器３１７と演算器３２０，３２１とからなるモジュールを基本変換モジュール３１３とし、入力信号を変換することになる。

変換の対象となる対象信号が２画素からなる場合には上述した処理で完了するが、本実施の形態では４つの画素を変換対象とするため、画素“ａ１”と“ａ２”についても同様に、重み付け器３２３と演算器３２２と演算器（３２５と３２６）とからなる変換モジュール３１４によって変換される。
本実施の形態では、重み付け器３２３は、重み付け器３１８とは異なる重み係数によって処理するが、同じ重み係数を用いてもよい。

変換モジュール３１３，３１４より得られた中間値は、変換モジュール３１５と変換モジュール３１６に出力され、類似する処理が施される。
変換モジュール３１５にある重み付け器３２９、演算器（３２８，３２７）、演算器（３３２，３３３）は、変換モジュール３１３，３１４のそれとは異なる。しかし、１つの入力（接続端子３０６からの入力）信号を重み付け処理した上で、他方の入力（接続端子３０５からの入力）信号から引き算し、その引き算結果が、接続端子３０６からの入力信号に再び加算される、という基本プロセスは同様である。

接続端子３０７，３０８から入力された中間値の信号についても同様に、端子３０９〜３１２より変換された周波数成分の係数が出力される。図３に示した重み係数ｗ_１〜ｗ_４は、全て“１”の値をとる場合には、図１に示す変換と同様になる。すなわち、本発明に係る画像信号変換方法は、従来の変換方法における変換規則に従って処理を行いながら、重み係数ｗ_１〜ｗ_４を変化させることにより、変換の対象となる信号に適した変換基底で信号変換を行うことができる。

なお、図３の変換モジュール３１３において、重み付け器３１８にある重み係数ｗ_１は、請求項１に記載の「第ｎ番目の重み係数」に対応し、減算器３１７による減算処理、及び、乗算器３２０、加算器３２１による加算処理は、請求項１に記載の「第１変換演算」に対応する。また、変換モジュール３１４において、重み付け器３２３による重み係数ｗ_２は、請求項１に記載の「第ｎ番目の重み係数」に対応し、減算器３２２による減算処理、及び、乗算器３２５、加算器３２６による加算処理は、請求項１に記載の「第１変換演算」に対応する。

変換モジュール３１５において、重み付け器３２９にある重み係数ｗ_３は、請求項１に記載の「第ｍ番目の重み係数」に対応し、乗算器３２８、減算器３２７による減算処理、及び、乗算器３２０、加算器３２１による加算処理は、請求項１に記載の「第２変換演算」に対応する。また、変換モジュール３１６において、重み付け器３３５による重み係数ｗ_４は、請求項１に記載の「第ｍ番目の重み係数」に対応し、減算器３３４による減算処理、及び、乗算器３３７、加算器３３８による加算処理は、請求項１に記載の「第２変換演算」に対応する。

次に、図５を参照して、画像信号の逆変換処理について説明する。
図５は、画像信号変換装置３００による信号変換処理に対応した逆変換処理を行う画像信号逆変換装置の構成を示すブロック図である。本実施の形態における画像信号逆変換装置４００は、入力端子４０１〜４０４と、接続端子４０５〜４０８と、出力端子４０９〜４１２と、減算器４１９，４２３，４２８，４３３と、加算器４３７，４４０，４３０，４３５と、重み付け器４２０，４２６，４２９，４３４と、乗算器４２１，４２５，４３１，４３６とを備える。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。

画像信号逆変換装置４００は、画像信号変換装置３００と逆の処理を行う。画像信号逆変換装置４００は、周波数領域の係数を画素領域の信号に逆変換する装置であり、４つの基本変換モジュール４１３〜４１６から構成される。
図５に示すように、画像信号逆変換装置４００は、上述の信号変換処理によって得られた変換係数を入力端子４０１〜４０４から入力する。入力端子４０１から入力された係数は、引き算器４１９にて、入力端子４０２から入力された係数と演算（引き算）される。

演算結果は、１／２倍（４３９）された後、中間値として接続端子４０６に出力される。同時に、この引算結果は、重み付け器４２０にてｗ_３の係数で重み付けされた上で、入力端子４０１からの入力信号と演算される。この演算処理は、乗算器４２１，４２２と加算器４３７とが実行する。
同様に、入力端子４０３，４０４から入力された変換係数は、変換モジュール４１４により処理される。得られた中間値は、接続端子４０５〜４０８に出力された後、変換モジュール４１５，４１６によって、画素領域の信号に逆変換される。図５の乗算器４２２，４２５，４３１，４３６は、図３に示した入力信号と同じマグニチュードになるように乗算係数を決定する。また、図５の重み付け器４２１，４２６，４２９，４３４は、図３に示した変換モジュール３１３〜３１６にある重み付け器に対応し、逆変換した結果が変換前の信号と同一となるように、各重み係数を決定する。
なお、図５の重み係数ｗ_１〜ｗ_４が全て“１”の値をとる場合には、図２を参照して説明した逆変換処理と同様となる。

本実施の形態では、変換モジュールは、引き算結果を加算するものとしたが、これとは逆に、加算結果を引き算する方法を採ってもよい。この場合には、画像信号逆変換装置は、変換器の入力エネルギーと逆変換器の出力エネルギーとが保持されるように、乗算器の係数を設定すればよい。
また、４画素の入力信号について説明したが、Ｎ画素（Ｎは任意の自然数）の入力信号については、従来のＮ×ＮのＤＣＴ変換装置やＩＤＣＴ変換装置における演算処理（加算・減算）に先立って、対応する重みを設けて、データを処理すればよい。

ここで、画像信号の変換と逆変換に用いられた重みについて説明する。
本実施の形態では、１９／１６，１８／１６，１７／１６，…，５／１６，４／１６の計１６個の係数から、処理対象となる信号のエネルギー集中度を最も高くするものが選ばれる。ｗ_１〜ｗ_４の各係数は同じ値をとるが、異なる係数を用いてもよい。また、信号によって、ｗ_３を「１」に固定し、それ以外の係数として上述した何れかの値を用いてもよい。あるいは、ｗ_１〜ｗ_３をそれぞれ「１」に固定し、ｗ_４のみ可変にしてもよい。さらには、上述した１６個の係数以外の係数を用いてもよい。

画像信号逆変換装置４００は、ｗ_１〜ｗ_４の重み係数で入力信号を重み付けることにより、実質的に、変換基底を変更することになる。
かかる処理について、図６及び図７を参照して説明する。図６は、従来技術における変換・逆変換を行うための行列を示す図である。行列６０１は変換行列、行列６０２は逆変換行列、行列６０３はエネルギーを保存化するための正規化行列である。これに対して、図７は、本発明に係る変換・逆変換を行うための行列を示す図である。行列７０１は変換行列、行列７０２は逆変換行列、行列７０３はエネルギーを保存化するための正規化行列である。

両図を比較すると、ｗ_１〜ｗ_４によって、従来の変換・逆変換行列の基底が変更されることになるが、ｗ_１〜ｗ_４の各値が１の場合には、従来の変換・逆変換行列となる。すなわち、画像信号逆変換装置４００は、ｗ_１〜ｗ_４の値を変更することによって変換基底を調整することができるので、変換の対象となる信号に適した変換を行うことができる。

続いて、上述した画像信号変換処理を用いた画像符号化装置、方法、プログラムについて説明する。
図８は、本実施の形態における画像符号化装置の構成を示す図である。図８に示すように、画像符号化装置８００は、入力端子８０１と、ブロック分割器８０２と、画面内予測器８０３と、画面間予測器８０４と、接続端子８０５，８０６，８０７，８０８，８１０と、切替えスイッチ８０９と、加算器８１１と、フレームメモリ８１２と、変換器８１３と、量子化器８１４と、逆量子化器８１５と、逆変換器８１６と、加算器８１７と、重み決定器８１８と、エントロピー符号化器８１９と、出力端子８２０とを備える。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。
以下、画面内予測器８０３と画面間予測器８０４とを含む構成要素は、予測信号生成器８２１と総称する。

動画像を構成する複数の画像が入力端子８０１から入力されると、これらの画像は、ブロック分割器８０２により、Ｎ×Ｍ画素からなるブロックに分割される。
本実施の形態では、Ｎ＝Ｍ＝８であるが、Ｎ≠Ｍであってもよいし、８画素以外の分割でもよい。
符号化の対象となるブロックは、ラインＬ８２０ａを経由して画面内予測器８０３と画面間予測器８０４とに入力される。

画面内予測器８０３は、符号化の対象となるブロック信号、及びフレームメモリ８１２に格納されている同じ画面を構成する既に再生された画像信号を入力し、標準規格Ｈ．２６４と同様の画面予測信号を生成する。
画面間予測８０４は、符号化の対象となるブロック、及びフレームメモリ８１２に格納されている既再生された異なる画面の信号を入力し、標準規格Ｈ．２６４と同様の動き検出予測を用いて画面間予測信号を生成する。

画像符号化装置８００は、端子８０５から何も入力されない場合、つまり原信号をそのまま符号化の対象とする場合を想定している。切替えスイッチ８０９は、画面内予測器８０３による予測信号と、画面間予測器８０４による予測信号と、予測信号無しの３つのモードのうち、符号量の最も少ないモードを選択する。決定された予測信号は、加算器８１１に出力された後、符号化の対象となるブロックとの差分が算出される。切替えスイッチ８０９が端子８０８に接続する場合、端子８０５からの入力は“０”であるため、加算器８１１の出力は、符号化対象ブロックそのものになる。差分信号は、重み決定器８１８に出力される。

重み決定器８１８は、上記差分信号を複数の重み係数を用いて、上述した画像信号変換処理を実行した後、変換係数の符号量を推測する。
本実施の形態では、重み決定器８１８は、変換係数をエントロピー符号化した上で符号量の最も少ない重みを決定し、その重みを識別する識別子（識別情報に対応）を変換器８１３に出力する。変換器８１３は、重み決定器８１８にて決定された重みを用いて変換を行う。変換器８１３は、８×８画素のブロックをさらに４×４画素単位で分割し、各４×４ブロックに対して重み付け変換を施す。

なお、重み決定器８１８の実行する処理を変換器８１３に組み込んで、変換器８１３が、複数の重み付け変換を行いながら最適な重み付け変換を決定すると同時に、変換係数を生成するものとしてもよい。
また、本実施の形態では、８×８ブロックに含まれる４つの４×４ブロックは、全て同一の重み付け変換によって処理されるものとしたが、変換器８１３は、各４×４ブロックにそれぞれ異なる重み付け変換を施してもよい。

このようにして得られた変換係数は量子化器８１４に出力され量子化される。量子化された係数は、エントロピー符号化器８１９に送られ可変長符号化された後、出力端子８２０から出力される。
一方、量子化された係数は、逆量子化器８１５にて逆量子化された上で、重み決定器８１８により決定された重みを用いて、逆変換器８１６にて逆変換される。その結果は、加算器８１７において、ラインＬ８１１経由の予測信号に加算され、再生信号が生成される。生成された再生信号はフレームメモリ８１２に格納される。重み決定器８１８にて決定された重み係数に関する識別子は、ラインＬ８１４を経由してエントロピー符号化器８１９に入力された後、他のデータと共に出力端子８２０から出力される。

以下、図９を参照して、本発明に係る画像符号化装置の動作、併せて、画像符号化方法を構成する各ステップを説明する。図９は、画像符号化装置８００の実行する画像符号化処理を説明するためのフローチャートである。
符号化の対象となる画像が入力されると（Ｓ１）、その画像は、８×８画素からなるブロックに分割される（Ｓ２）。
Ｓ３では、符号化の対象となるブロックに対する予測信号が生成される。本実施の形態では、予測信号の生成方法として、“画面内予測”、“画面間予測”、“予測なし”の３つのモードが選択される。これらの方法で生成された予測信号の候補のうち、誤差が最少の信号が予測信号に決定される。

Ｓ４では、予測信号と符号化の対象となるブロックとの差分から、差分信号が生成される。
Ｓ５では、４×４サンプル単位に分割された差分信号に対し、複数の重み係数を用いて上述の方法で変換処理が施され、信号を最もコンパクトに纏められる重み係数が決定される。
例えば、符号量または画質を高くする場合には、画像符号化装置８００は、重み係数ｗ_１〜ｗ_３を「１」とするとともに、重み係数ｗ_４については、上述した１６通りの値の何れかを用いる。一方、符号量または画質を低くする場合には、重み係数ｗ_３を「１」とし、重み係数ｗ_１，ｗ_２，ｗ_４を、上述した１６通りの値の何れかとする。

Ｓ６では、Ｓ５で決定された重み係数に応じた変換処理が実行される。その後、各変換係数は量子化され、量子化変換係数が生成される（Ｓ７）。
上記量子化変換係数は逆量子化された後（Ｓ８）、Ｓ５で決定された重み係数を用いて逆変換される。その結果、再生係数が生成される（Ｓ９）。
Ｓ１０では、生成された上記再生係数が、Ｓ３で決定された予測信号に加算される。その結果、再生ブロックが生成される。
再生ブロックは、一時的にフレームメモリ８１２に格納される。これと同時に、上記量子化変換係数と重み係数の識別子とがエントロピー符号化され、出力される（Ｓ１１）。

Ｓ３〜Ｓ１１の一連の処理は、Ｓ２における分割処理により生成された全ての領域に関して実行され（Ｓ１２；ＮＯ）、これら全領域に関して処理が完了した時点で画像符号化処理は終了する。
なお、画像符号化装置８００が、Ｓ５にて変換時の重み係数を決定する際に得られた変換係数を出力すれば、変換処理を改めて行う必要はなくなり、Ｓ６の処理を省略することもできる。

上述した画像信号逆変換処理を用いた画像復号装置、方法、プログラムについて説明する。
図１０は、本実施の形態における画像復号装置の構成を示す図である。図１０に示すように、画像復号装置９００は、入力端子９１０と、データ解析器９１１と、逆量子化器９１２と、逆変換器９１３と、加算器９１４と、予測信号生成器９１５と、フレームメモリ９１６と、出力端子９１７とを備える。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。

入力端子９１０は、複数の領域に分割された画像に対して画面内予測または画面間予測を行った上で変換符号化することにより生成された圧縮データを、入力する。
データ解析器９１１は、圧縮データを解析し、エントロピー復号処理を行う。また、量子化された変換係数、量子化に関する情報、予測信号の生成に関するモード情報、及び、逆変換処理に用いられる重み係数の識別子（識別情報に対応）を抽出する。

逆量子化器９１２は、上記量子化された変換係数、及び量子化に関する情報をラインＬ９１２経由で入力し、逆量子化された変換係数を生成する。
逆変換器９１３は、逆量子化された変換係数をラインＬ９１５経由で入力するとともに、逆変換処理に用いられる重み係数の識別子をラインＬ９１４経由で入力する。そして、指定された重み係数を用いて、逆変換が行われ逆変換信号を生成する。

予測信号生成器９１５は、予測信号の生成に関するモード情報をラインＬ９１３経由で入力すると、その情報を参照して、画面内予測、画面間予測、予測なしの中から最適なモードを選択し、予測信号を生成する。
加算器９１４は、ラインＬ９１６経由で入力された逆変換信号と、ラインＬ９１７経由で入力された予測信号とを加算する。
フレームメモリ９１６は、上記加算の結果を格納し、出力端子９１７は、これを表示する。

以下、図１１を参照して、本発明に係る画像復号装置の動作、併せて、画像復号方法を構成する各ステップを説明する。図１１は、画像復号装置９００の実行する画像復号処理を説明するためのフローチャートである。
圧縮データが入力されると（Ｔ１）、エントロピー復号が行われ、量子化された変換係数、量子化に関する情報、予測信号生成に関するモード情報、重み係数の識別子が、上記圧縮データから抽出される（Ｔ２）。
Ｔ３では、上記予測信号生成に関するモード情報に基づき、予測信号が生成される。

Ｔ４では、量子化された変換係数が逆量子化され、Ｔ５では、重み係数識別子によって指定された重み係数に応じて、逆変換処理が行われる。その結果、逆変換信号が生成される。
Ｔ６では、Ｔ３で生成された予測信号と、Ｔ５で生成された逆変換信号とが加算され、再生ブロック信号が生成される。この再生ブロック信号は、Ｔ７にて、フレームメモリ９１６に一時格納される。
Ｔ２〜Ｔ７の一連の処理は、Ｔ１にて入力された全ての圧縮データに関して実行され（Ｔ８；ＮＯ）、これら全データに関する処理が完了した時点で画像復号処理は終了する。

ここで、本発明に係る画像符号化技術は、コンピュータを画像符号化装置８００として動作させるための画像符号化プログラムとして実現することもできる。
図１２は、本発明に係る画像符号化プログラム１０００の構成を示す図である。画像符号化プログラム１０００は、記録媒体１０００ａに記録されている。記録媒体１０００ａは、例えば、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）、あるいは半導体メモリである。

画像符号化プログラム１０００は、図１２に示すように、画像入力モジュール１００１と、画像ブロック化モジュール１００２と、予測信号生成モジュール１００３と、差分信号生成モジュール１００４と、変換用重み決定モジュール１００５と、変換モジュール１００６と、量子化モジュール１００７と、逆量子化モジュール１００８と、逆変換モジュール１００９と、加算モジュール１０１０と、エントロピー符号化モジュール１０１２とを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した画像符号化装置８００（図８参照）の入力端子８０１、ブロック分割器８０２、予測信号生成器８２１、加算器８１１、重み決定器８１８、変換器８１３、量子化器８１４、逆量子化器８１５、逆変換器８１６、加算器８１７、エントロピー符号化器８１９の各機能とそれぞれ同様である。記憶モジュール１０１１を実行させることによって格納されるデータは、フレームメモリ８１２に格納されるデータと同様である。

また、本発明に係る画像復号技術は、コンピュータを画像復号装置９００として動作させるための画像復号プログラムとしても実現可能である。
本発明に係る画像復号プログラム１１００は、例えば、図１３に示すような構成を採ることができる。画像復号プログラム１１００は、記録媒体１１００ａに記録されている。記録媒体１１００ａは、例えば、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは半導体メモリである。

画像復号プログラム１１００は、図１３に示すように、圧縮データ入力モジュール１１０１と、エントロピー復号モジュール１１０２と、予測信号生成モジュール１１０３と、逆量子化モジュール１１０４と、逆変換モジュール１１０５と、加算モジュール１１０６とを構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した画像復号装置９００の入力端子９１０、データ解析器９１１、予測信号生成器９１５、逆量子化器９１２、逆変換器９１３、加算器９１４の有する各機能とそれぞれ同様である。記憶モジュール１１０７を実行させることによって格納されるデータは、フレームメモリ９１６に格納されるデータと同様である。

図１４は、記録媒体１０００ａ，１１００ａに記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
図１４に示すように、コンピュータ１０は、ＦＤＤ（Flexible Disk Drive）、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置を始めとするデータ読取装置１１と、ＯＳを常駐させるための作業用メモリ（ＲＡＭ：RandomAccess Memory）１２と、記録媒体１０００ａ，１１００ａから読み出されたプログラムを記憶するメモリ１３と、表示装置としてのディスプレイ１４と、入力装置としてのマウス１５及びキーボード１６と、データの送受信を行うための通信装置１７と、プログラムの実行を統括的に制御するＣＰＵ１８とを備える。

コンピュータ１０は、記録媒体１０００ａ，１１００ａが読取装置１１に挿入されると、読取装置１１を介して、記録媒体１０００ａ，１１００ａにそれぞれ記録された画像符号化プログラム１０００、画像復号プログラム１１００にアクセス可能となる。コンピュータ１０は、画像符号化プログラム１０００をＣＰＵ１８により実行することで、上述した画像符号化装置８００として動作する。同様に、コンピュータ１０は、画像復号プログラム１１００をＣＰＵ１８により実行することで、上述した画像復号装置９００として動作することが可能になる。

図１５は、記録媒体１０００ａ，１１００ａに記録されているプログラムを実行するためのコンピュータ１０の外観斜視図である。コンピュータ１０には、ＰＣ（Personal Computer）に限らず、ＣＰＵを具備し、ソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１５に示すように、画像符号化プログラム１０００または画像復号プログラム１１００は、搬送波に重畳されたデータ信号２０として、ネットワーク経由で提供（ダウンロード）されるものであってもよい。この場合、コンピュータ１０は、通信装置１７によって、画像符号化プログラム１０００若しくは画像復号プログラム１１００を受信し、メモリ１３に格納した後に、これらのプログラムを実行する。

以上説明したように、本発明に係る画像符号化復号技術（装置、方法、プログラム）によれば、信号変換処理に際して、入力信号の相関が高くなるように重み付け変換処理を行う。これにより、信号を更にコンパクトに表すことができるため、画像信号を効率良く符号化することが可能となる。

従来技術における離散コサイン変換処理を説明するための図である。 従来技術における逆離散コサイン変換処理を説明するための図である。 本発明の一実施形態における画像信号変換装置の構成を示す図である。 変換処理の対象となる画像信号の一例を概念的に示す図である。 本発明の一実施形態における画像信号逆変換装置の構成を示す図である。 変換と逆変換を行うための従来の行列の一例を示す図である。 変換と逆変換を行うための本発明に係る行列の一例を示す図である。 本発明の一実施形態における画像符号化装置の構成を示す図である。 画像符号化装置の動作を説明するためのフローチャートである。 本発明の一実施形態における画像復号装置の構成を示す図である。 画像復号装置の動作を説明するためのフローチャートである。 画像符号化プログラムの構成を概念的に示す図である。 画像復号プログラムの構成を概念的に示す図である。 画像符号化・復号プログラムを実行するコンピュータの概略構成を示す図である。 画像符号化・復号プログラムを実行するコンピュータの外観斜視図である。

符号の説明

３００…画像信号変換装置、４００…画像信号逆変換装置、８００…画像符号化装置、８０１…入力端子、８０２…ブロック分割器、８０３…画面内予測器、８０４…画面間予測器、８０５，８０６，８０７，８０８，８１０…接続端子、８０９…切替えスイッチ、８１１…加算器、８１２…フレームメモリ、８１３…変換器、８１４…量子化器、８１５…逆量子化器、８１６…逆変換器、８１７…加算器、８１８…重み決定器、８１９…エントロピー符号化器、８２０…出力端子、９００…画像復号装置、９１０…入力端子、９１１…データ解析器、９１２…逆量子化器、９１３…逆変換器、９１４…加算器、９１５…予測信号生成器、９１６…フレームメモリ、９１７…出力端子、１０００…画像符号化プログラム、１００１…画像入力モジュール、１００２…画像ブロック化モジュール、１００３…予測信号生成モジュール、１００４…差分信号生成モジュール、１００５…変換用重み決定モジュール、１００６…変換モジュール、１００７…量子化モジュール、１００８…逆量子化モジュール、１００９…逆変換モジュール、１０１０…加算モジュール、１０１１…記憶モジュール、１０１２…エントロピー符号化モジュール、１１００…画像復号プログラム、１１０１…圧縮データ入力モジュール、１１０２…エントロピー復号モジュール、１１０３…予測信号生成モジュール、１１０４…逆量子化モジュール、１１０５…逆変換モジュール、１１０６…加算モジュール、１１０７…記憶モジュール１１０７

Claims (9)

1. 所定の変換規則に従って、２^Ｎ個（Ｎは自然数）の入力サンプルから２^Ｎ個の変換サンプルを生成する画像信号変換方法であって、
   前記変換規則に従って定まった第ｎ対（ｎ＝１〜２^Ｎ−１）の入力サンプルのうちの１つの入力サンプルのみを第ｎ番目の重み係数で重み付けした上で、第１変換演算を行い、第ｎ対の中間値を生成する中間値生成ステップと、
   当該中間値生成ステップにて生成された２^Ｎ個の中間値を入力とし、前記変換規則に従って定まった第ｍ対（ｍ＝１〜２^Ｎ−１）の中間値のうちの１つの中間値のみを第ｍ番目の重み係数で重み付けした上で、第２変換演算を行い、第ｍ対の変換サンプルを生成する変換係数生成ステップと、
   前記変換サンプルをエントロピー符号化した際に符号量を最も少なくさせる重み係数を決定し、前記中間値生成ステップにおける前記第ｎ番目の重み係数及び前記変換係数生成ステップにおける前記第ｍ番目の重み係数の少なくとも一方を前記決定した重み係数に設定する重み決定ステップと、
   を含むことを特徴とする画像信号変換方法。
2. 所定の変換規則に従って、２^Ｎ個（Ｎは自然数）の変換サンプルより２^Ｎ個の出力サンプルを生成する画像信号逆変換方法であって、
   前記変換規則に従って定まった第ｎ対（ｎ＝１〜２^Ｎ−１）の変換サンプルのうちの１つの変換サンプルのみを第ｎ番目の重み係数で重み付けした上で、第１変換演算を行い、第ｎ対の中間値を生成する中間値生成ステップと、
   当該中間値生成ステップにて生成された２^Ｎ個の中間値を入力とし、前記変換規則に従って定まった第ｍ対（ｍ＝１〜２^Ｎ−１）の中間値のうちの１つの中間値のみを第ｍ番目の重み係数で重み付けした上で、第２変換演算を行い、第ｍ対の出力サンプルを生成する出力値生成ステップとを含み、
   前記変換サンプルをエントロピー符号化した際に符号量を最も少なくさせる重み係数が決定されており、前記中間値生成ステップにおける前記第ｎ番目の重み係数及び前記出力値生成ステップにおける前記第ｍ番目の重み係数の少なくとも一方が前記決定された重み係数に設定されていることを特徴とする画像信号逆変換方法。
3. 符号化の対象となる入力画像を入力する入力手段と、
   当該入力手段により入力された入力画像を複数の符号化領域に分割する領域分割手段と、
   当該領域分割手段により分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する予測手段と、
   請求項１に記載の画像信号変換方法を用いて、前記予測手段により生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換手段と、
   当該変換手段により変換された変換係数を符号化する符号化手段と、
   を備えることを特徴とする画像符号化装置。
4. 複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する入力手段と、
   当該入力手段により入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号手段と、
   請求項２に記載の画像信号逆変換方法を用いて、前記復号手段により生成された復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換手段と、
   を備えることを特徴とする画像復号装置。
5. 前記圧縮データは、請求項２に記載の画像信号逆変換方法における中間値生成ステップまたは出力値生成ステップにて用いられた重み係数の識別情報を含み、
   前記復号手段は、前記識別情報を復号し、当該識別情報に対応した重み係数を用いて、前記中間値生成ステップまたは前記出力値生成ステップの処理を行う
   ことを特徴とする請求項４に記載の画像復号装置。
6. 符号化の対象となる入力画像を入力する入力ステップと、
   当該入力ステップにて入力された入力画像を複数の符号化領域に分割する領域分割ステップと、
   当該領域分割ステップにて分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する予測ステップと、
   請求項１に記載の画像信号変換方法を用いて、前記予測ステップにて生成された変換対象信号を入力サンプルとして変換サンプルを生成し、生成された変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する変換ステップと、
   前記変換ステップにて変換された変換係数を符号化する符号化ステップと、
   を含むことを特徴とする画像符号化方法。
7. 複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する入力ステップと、
   当該入力ステップにて入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する復号ステップと、
   請求項２に記載の画像信号逆変換方法を用いて、前記復号ステップにて生成された復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する逆変換ステップと、
   を含むことを特徴とする画像復号方法。
8. 符号化の対象となる入力画像を入力する処理と、
   当該入力された入力画像を複数の符号化領域に分割する処理と、
   当該分割された符号化領域に対し、画面内予測または画面間予測の何れかを行って差分信号を求め、当該差分信号を変換対象信号として生成する処理と、
   請求項１に記載の画像信号変換方法を用いて、前記生成された変換対象信号を入力サンプルとして変換サンプルを生成し、当該変換サンプルを変換係数とすることで、前記変換対象信号を前記変換係数に変換する処理と、
   当該変換された変換係数を符号化する処理と、
   をコンピュータに実行させることを特徴とする画像符号化プログラム。
9. 複数の領域に分割された画像に対し、画面内予測または画面間予測の何れかを行った上で変換符号化することにより生成された圧縮データを入力する処理と、
   当該入力された圧縮データから、各領域に対応する変換係数を復元し、得られた変換係数を復元変換係数として生成する処理と、
   請求項２に記載の画像信号逆変換方法を用いて、前記復元変換係数を変換サンプルとして出力サンプルを生成し、当該出力サンプルを逆変換データとすることで、前記復元変換係数を前記逆変換データに変換する処理と、
   をコンピュータに実行させることを特徴とする画像復号プログラム。
   

Images