JP2008079152A - 画像符号化方法および画像復号方法 - Google Patents

Abstract

【課題】高解像度符号化では、符号量の低減が難しい。
【解決手段】画像符号化装置１０００は、符号化対象ピクチャのピクチャタイプに応じて、符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御部９１０と、低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する画像縮小部９１７と、低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する画像縮小部１００１と、画像縮小部９１７によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する動き検出部９０８、モード選択部９０９、差分演算部９０２、予測残差符号化部９０３とを備える。
【選択図】図１２

Description

本発明は、参照関係にある低解像度画像間の動きから一方の低解像度画像に対応する高解像度画像を生成する画像処理方法、そしてこの画像処理方法を用いて高能率圧縮符号化する画像符号化方法および画像復号方法に関するものである。

ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式（非特許文献１）においては、画面（ピクチャ）をマクロブロックと呼ばれる１６画素×１６画素の単位に区分し、マクロブロック単位で符号化処理を行う。そして、動き補償を行う場合には、マクロブロックをさらに矩形のブロック（最小で４画素×４画素）に分割して、ブロック毎に異なる動きベクトルを用いて動き補償を行うことができる。

このように、ブロック毎に異なる動きベクトルを用いて動き補償を行ったり、ブロック毎に参照可能なピクチャの枚数を増加させたりすることによって、より解像度の高い画像の符号化及び復号化を実現することができる。
ISO/IEC 14496-10 MPEG-4 Advanced Video Coding規格書

しかしながら、上記従来の方法では、より多くのブロックについて、各ブロックの動きベクトルや、各ブロックがどのピクチャを参照したかを示す情報などを、付加情報として符号化する必要がある。この結果、高解像度の画像を、画質の劣化を抑制しながら符号化する場合、符号量を低減することが困難であるという課題を有している。

本発明は、上記従来の課題を解決するものであり、入力画像を効率よく符号化することによって、入力画像の符号量を大幅に削減することができる画像符号化方法および画像復号方法を提供することを目的とする。

この課題を解決するために、本発明の画像符号化方法は、高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化方法であって、符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを含むことを特徴とする。

また、前記符号化制御ステップでは、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャとを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定するとしてもよい。

さらに、前記符号化制御ステップでは、Ｉピクチャのみ高解像度画像として符号化すると判定するとしてもよい。

また、前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップを含み、前記符号化ステップでは、前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化するとしてもよい。

さらに、前記画像処理ステップでは、前記参照ピクチャとされたピクチャであって低解像度画像として符号化された第１の低解像度画像につき、前記参照ピクチャが低解像度画像として符号化されるとき参照した第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像と同じ画像を表し解像度が異なる第２の高解像度画像の第１画素値を取得し、取得した第１画素値を前記画素の画素値とする、前記第１の低解像度画像と同じ画像を表し解像度が異なる第１の高解像度画像を生成し、前記符号化ステップでは、生成された前記第１の高解像度画像を参照して、前記符号化対象ピクチャを符号化するとしてもよい。

また、前記画像処理ステップでは、さらに、前記第１の高解像度画像の生成済みの画素を用いて、前記第２の高解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、第２の高解像度画像の第２画素値を取得し、前記第１の高解像度画像内で同じ位置にある画素について取得された前記第１画素値と前記第２画素値との平均値を当該画素の画素値とするとしてもよい。

さらに、前記画像処理ステップでは、さらに、前記第１の低解像度画像と前記第１の高解像度画像の生成済みの画素につき、複数の前記第２の低解像度画像と複数の前記第２の高解像度画像とを探索して複数の動きベクトルを検出し、前記第１の低解像度画像に対応する複数の第１の高解像度画像を生成し、前記画像符号化方法は、さらに、前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップを含むとしてもよい。

また、本発明の画像復号化方法は、動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化方法であって、前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップとを含むことを特徴とする。

また、前記復号化画像処理ステップは、前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成するとしてもよい。

なお、本発明は、このような画像符号化方法および画像復号方法として実現することができるだけでなく、このような画像符号化方法および画像復号方法が備える特徴的なステップを手段とする装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の様に、本発明の画像符号化方法によれば、１つのストリームの中でピクチャタイプに応じて高解像度画像と低解像度画像とを切り替えて符号化するので、すべてのピクチャを高解像度画像で符号化する場合に比べて符号量を大幅に削減することができる。また、画像復号化装置では、画像処理部が低解像度画像を用いて画素単位で動きベクトルを検出し、検出された動きベクトルに従って前記低解像度画像と同じ参照画像を表す高解像度画像から、前記画素の位置に対応する画素値を抽出し高解像度画像を生成するので、すべてのピクチャが高解像度画像である動画像を再生することができる。従って、本発明の画像符号化方法および画像復号化方法によれば、入力画像を効率よく符号化することができ、その実用的価値が高い。

以下、本発明の実施の形態について、図１から図１９を用いて説明する。

（実施の形態１）
図１は、本発明の画像処理部１００の構成を示すブロック図である。本実施の形態１の画像処理部１００は、高解像度画像である入力画像を縮小して得られる低解像度画像と参照画像となる低解像度画像を用いて検出された動きベクトルと、前記参照画像となった低解像度画像に対応する高解像度画像とを用いて、入力画像に対応する動き補償画像を生成する処理部であって、動き補償部１０１、動き検出部１０２、および制御部１０３を備える。

動き検出部１０２には、参照画像となる低解像度画像ＲＬと符号化対象を縮小した低解像度画像ＣＬとが入力される。また、動き補償部１０１には参照画像となる高解像度画像ＲＨが入力される。

図２は、低解像度画像と高解像度画像の関係を示す図である。低解像度画像ＲＬと高解像度画像ＲＨとは同じ画像から生成された画像である。例えば、低解像度画像ＲＬは高解像度画像ＲＨを縮小した画像である場合、低解像度画像ＲＬと高解像度画像ＲＨとはある画像を階層的画像符号化で符号化した画像のペアである場合、ある画像を異なる縮小率で縮小した画像が低解像度画像ＲＬと高解像度画像ＲＨとである場合、等が考えられる。図２では、低解像度画像と高解像度画像は、水平、垂直共に１：２の解像度比を持つ場合を示しているが、解像度比はこの比には限らない。

図１に示した動き検出部１０２では、低解像度画像ＣＬの低解像度画像ＲＬに対する動きを検出する。動き検出の際には、制御部５０３から動き検出の対象となるブロックの位置、探索を行う範囲、及びブロックの大きさなどが指定される。図３（ａ）は、低解像度画像を用いて画素毎に動きベクトルを検出する方法を示す図である。動き検出の方法について図３（ａ）を用いて説明する。ここでは制御部１０３から指定された動き検出の対象となるブロックの位置が（Ｃｘ，Ｃｙ）であり、ブロックの大きさが１画素×１画素であるとする。すなわち、低解像度画像ＣＬ内の位置（Ｃｘ，Ｃｙ）にある画素（×印の画素であり、この場合のブロックの画素数は１である。以降、この画素を対象画素と呼ぶ）の、低解像度画像ＲＬに対する動きを求めることになる。対象画素の動きを求める際には、対象画素の周辺の画素も利用することができる。例えば、対象画素を含めた３画素×３画素の領域３０１を用いて低解像度画像ＲＬを探索し、動き検出を行うことができる。動き検出の際の領域の大きさは、異なる画素数であっても良いし、元のブロックが複数画素で構成される場合には探索を行うための周辺画素を用いずに動き検出をしても良い。動き検出においてはコスト関数を設定し、そのコスト関数が最小となる低解像度画像ＲＬ内の位置を決定する。ここでコスト関数としては、低解像度画像ＣＬ内の領域３０１の画素値と、低解像度画像ＲＬ内の領域（領域３０１と同じ大きさを有する領域）の画素値の差分値（差分絶対値和や差分２乗値和）としても良い。また、画素値の差分値に更に、例えば、検出された動きベクトルと周辺画素または周辺ブロックの動きベクトルとの差の大きさに重み係数を乗算したものなどを加えた値をコスト関数としても良い。ここで対応画素間の差分値を計算する際には、画像の画素値をそのまま用いてもよいし、画素値にハニング窓等の窓関数を施して用いても良い。コスト関数が最小となる位置が領域３０３であるとすると、ここで求められた動き量は（Ｍｘ，Ｍｙ）となる。

動き検出部１０２で検出された動き量は動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１には、高解像度画像ＲＨと動きベクトルＭＶが入力される。動き補償部１０１では、制御部１０３から入力された位置情報、動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する。図４は、動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する方法を示す図である。この様子を、図４を用いて説明する。図２に示したように、低解像度画像と高解像度画像の解像度比は水平、垂直共に１：２であったので、低解像度画像ＣＬの位置（Ｃｘ，Ｃｙ）の画素に対応する、高解像度画像ＭＨの画素位置は（２Ｃｘ，２Ｃｙ）を左上端とする２画素×２画素の領域となる。また、高解像度画像間での動きベクトルは２ＭＶ（水平方向および垂直方向の両成分に対して２倍を施す）となる。したがって、高解像度画像ＭＨの画素は、高解像度画像ＲＨの（２Ｃｘ＋２Ｍｘ，２Ｃｙ＋２Ｍｙ）を左上端とする２画素×２画素の領域の画素となる。

以降、同様の処理を低解像度画像ＣＬに対する全領域に対して施し、対応する高解像度画像ＭＨの全領域に対して動き補償を実施することにより、高解像度画像ＲＨから動き補償して高解像度画像ＭＨを生成する。これにより、低解像度画像ＲＬには含まれない高周波成分を表す画素値を高解像度画像ＲＨから抽出して高解像度画像ＭＨを構成することができるので、高解像度画像ＲＨと同程度の解像度を持つ高解像度画像ＭＨを得ることができるという効果がある。従って、高解像度画像ＲＨの代わりに、低解像度画像ＲＬを画素補間により拡大して得られる画像から画素値を抽出してもこの効果を得ることはできない。

なお、本実施の形態においては、動き検出部１０２で動き検出を行う際に低解像度画像ＣＬと低解像度画像ＲＬとを用いて動きを検出する場合について説明したが、これは低解像度画像ＲＬと低解像度画像ＣＬとを２倍に拡大した後に動き検出を行い、動きベクトルを求めても良い。この場合、高解像度画像ＭＨを生成する際には１画素毎に高解像度画像ＲＨから動き補償をすることができる。

また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬと低解像度画像ＲＬとを用いて１画素精度の動きを検出する場合について説明したが、低解像度画像ＲＬを拡大した後に動き検出を行い、１／４画素、１／８画素精度の動きベクトルを求めても良い。このような処理により、高解像度画像ＭＨを生成する際には小数精度で高解像度画像ＲＨから動き補償をすることができる。この場合には、高解像度画像ＲＨを拡大（内挿）した後に動き補償すれば良い。

また、本実施の形態においては、動き検出および動き補償の参照画像が１枚である場合について説明したが、これは複数の画像を用いても良い。

また、本実施の形態においては、動き検出部１０２で動き検出を行う際に、低解像度画像ＣＬと低解像度画像ＲＬとを用いる方法について説明したが、これは高解像度画像ＲＨと高解像度画像ＭＨとを用いても良い。図３（ｂ）は、低解像度画像ＣＬと低解像度画像ＲＬおよび高解像度画像ＲＨと高解像度画像ＭＨを用いて動き検出を行う方法を示す図である。図３（ｂ）を用いてこの方法を説明する。この場合、高解像度画像ＭＨには一部生成されていない画素が存在するため、低解像度画像ＣＬの領域３０１の画素と高解像度画像ＭＨの領域３０２の画素とを用いて低解像度画像ＲＬと高解像度画像ＲＨに対して動きを検出する。より具体的には、動き検出でのコスト関数における画素値の差分値として、
領域３０１の画素値と、低解像度画像ＲＬ内の領域（領域３０１と同じ大きさを有する領域）の画素値の差分値に加えて、領域３０２の画素値と、高解像度画像ＲＨ内の領域（領域３０２と同じ大きさと形状を有する領域）の画素値の差分値を考慮して、動きを検出する。この場合、そのようなコスト関数が最小となる動きベクトルを×印の画素の動きベクトルとする。

また、参照画像として用いる高解像度画像ＲＨは、予め得られている高解像度画像だけではなく、本実施の形態において生成した高解像度画像であっても良い。

（実施の形態１の変形例）
実施の形態１の変形例である画像処理部８００について、図５を用いて説明する。図５は、実施の形態１の変形例である画像処理部８００の構成を示すブロック図である。本変形例の画像処理部８００は、図１を用いて説明した本発明の画像処理装置１００に、選択部８０１を追加した構成となっている。実施の形態１では、生成したい高解像度画像ＭＨに対応する低解像度画像ＣＬが予め得られている条件の下で、参照画像となる低解像度画像ＲＬに対する低解像度画像ＣＬの動きを検出し（または低解像度画像ＲＬおよび高解像度画像ＲＨに対する低解像度画像ＣＬおよび高解像度画像ＭＨの動きを検出し）、検出された動きベクトルを元に高解像度画像ＲＨを動き補償して高解像度画像ＭＨを生成したが、本変形例では複数の方法で動きを検出した後に動き検出方法に応じた動き補償画像を生成し、それら複数の動き補償画像の中から、最適な動き補償画像を選択する点に特徴がある。

ここで、動き検出部１０２および動き補償部１０１は、請求項でいう「さらに、前記第１の低解像度画像と前記第１の高解像度画像の生成済みの画素につき、複数の前記第２の低解像度画像と複数の前記第２の高解像度画像とを探索して複数の動きベクトルを検出し、前記第１の低解像度画像に対応する複数の第１の高解像度画像を生成する前記画像処理ステップ」を実行する手段に相当し、選択部８０１は、請求項でいう「前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップ」を実行する手段に相当する。

動き検出部１０２は、参照画像となる低解像度画像ＲＬ、符号化対象である低解像度画像ＣＬ、参照画像となる高解像度画像ＲＨ、高解像度動き補償画像ＭＨを生成する処理対象であり少なくとも一部が生成された高解像度画像ＭＨが入力される。また、動き補償部１０１には高解像度画像ＲＨが入力される。ここで、参照画像となる低解像度画像ＲＬ、高解像度画像ＲＨはそれぞれ複数の画像である場合も含む。

動き検出部１０２では、異なる画像の組み合わせを用いて、動き検出を行う。図６は、複数の参照画像の組み合わせを用いて動き検出を行う一例を示す図である。図６に示すように参照画像が２枚ある場合には、例えば以下のような画像の組み合わせがある。

Ａ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０３）
Ｂ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）と高解像度画像ＲＨ（１３０１）
Ｃ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０６）と高解像度画像ＲＨ（１３０５）
Ｄ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）
Ｅ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０５）
Ｆ．低解像度画像ＣＬ（１３０４）と高解像度画像ＭＨ（１３０２）←低解像度画像ＲＬ（１３０３）、高解像度画像ＲＨ（１３０１）、低解像度画像ＲＬ（１３０６）、高解像度画像ＲＨ（１３０５）
Ｇ．高解像度画像ＭＨ（１３０２）←高解像度画像ＲＨ（１３０１）と高解像度画像ＲＨ（１３０５）
Ｈ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０６）
Ｉ．低解像度画像ＣＬ（１３０４）←低解像度画像ＲＬ（１３０３）と低解像度画像ＲＬ（１３０６）

ここで「Ｘ←Ｙ」は画像Ｙを参照画像として画像Ｘの動きを検出することを意味する。また、「Ｆ」、「Ｇ」、「Ｉ」においては、２つの参照画像に対して動きを検出し、各参照画像から得られる動き補償画像の平均（または重み付け平均）を動き補償画像とすることを意味している。なお、２つの動き補償画像の平均をとるとは、２つの動き補償画像で同位置にある画素の画素値の平均を算出し、算出された画素値をその位置の画素の画素値とする動き補償画像を生成することを言う。重み付け平均とは、２つの動き補償画像の画素値にそれぞれ重み係数を乗算して加算平均することを言う。動き検出の方法は実施の形態１で説明した方法と同様であるので、説明は割愛する。

それぞれの方法で検出された動き量は、動きベクトルＭＶとして動き補償部１０１に入力される。動き補償部１０１では、動き検出部１０２で求めたそれぞれの動きベクトルを用いて動き補償画像を生成し、それを選択部８０１に対して出力する。動きベクトルＭＶを用いた動き補償画像の生成方法は、実施の形態１で説明した方法と同様であるので説明は割愛する。

選択部８０１には、低解像度画像ＣＬと動き補償部１０１で生成された複数の動き補償画像とが入力される。選択部８０１では、入力された複数の動き補償画像の中から最適な動き補償画像を選択する。ここで選択の基準としては、例えば動き補償画像を低解像度画像ＣＬと同じ解像度に縮小し、その縮小画像と低解像度画像ＣＬとの差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。または、動き補償画像と低解像度画像ＣＬを周波数変換し、その低周波数成分同士の差分値（差分絶対値和や差分二乗和）が最小となるものを選択する方法がある。また、差分値が所定のしきい値よりも小さい値とならないような場合には、低解像度画像ＣＬを動き補償画像と同じサイズに拡大した画像を選択しても良い。ここで、動き補償画像を選択する際には、例えば、４画素×４画素のブロック、８画素×８画素のブロック及びマクロブロックなどの正方形や長方形のブロック単位や領域単位で行う方法、全画面で行う方法がある。

選択された動き補償画像（または低解像度画像ＣＬを動き補償画像と同じサイズに拡大した画像）は、動き補償画像ＭＨとして出力される。

なお、本実施の形態の変形例においては、９つの方法で動き量を検出し、それぞれの動き量に応じた動き補償画像を生成する場合について説明したが、これは他の方法で動き量を検出しても構わないし、一部の方法のみを用いて動き量を検出しても良い。

以上のように、本発明の画像処理方法では、生成したい第１の高解像度画像に対応する第１の低解像度画像が予め得られている条件の下で、１枚または複数枚の参照画像となる第２の低解像度画像に対する第１の低解像度画像の動きを検出し（または第２の低解像度画像および第２の高解像度画像に対するそれぞれ第１の低解像度画像および第１の高解像度画像の動きを検出し）、検出された動きベクトルを元に第２の高解像度画像を動き補償して第１の高解像度画像を生成する。

上記のような処理を１画素等の小さな領域を単位として施すことにより、高画質な第１の高解像度画像を生成することができる。またこの処理は、低解像度画像間の動き検出結果または既に生成された領域の高解像度画像間の動き検出結果を用いて行うので、画像データ以外の付加情報は全く不要である。

（実施の形態２）
本発明の画像符号化装置について図７を用いて説明する。図７は、実施の形態１で説明した画像処理部１００（または８００）を用いて符号化対象高解像度画像の動き補償画像を生成する画像符号化装置の構成を示すブロック図である。この画像符号化装置では、すべてのピクチャを低解像度化して低解像度画像として符号化した上、低解像度画像の符号化の際に検出された動きベクトルを用いて高解像度画像の動き補償画像を生成する。同図に示すように、本実施の形態２の画像符号化装置は、フレームメモリ５０１、差分演算部５０２、予測誤差符号化部５０３、符号列生成部５０４、予測誤差復号部５０５、加算演算部５０６、フレームメモリ５０７、画面内予測／動きベクトル検出部５０８、モード選択部５０９、符号化制御部５１０、スイッチ５１４、５１５、画像縮小部５１６、フレームメモリ５１７、低解像度画像符号化部５１８、画像処理部１００（または８００）を備える。画像処理部１００（８００）は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図５の画像処理装置８００、と同じ構成を有している。

入力画像は時間順にピクチャ単位でフレームメモリ５０１に入力される。フレームメモリ５０１に入力された各ピクチャは、符号化制御部５１０により符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われる。すなわち、参照ピクチャとして用いられるピクチャが、それを参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替えられる。

フレームメモリ５０１で並び替えが行われた各ピクチャは、順に符号化される。各ピクチャはまず画像縮小部５１６に入力される。画像縮小部５１６は、例えば、縦横を１／２の大きさに縮小することにより、入力されたピクチャを低解像度画像に変換する。低解像度画像は低解像度画像符号化部５１８でブロック単位で符号化される。低解像度画像符号化部５１８では、低解像度画像をＪＰＥＧ方式やＭＰＥＧ方式で符号化するものとする。低解像度画像符号化部５１８で生成された符号列には、低解像度画像を動き検出して得られた動きベクトルと、得られた動きベクトルに基づいて得られる動き補償画像との予測残差とが含まれる。低解像度画像符号化部５１８で生成された符号列は符号列生成部５０４に対して出力される。また、低解像度画像符号化部５１８で生成された局部復号画像（符号化対象低解像度画像を符号化し復号して得られる画像）はフレームメモリ５１７で保持される。

続いてフレームメモリ５０１で並び替えが行われた各ピクチャは、高解像度画像として符号化される。この場合各ピクチャは、フレームメモリ５０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは水平１６画素×垂直１６画素の大きさであるとする。また、動き補償はブロック単位（ここでは８画素×８画素の大きさとする）単位で行うものとする。以下では、片方向予測符号化ピクチャ（Ｐピクチャ）として符号化を行うものとして、符号化処理を順に説明する。

符号化制御部５１０は、入力されたピクチャをどのタイプのピクチャ（Ｉ、ＰまたはＢピクチャ）で符号化するかを決定し、そのピクチャタイプにより、スイッチ５１４、スイッチ５１５を制御する。ここで、ピクチャタイプの決定は、例えば、周期的にピクチャタイプを割り当てる方法が一般的に用いられる。ピクチャタイプの決定により、フレームメモリ５０１内でピクチャの符号化順序の入れ替えが行われる。

Ｐピクチャの符号化においては、符号化制御部５１０は、スイッチ５１４、スイッチ５１５がオンになるように各スイッチを制御する。したがって、フレームメモリ５０１から読み出された符号化対象ピクチャのマクロブロックは、まず画面内予測／動きベクトル検出部５０８、モード選択部５０９、差分演算部５０２に入力される。

画面内予測／動きベクトル検出部５０８では、フレームメモリ５０７に蓄積された復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測方法の決定または動きベクトルの検出を行う。ここで画面内予測とは、符号化対象ブロックの周辺画素を用いて予測画像を生成する方法である。決定された画面内予測方法または動きベクトル、および画面内予測により得られる画面内予測画像または動きベクトルにより参照画像から得られる動き補償画像は、モード選択部５０９に対して出力される。

一方、画像処理部１００（８００）には、フレームメモリ５１７から低解像度画像の参照画像ＲＬ、現在の符号化対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ５０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の処理により、動き補償画像ＭＨを生成してモード選択部５０９に対して出力する。

モード選択部５０９では、画面内予測／動きベクトル検出部５０８で検出した画面内予測方法または動きベクトルおよび取得した画面内予測画像または動き補償画像、画像処理部１００（８００）で生成された動き補償画像ＭＨを用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｐピクチャの場合には、画面内予測符号化、動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。動き検出部５０８で検出した動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号以外に、動きベクトルの符号を符号列中に記述する必要がある。また動き補償画像は、８画素×８画素等の単位で求められた動きベクトルを用いて生成されている。画像処理部１００（８００）で生成した動き補償画像を用いるピクチャ間予測符号化の場合には、動き補償残差の符号のみを符号列に記述する。画像処理部１００（８００）で生成された動き補償画像は、低解像度画像を用いて最小１画素単位で求められた動き量を用いて生成されている。ここで、注意すべきことは、低解像度画像符号化部５１８では必ず低解像度画像を用いた符号化が行われ、符号列が生成されることである。本実施の形態の画像符号化装置では、低解像度画像符号化部５１８の処理に加えて、さらに、高解像度画像を用いた符号化が行われる。高解像度画像を用いた符号化では、モード選択部５０９により最も符号化効率の高い符号化が選択され、符号列が生成される。

モード選択部５０９で決定された符号化モードは符号列生成部５０４に対して出力される。また、動きベクトルは、モード選択部５０９から符号列生成部５０４に対して出力される。

次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部５０２と加算演算部５０６とに出力される。

以下では、モード選択部５０９でピクチャ間予測符号化が選択された場合について説明する。

差分演算部５０２には、マクロブロックの画像データ以外に、モード選択部５０９から参照画像が入力される。差分演算部５０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。

予測誤差画像は予測誤差符号化部５０３に入力される。予測誤差符号化部５０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８画素×垂直８画素の単位で行うことができる。予測誤差符号化部５０３から出力された符号化データは、符号列生成部５０４と予測誤差復号部５０５に入力される。

符号列生成部５０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部５０９から入力された動きベクトルの情報、符号化モードの情報（具体的には、（１）画面内予測符号化、（２）画面間予測符号化、（３）本発明の低解像度画像を用いた高解像度画像生成による符号化のいずれで符号化を行ったかを示す情報）、その他のヘッダ情報、低解像度画像生成部５１８から入力された符号列、等を付加することにより符号列を生成する。またこの際に、ヘッダ情報として画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報を記述しても良い。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び参照高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。図８は、画像処理部１００（または８００）でどのような画像処理方法を用いたのかを示すフラグ情報の記述例を示す図である。フラグ情報の記述位置の例を図８に示す。

予測誤差復号部５０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部５０６において、予測画像と加算されることにより復号画像となり、フレームメモリ５０７に蓄積される。

同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、低解像度画像により求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、動きベクトル情報を符号列中に記述する必要は全くない。したがって、動きベクトル数を増加させることにより動き補償精度を向上させ、それにより符号化効率を大きく向上させることができる。

（実施の形態３）
本発明の画像復号装置の実施の形態について、図９を用いて説明する。図９は、実施の形態３の画像復号化装置の構成を示すブロック図である。本実施の形態３の画像復号化装置は、実施の形態２の画像符号化装置によって生成された符号列を復号化する画像復号化装置であって、符号列解析部７０１、予測誤差復号化部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、スイッチ７１１、低解像度画像復号部７１２、フレームメモリ７１３、画像処理部１００（または８００）を備える。以下では、Ｐピクチャの復号処理を一例として具体的に説明する。

Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列を低解像度画像の符号列と高解像度画像の符号列とに分離する。低解像度画像の符号列は、低解像度画像復号部７１２に対して出力され、低解像度画像復号部７１２で符号化方法に適した（ＪＰＥＧ方式やＭＰＥＧ方式で）復号処理が施される。復号された低解像度画像はフレームメモリ７１３に蓄積される。

一方、符号列解析部７０１で分離された高解像度画像の符号列からは、各種データが抽出される。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。

モード復号部７０３では、符号列から抽出されたモード選択の情報を参照し、スイッチ７１１の制御を行う。モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、スイッチ７１１は端子ｆに接続するように制御する。またモード選択が（本発明の第１の実施の形態で説明した）低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、スイッチ７１１は端子ｅに接続するように制御する。

またモード復号部７０３では、モード選択が符号列に記述された動きベクトル情報を用いるピクチャ間予測符号化である場合には、モード選択の情報を画面内予測／動き補償復号部７０５に対して出力する。また、低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、モード選択の情報を画像処理部１００（８００）に対して出力する。

予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。

モード選択が符号列に記述された動きベクトル情報を用いたピクチャ間予測符号化である場合は、画面内予測／動き補償復号部７０５が処理を行う。画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、符号化された動きベクトルに対して、復号処理を行う。そして、復号された参照ピクチャ番号と動きベクトルとに基づいて、フレームメモリ７０７から動き補償画像（ブロック）を取得する。このようにして生成された動き補償画像は加算演算部７０８に対して出力される。

モード選択が低解像度画像を用いて求めた動きベクトルを用いたピクチャ間予測符号化である場合には、画像処理部１００（８００）が処理を行う。画像処理部１００（８００）には、フレームメモリ７１３から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬが入力され、フレームメモリ７０７から低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ７１１を通して加算演算部７０８に対して出力される。

加算演算部７０８では、入力された予測誤差画像と動き補償画像とを加算し、復号化画像を生成する。生成された復号化画像はフレームメモリ７０７に対して出力される。

以上のようにして、Ｐピクチャのマクロブロックが順に復号される。復号対象ピクチャのマクロブロックがすべて復号されると、次のピクチャの復号処理が行われる。

以上のように本発明の画像復号方法では、低解像度画像と高解像度画像とが両方符号化された符号列から、低解像度画像を復号し、さらに高解像度画像の復号を行う際に、低解像度画像により画素単位で求めた動きベクトルを用いて動き補償画像を生成する符号化モードを用いる。高解像度画像間の動きベクトルを用いて動き補償画像を生成する従来の符号化モードでは、動きベクトル情報を符号列中に記述する必要が生じる。また従来の符号化モードにおいて動き補償精度を向上させるためには、マクロブロック当たりの動きベクトル数を増加させる必要があるが、動きベクトル情報の符号量が更に増加することになる。本発明の符号化モードでは、復号化された低解像度画像を用いて、画像符号化装置と画像復号化装置とで同じ方法により動きベクトルを検出するので、動きベクトル情報を符号列中に記述する必要は全くない。したがって、マクロブロック当たりの動きベクトル数を増加したとしても、符号量の増加を招くことがない。そして、低解像度画像を用いて画素単位で動きベクトルを検出することにより、動きベクトル数を増加させ、動き補償精度を向上させることができる。それにより本発明の画像符号化装置及び画像復号化装置は、符号量の増加を招くことなく動き補償の精度を向上し高解像度画像を得ることができるので、符号化効率を大きく向上させることができる。

（実施の形態４）
本発明の画像符号化装置について図１０を用いて説明する。図１０は、本実施の形態４の画像符号化装置９００の構成を示すブロック図である。本実施の形態の画像符号化装置９００は、入力画像のうちの一部の画像を縮小して符号化する際に、低解像度で符号化されたピクチャが高解像度で符号化されるピクチャに参照される場合に、実施の形態１で説明した方法で画像処理部１００（または８００）によって動き補償高解像度画像を生成する画像符号化装置であって、フレームメモリ９０１、差分演算部９０２、予測誤差符号化部９０３、符号列生成部９０４、予測誤差復号部９０５、加算演算部９０６、フレームメモリ９０７、画面内予測/動きベクトル検出部９０８、モード選択部９０９、符号化制御部９１０、スイッチ９１４〜９１７、画像縮小部９１８、画像縮小部９１９、画像処理部１００（または８００）を備える。画像処理部１００（または８００）は、実施の形態１で説明した図１の画像処理装置１００、または実施の形態１の変形例で説明した図５の画像処理装置８００と同じ構成を有している。

同図において、符号化制御部９１０は、請求項でいう「符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段」に相当し、画像縮小部９１７は、請求項でいう「前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段」に相当し、画像縮小部１００１は、請求項でいう「前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段」に相当し、動き検出部９０８、モード選択部９０９、差分演算部９０２及び予測残差符号化部９０３は、請求項でいう「前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段」に相当する。

また、画像処理部１００（または８００）は、請求項でいう「前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップ」を実行する手段に相当し、フレームメモリ９０７、画面内予測／動き検出部９０８、モード選択部９０９、差分演算部９０２及び予測誤差符号化部９０３は、請求項でいう「前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化する前記符号化ステップ」を実行する手段に相当する。

さらに、画像処理部１００（または８００）は、請求項でいう「前記参照ピクチャとされたピクチャであって低解像度画像として符号化された第１の低解像度画像につき、前記参照ピクチャが低解像度画像として符号化されるとき参照した第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する前記画像処理ステップ」を実行する手段に相当する。

また、画像処理部１００（または８００）は、別の請求項でいう「さらに、前記第１の高解像度画像の生成済みの画素につき、第２の高解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、第２の高解像度画像の画素値を取得し、前記第１の高解像度画像内で同じ位置にある画素について取得された画素値の平均値を当該画素の画素値とする前記画像処理ステップ」を実行する手段に相当する。

図１１（ａ）は、高解像度画像からなる動画像の入力画像を示す図である。入力画像列の例を図１１（ａ）に示す。ここで、各画像に付与した先頭の記号はピクチャタイプ（Ｉ：画面内予測符号化ピクチャ、Ｐ：一方向画面間予測符号化ピクチャ、Ｂ：二方向画面間予測符号化ピクチャ）を示し、数字は表示順番号を示す。

入力画像は表示順にピクチャ単位でフレームメモリ９０１に入力される。フレームメモリ９０１に入力された各ピクチャは、符号化順に並び替えられる。符号化順への並び替えは、ピクチャ間予測符号化における参照関係に基づいて行われ、参照ピクチャとして用いられるピクチャが、参照ピクチャとして用いるピクチャよりも先に符号化されるように並び替える。例えば、Ｐピクチャは直前の一枚のＩまたはＰピクチャのみを参照し、Ｂピクチャは直前および直後に位置する一枚ずつのＩまたはＰピクチャを参照するとした場合、ピクチャの符号化順序は、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、．．．のようになる。

フレームメモリ９０１で並び替えが行われた各ピクチャは順に符号化されるが、符号化に先立って特定のピクチャに対しては画像縮小部９１８において低解像度画像への変換が施される。図１１（ｂ）は、ＩピクチャとＰピクチャとを高解像度画像として符号化する場合の解像度切替の例を示す図である。図１１（ｃ）は、Ｉピクチャのみを高解像度画像として符号化する場合の解像度切替の例を示す図である。ここでは図１１（ｂ）に示すように、Ｉ、Ｐピクチャにおいては解像度を変換せず、Ｂピクチャに対しては低解像度に変換を行うものとする。または図１１（ｃ）に示すように、Ｉピクチャにおいては解像度を変換せず、Ｐ、Ｂピクチャに対しては低解像度に変換を行うものとする。なお、どのピクチャタイプに対して低解像度で符号化を行い、どのピクチャタイプに対して高解像度で符号化を行うかは、あらかじめ符号化制御部９１０に記憶されており、符号化制御部９１０はその記憶内容に従って各ピクチャにつきいずれの解像度で符号化を行うかを制御するものとする。またここでは水平、垂直共に１／２の大きさに解像度変換している場合を示しているが、解像度変換の比は他の値であっても構わない。またピクチャタイプの決定は、符号化制御部９１０によりなされるものとする。

続いて、符号化対象の高解像度ピクチャはフレームメモリ９０１からマクロブロックの単位で読み出されるとする。ここでは、マクロブロックは例えば水平１６画素×垂直１６画素の大きさであるとする。

フレームメモリ９０１から読み出された符号化対象高解像度ピクチャのマクロブロックは、まず動きベクトル検出部９０８、モード選択部９０９、差分演算部９０２に入力される。

画面内予測/動きベクトル検出部９０８では、フレームメモリ９０７に蓄積された高解像度復号画像データを参照ピクチャとして用い、マクロブロック内の各ブロックに対して、画面内予測または動きベクトル検出を行う。画面内予測方法または検出された動きベクトル、および画面内予測または動きベクトルにより参照高解像度画像から得られる動き補償高解像度画像は、モード選択部９０９に対して出力される。

モード選択部９０９では、画面内予測／動きベクトル検出部９０８で検出した画面内予測方法または動きベクトル、および取得した動き補償高解像度画像を用いて、マクロブロックの符号化モードを決定する。ここで符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。例えば、Ｉピクチャの場合には画面内予測符号化が用いられるとする。Ｐ、Ｂピクチャの場合には、画面内予測符号化、動きベクトルにより得られる動き補償画像を用いるピクチャ間予測符号化、縮小された低解像度画像を用いる低解像度符号化の中から、いずれの方法で符号化するかを決めることができるとする。符号化モードの決定においては、一般的には、より少ないビット量でより符号化誤差が小さくなる方法を選択する。画面内予測符号化の場合には、画面内予測符号化方法を示す符号を符号列中に記述する必要がある。ピクチャ間予測符号化の場合には、低解像度でも高解像度でも動きベクトルを表す符号化データを符号列中に記述する必要がある。

モード選択部９０９で決定された符号化モードは符号列生成部９０４に対して出力される。また、画面内予測方法または動きベクトルは、モード選択部９０９から符号列生成部９０４に対して出力される。次に、モード選択部５０９で決定された符号化モードに基づいた参照画像が、差分演算部９０２とスイッチ９０９とに出力される。

差分演算部９０２には、マクロブロックの画像データ以外に、モード選択部９０９から参照画像が入力される。差分演算部９０９では、マクロブロックの画像データと参照画像との差分を演算し、予測誤差画像を生成し出力する。

予測誤差画像は予測誤差符号化部９０３に入力される。予測誤差符号化部９０３では、入力された予測誤差画像に対して周波数変換や量子化等の符号化処理を施すことにより、符号化データを生成して出力する。ここで例えば、周波数変換や量子化の処理は、水平８画素×垂直８画素の単位で行うことができる。予測誤差符号化部９０３から出力された符号化データは、符号列生成部９０４とスイッチ９１５に入力される。

符号列生成部９０４では、入力された符号化データに対して、可変長符号化等を施し、さらにモード選択部９０９から入力された符号化モードの情報、画面内予測方法または動きベクトルの情報、その他のヘッダ情報等を付加することにより符号列を生成する。

符号化制御部９１０は、ピクチャタイプにより、スイッチ９１４、スイッチ９１５を制御する。他のピクチャの参照画像として用いられるＩ、Ｐピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、スイッチ９１５がオンになるように各スイッチを制御する。また、他のピクチャの参照画像として用いられないＢピクチャの符号化においては、符号化制御部９１０は、スイッチ９１４、スイッチ９１５がオフになるように各スイッチを制御する。よって、ピクチャタイプがＩまたはＰピクチャである場合、以下の処理が行われる。

予測誤差復号部９０５では、入力された符号化データに対して、逆量子化や逆周波数変換等の復号処理を施し、復号差分画像を生成して出力する。復号差分画像は加算演算部９０６において、予測画像と加算されることにより復号画像となり、スイッチ９１６に入力される。

符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されている場合には、スイッチ９１６を端子ｌに、スイッチ９１７を端子ｊに接続する。この場合、スイッチ９１６に入力された画像は、画像処理部１００（８００）において本発明の第１の実施の形態または第１の実施の形態の変形例で説明した方法と同様の方法により処理され、入力画像ＩＮと同じ解像度に拡大されて動き補償画像ＭＨとしてスイッチ９１７に対して出力される。ここで、高解像度画像の参照画像ＲＨはフレームメモリ９０７から得られ、低解像度画像の参照画像ＲＬは高解像度画像ＲＨを画像縮小部９１９で解像度変換することにより得られ、低解像度画像ＣＬはスイッチ９１６を介して得られる。例えば、図１１（ｂ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０、Ｐ３、Ｐ６のすべてまたは一部を用いれば良い。また、図１１（ｃ）のピクチャＢ４を高解像度化する場合には、高解像度画像ＲＨとしてピクチャＩ０を用いれば良い。

また、図示しない例でいえば、Ｉ０、Ｐ３、Ｂ１、Ｂ２の順で符号化されるピクチャのうち、ピクチャＩ０とピクチャＢ２とが高解像度で符号化され、ピクチャＰ３とピクチャＢ１とが低解像度で符号化されるとした場合について説明する。ピクチャＩ０は、高解像度入力画像のまま画面内予測符号化される。次にピクチャＰ３が画像縮小部９１８で縮小され、低解像度化される。このピクチャＰ３は、ピクチャＩ０を参照して符号化されるため、ピクチャＰ３の参照ピクチャとなるピクチャＩ０は、画像縮小部９１９で縮小されフレームメモリ９０７に格納される。ピクチャＰ３は画面内予測／動き検出部９０８で動き検出され、ピクチャＰ３の動き補償低解像度画像がモード選択部９０９を介して、差分演算部９０２に入力される。差分演算部９０２では低解像度化されたピクチャＰ３と動き補償低解像度画像との残差が求められ、予測残差符号化部９０３で符号化される。符号化された低解像度ピクチャＰ３の残差はスイッチ９１５を介して予測残差復号化部９０５で復号化され、復号化差分画像が生成される。符号化差分画像は、加算演算部９０６でピクチャＰ３の動き補償低解像度画像と加算され、局部復号画像が求められる。得られた局部復号画像はスイッチ９１６とスイッチ９１７とを介して、フレームメモリ９０７に蓄積される。

ここで、低解像度画像であるピクチャＰ３の局部復号画像は、高解像度で符号化されるピクチャＢ２に参照される。このため、ピクチャＰ３は画像処理部１００（または８００）で高解像度化されフレームメモリ９０７に格納される。この場合、低解像度画像ＣＬであるピクチャＰ３の参照高解像度画像ＲＨは、フレームメモリ９０７に蓄積されているピクチャＩ０である。また、ピクチャＰ３の参照低解像度画像ＲＬは、フレームメモリから読み出されたピクチャＩ０を画像縮小部９１９で縮小して得られる。以下、実施の形態１で説明した方法により、これらの低解像度画像ＣＬ、参照低解像度画像ＲＬ及び参照高解像度画像ＲＨを用いて、ピクチャＰ３の動き補償高解像度画像ＭＨを得ることができる。この結果、高解像度で符号化されるピクチャＢ２は、フレームメモリ９０７に格納されている高解像度ピクチャＩ０と、高解像度ピクチャＰ３（動き補償高解像度画像ＭＨ）とを参照して、動き検出及び動き補償を行うことができる。

また符号化制御部９１０は、符号化対象ピクチャが画像縮小部９１８で解像度変換されていない場合には、スイッチ９１６を端子ｋに、スイッチ９１７を端子ｉに接続する。よってこの場合は、スイッチ９１６に入力された画像は何も処理されないままスイッチ９１７から出力される。

スイッチ９１７から出力された画像は、フレームメモリ９０７に蓄積される。
同様の処理により、符号化対象ピクチャの残りのマクロブロックに対して、符号化処理が行われる。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化した画像は、本発明の画像処理方法により高解像度化した後、他のピクチャを符号化する際の参照画像として用いられる。

本発明の画像符号化方法を用いることにより、入力画像を低解像度化するため符号量の大幅な削減を行うことができる。また、一度低解像度化した画像を復号後に本発明の画像処理方法により高画質な高解像度画像に変換するため、一度低解像度化された画像を参照画像として用いる場合でも低解像度化しない画像を参照画像として用いる場合と比較して、動き補償効率がほとんど低下しない。よって、総合的に符号化効率の大幅な向上を図ることができる。

なお、本実施の形態においては、他のピクチャを符号化する際の参照ピクチャとなるピクチャに対してのみ、スイッチ９１５をオンにして復号画像を生成する場合について説明したが、これは画像処理部１００（８００）において高解像度化処理を行う際の参照画像として用いられる画像についてもスイッチ９１５をオンにして復号画像を生成しても良い。

（実施の形態４の変形例）
実施の形態４の変形例について図１２を用いて説明する。図１２は、本実施の形態４の変形例である画像符号化装置１０００の構成を示すブロック図である。画像符号化装置１０００は、図１０の画像符号化装置９００から、スイッチ９１７、９１８、画像処理部１００（８００）、画像縮小部９１９を取り除き、画像縮小部１００１を追加した構成となっている。

実施の形態４と異なる点は、この変形例では、高解像度画像として符号化されるピクチャが、低解像度画像として符号化されたピクチャを参照画像とすることがない点である。このため、低解像度で符号化され、局部復号された画像は高解像度化されることなく、フレームメモリ９０７に蓄積される。そして、高解像度画像として符号化されたピクチャが、低解像度画像として符号化されるピクチャの参照画像として用いられる場合には、フレームメモリ９０７に蓄積された復号画像は、画像縮小部１００１で縮小処理を施されてフレームメモリ９０７に再度蓄積され、参照画像として用いられる。例えば、図１１（ｂ）のピクチャＩ０は、高解像度画像のままその復号画像がフレームメモリ９０７に一旦蓄積される。そしてピクチャＰ３の符号化の際には、ピクチャＩ０の復号画像は解像度変換を施さずに参照ピクチャとして用いられ、ピクチャＰ３の復号画像は高解像度画像のままフレームメモリ９０７に一旦蓄積される。ピクチャＢ１は低解像度に変換されて符号化されるので、ピクチャＩ０、Ｐ３の復号画像は画像縮小部１００１で縮小処理を施されてからピクチャＢ１の参照画像として用いられる。図１１（ｃ）の場合も同様で、Ｉピクチャのみが高解像度画像として符号化され、Ｐピクチャ及びＢピクチャは低解像度画像として符号化される。この場合も、Ｉピクチャが他のピクチャに参照されるときに低解像度化が必要であるだけで、ピクチャの高解像度化は不要となる。

ここで、符号化制御部９１０は、請求項でいう「Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャとを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する前記符号化制御ステップ」を実行する手段に相当する。

また、符号化制御部９１０は、別の請求項でいう「Ｉピクチャのみ高解像度画像として符号化すると判定する前記符号化制御ステップ」を実行する手段に相当する。

以上のように本発明の画像符号化方法では、高解像度画像の符号化を行う際に、一部の画像を低解像度化し符号化する。そして低解像度化して符号化する際に、参照画像が高解像度画像である場合には、その参照画像を低解像度化した後符号化を行う。

本発明の画像符号化方法を用いることにより、入力画像の多くのピクチャが低解像度化されて符号化されるため、発生符号量の大幅な削減を行うことができる。

（実施の形態５）
本発明の画像復号方法の実施の形態について、図１３を用いて説明する。図１３は、復号化の後処理として、復号化された低解像度画像を高解像度化して出力する画像復号化装置の構成を示すブロック図である。本実施の形態５の画像復号化装置は、低解像度画像として符号化されたピクチャを、復号化の後本発明の画像処理部を用いて高解像度化する画像復号化装置であって、符号列解析部７０１、予測誤差復号部７０２、モード復号部７０３、画面内予測／動き補償復号部７０５、フレームメモリ７０７、加算演算部７０８、画像縮小部１００１、制御部１１０１、スイッチ１１０２、１１０３、画像処理部１００（または８００）を備える。以下では、Ｐピクチャの復号処理について説明する。

ここで、同図において、符号列解析部７０１、予測残差復号部７０２及び画面内予測／動き補償復号部７０５は、請求項でいう「前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段」に相当し、画像処理部１００（または８００）は、請求項でいう「前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段」に相当し、フレームメモリ７０７、スイッチ１１０２、スイッチ１１０３及び制御部１１０１は、請求項でいう「前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段」に相当する。

また、画像処理部１００（または８００）は、請求項でいう「前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する前記復号化画像処理ステップ」を実行する手段に相当する。

Ｐピクチャの符号列は符号列解析部７０１に入力される。符号列解析部７０１では、入力された符号列から各種データを抽出する。ここで各種データとは、モード選択情報、動きベクトル情報、ヘッダ情報、等である。抽出されたモード選択の情報は、モード復号部７０３に対して出力される。また、抽出された動きベクトル情報は、画面内予測／動き補償復号部７０５に対して出力される。さらに、予測誤差符号化データは予測誤差復号部７０２に対して出力される。またこの際に、ヘッダ情報として符号化時に画像処理部１００（または８００）でどのような処理方法を用いたのかを示すフラグ情報が記述されている場合、このフラグ情報を画像処理部１００（または８００）に対して出力する。このフラグ情報は、例えば画像処理部１００（または８００）でどのような方法で動きを検出したか、どのような方法で動き補償画像を生成し、その中からどの動き補償画像を選択したか、どのような基準で動き補償画像を選択したか、及び参照高解像度画像ＲＨ内での探索範囲をどれぐらいの範囲にするか等の情報を示すものである。

モード復号部７０３では、モード選択の情報を画面内予測／動き補償復号部７０５に対して出力する。

予測誤差復号部７０２では、入力された予測誤差符号化データの復号を行い、予測誤差画像を生成する。生成された予測誤差画像は加算演算部７０８に対して出力される。

画面内予測／動き補償復号部７０５は、符号列解析部７０１から入力された、画面内予測方法または動きベクトルに基づいて、フレームメモリ７０７から画面内予測画像または動き補償画像（ブロック）を取得する。このようにして生成された画面内予測画像または動き補償画像は加算演算部７０８に対して出力される。

加算演算部７０８では、入力された予測誤差画像と画面内予測画像または動き補償画像とを加算し、復号画像を生成する。生成された復号画像はフレームメモリ７０７に蓄積される。

フレームメモリ７０７に蓄積された復号画像が高解像度画像であり、かつ他のピクチャの復号に参照画像として用いられ、かつその他のピクチャが低解像度画像として符号化されている場合には、画像縮小部１００１で縮小されて参照画像として用いられる。

また、フレームメモリ７０７に蓄積された復号画像は、スイッチ１１０２に入力される。スイッチ１１０２、スイッチ１１０３は制御部１１０１により制御される。

制御部１１０１は、復号画像が縮小されずに符号化された画像である場合には、スイッチ１１０２を端子ｅに、スイッチ１１０３を端子ｇに接続し、フレームメモリ７０７に蓄積された復号画像はそのまま出力画像として出力される。例えば、図１１（ｂ）のように符号化されている場合には、ＩピクチャとＰピクチャの場合がこの処理に相当する。図１１（ｃ）のように符号化されている場合には、Ｉピクチャの場合がこの処理に相当する。制御部１１０１がスイッチ１１０２、スイッチ１１０３をどのように制御するかは、例えばピクチャタイプや各ピクチャの画像サイズの情報から判断することができ、これらの情報は符号列解析部７０１から得ることができる。

制御部１１０１は、復号画像が縮小されて符号化された画像である場合には、スイッチ１１０２を端子ｆに、スイッチ１１０３を端子ｈに接続する。この場合、フレームメモリ７０７に蓄積された復号画像は画像処理部１００（８００）に入力される。画像処理部１００（８００）には、フレームメモリ７０７から低解像度画像の参照画像ＲＬ、現在の復号対象画像に対応する低解像度画像ＣＬ、低解像度画像ＲＬに対応する高解像度復号画像ＲＨが入力される。低解像度画像ＣＬまたはＲＬがフレームメモリ７０７に蓄積されていない場合には、対応する高解像度画像を画像縮小部１００１により縮小して低解像度画像を生成する。そして画像処理部１００（８００）は、本発明の第１の実施の形態またはその変形例で説明した方法と同様の処理により動き補償画像ＭＨを生成する。生成された動き補償画像ＭＨは、スイッチ１１０３を通して出力画像として出力される。また、動き補償画像ＭＨが他の画像の復号や高解像度化に用いられる場合には、フレームメモリ７０７に蓄積される。このようにして、図１１（ａ）のような高解像度画像の復号画像列を得ることができる。

以上のように本発明の画像復号方法では、各ピクチャが低解像度画像または高解像度画像として符号化された符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、少ない符号量で低解像度画像として符号化されたピクチャを高解像度画像に変換することができるので、少ない符号量ですべてのピクチャを高解像度で再生することができ、符号化効率を大きく向上させることができる。

（実施の形態５の変形例）
実施の形態５の変形例について図１４を用いて説明する。図１４は、実施の形態５の変形例である画像復号化装置の構成を示すブロック図である。本変形例の画像復号化装置が実施の形態５の画像復号化装置と異なる点は、フレームメモリ７０７と画像処理部１００（８００）の順序が逆になっていることである。

加算演算部７０８から出力された復号画像は、スイッチ１１０２に入力される。復号画像は、実施の形態５の制御部１１０１、スイッチ１１０２、スイッチ１１０３、画像処理部１００（８００）と同様の処理により処理される。すなわち、復号画像が縮小されずに符号化された画像である場合には、そのままフレームメモリ７０７に蓄積され、復号画像が縮小されて符号化された画像である場合には、画像処理部１００（８００）で高解像度化されてフレームメモリに蓄積される。

フレームメモリ７０７に蓄積された復号画像は、出力画像として出力される。また、他の画像の復号処理または高解像度化に利用される。

以上のように本発明の画像復号装置では、低解像度画像または高解像度画像として符号化された各ピクチャの符号列を復号し、低解像度画像として符号化された画像を復号した後、低解像度画像により画素単位で求めた動きベクトルを用いて他の高解像度画像から動き補償画像を生成する。このような処理により、符号化効率を大きく向上させることができる。

（実施の形態６）
さらに、上記各実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１５は、上記各実施の形態の画像処理方法、画像符号化方法および画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法、画像符号化方法および画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法、画像符号化方法および画像復号方法を実現する上記画像処理方法、画像符号化方法および画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態７）
さらにここで、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムex５００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex５０７〜ex５１０が設置されている。

このコンテンツ供給システムex５００は、例えば、インターネットex５０１にインターネットサービスプロバイダex５０２および電話網ex５０４、および基地局ex５０７〜ex５１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex５００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex５０７〜ex５１０を介さずに、各機器が電話網ex５０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex５０３は、カメラex１１３から基地局ex５０９、電話網ex５０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex５０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex５００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex５０３に送信する一方で、ストリーミングサーバex５０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex５００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した画像処理方法、画像符号化方法および画像復号方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex５１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーex２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーex２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３５０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３５０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex５１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介し
て送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex５１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４５０に伝送される。これを受けた放送衛星ex４５０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４５０からまたは基地局ex５０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクex４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードex４２２に記録することもできる。レコーダex４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクex４２１やＳＤカードex４２２に記録した画像信号を再生し、モニタex４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像処理方法、画像符号化方法および画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、図１、図５、図７、図９、図１０、図１２〜図１４に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、図１、図５、図７、図９、図１０、図１２〜図１４に示したブロック図の各機能ブロックは、その中心的部分をプロセサおよびプログラムによって実現される。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる画像処理方法、画像符号化方法および画像復号方法は、入力画像を高能率符号化する際に、符号量を大幅に削減することができるという効果を有し、蓄積、伝送、通信等における画像処理方法、画像符号化方法および画像復号方法として有用である。

本発明の画像処理部１００の構成を示すブロック図である。 低解像度画像と高解像度画像の関係を示す図である。 （ａ）は、低解像度画像を用いて画素毎に動きベクトルを検出する方法を示す図である。（ｂ）は、低解像度画像ＣＬと低解像度画像ＲＬおよび高解像度画像ＲＨと高解像度画像ＭＨを用いて動き検出を行う方法を示す図である。 動き検出部１０２から入力された動きベクトルＭＶに基づいて、高解像度画像ＲＨから高解像度（動き補償）画像ＭＨを生成する方法を示す図である。 実施の形態１の変形例である画像処理部８００の構成を示すブロック図である。 複数の参照画像の組み合わせを用いて動き検出を行う一例を示す図である。 実施の形態１で説明した画像処理部１００（または８００）を用いて符号化対象高解像度画像の動き補償画像を生成する画像符号化装置の構成を示すブロック図である。 画像処理部１００（または８００）でどのような画像処理方法を用いたのかを示すフラグ情報の記述例を示す図である。 実施の形態３の画像復号化装置の構成を示すブロック図である。 本実施の形態４の画像符号化装置９００の構成を示すブロック図である。 （ａ）は、高解像度画像からなる動画像の入力画像を示す図である。（ｂ）は、ＩピクチャとＰピクチャとを高解像度画像として符号化する場合の解像度切替の例を示す図である。（ｃ）は、Ｉピクチャのみを高解像度画像として符号化する場合の解像度切替の例を示す図である。 本実施の形態４の変形例である画像符号化装置１０００の構成を示すブロック図である。 復号化の後処理として、復号化された低解像度画像を高解像度化して出力する画像復号化装置の構成を示すブロック図である。 実施の形態５の変形例である画像復号化装置の構成を示すブロック図である。 （ａ）、（ｂ）及び（ｃ）は、上記各実施の形態の画像処理方法、画像符号化方法および画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 画像処理方法、画像符号化方法および画像復号方法を用いた携帯電話の例である。 携帯電話のブロック図である。 ディジタル放送用システムの例である。

符号の説明

１００、８００ 画像処理部
１０１ 動き補償部
１０２ 動き検出部
１０３ 制御部
５０１、５０７、５１７、７０７、７１３ フレームメモリ
５０２ 差分演算部
５０３ 予測誤差符号化部
５０４ 符号列生成部
５０５、７０２ 予測誤差復号部
５０６、７０８ 加算演算部
５０８ 画面内予測／動き検出部
５０９ モード選択部
５１０ 符号化制御部
５１４、５１５、７１１ スイッチ
５１６ 画像縮小部
５１８ 低解像度画像符号化部
７０１ 符号列解析部
７０３ モード復号部
７０５ 画面内予測／動き補償復号部
７１２ 低解像度画像復号部

Claims (15)

1. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化方法であって、
   符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、
   前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、
   前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、
   前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップと
   を含むことを特徴とする画像符号化方法。
2. 前記符号化制御ステップでは、Ｂピクチャは他のピクチャから参照されないことを前提として、ＩピクチャとＰピクチャとを高解像度画像として符号化し、Ｂピクチャを低解像度画像として符号化すると判定する
   ことを特徴とする請求項１記載の画像符号化方法。
3. 前記符号化制御ステップでは、Ｉピクチャのみ高解像度画像として符号化すると判定する
   ことを特徴とする請求項１記載の画像符号化方法。
4. 前記画像符号化方法は、さらに、
   前記符号化制御ステップによって高解像度画像として符号化すると判定された符号化対象ピクチャが、低解像度画像として符号化されたピクチャを参照ピクチャとする場合、前記低解像度画像として符号化された前記参照ピクチャを高解像度化する画像処理ステップを含み、
   前記符号化ステップでは、前記画像処理ステップによって高解像度化された前記参照ピクチャを参照して、前記符号化対象ピクチャを符号化する
   ことを特徴とする請求項１記載の画像符号化方法。
5. 前記画像処理ステップでは、前記参照ピクチャとされたピクチャであって低解像度画像として符号化された第１の低解像度画像につき、前記参照ピクチャが低解像度画像として符号化されるとき参照した第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像と同じ画像を表し解像度が異なる第２の高解像度画像の第１画素値を取得し、取得した第１画素値を前記画素の画素値とする、前記第１の低解像度画像と同じ画像を表し解像度が異なる第１の高解像度画像を生成し、
   前記符号化ステップでは、生成された前記第１の高解像度画像を参照して、前記符号化対象ピクチャを符号化する
   ことを特徴とする請求項４記載の画像符号化方法。
6. 前記画像処理ステップでは、さらに、前記第１の高解像度画像の生成済みの画素を用いて、前記第２の高解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、第２の高解像度画像の第２画素値を取得し、前記第１の高解像度画像内で同じ位置にある画素について取得された前記第１画素値と前記第２画素値との平均値を当該画素の画素値とする
   ことを特徴とする請求項５記載の画像符号化方法。
7. 前記画像処理ステップでは、さらに、前記第１の低解像度画像と前記第１の高解像度画像の生成済みの画素につき、複数の前記第２の低解像度画像と複数の前記第２の高解像度画像とを探索して複数の動きベクトルを検出し、前記第１の低解像度画像に対応する複数の第１の高解像度画像を生成し、
   前記画像符号化方法は、さらに、前記画像処理ステップによって生成された複数の前記第１の高解像度画像のうち、１つの第１の高解像度画像を選択する選択ステップ
   を含むことを特徴とする請求項５記載の画像符号化方法。
8. 動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化方法であって、
   前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、
   前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、
   前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップと
   を含むことを特徴とする画像復号化方法。
9. 前記復号化画像処理ステップでは、
   前記復号化ステップによって復号化された第１の低解像度画像につき、前記第１の低解像度画像が低解像度画像として符号化されるとき参照した復号化済みの第２の低解像度画像を探索して、１又は複数の画素単位で動きベクトルを検出し、検出された前記動きベクトルを用いて、前記第２の低解像度画像に対応する第２の高解像度画像の画素値を取得し、前記第１の低解像度画像に対応する第１の高解像度画像を生成する
   ことを特徴とする請求項８記載の画像復号化方法。
10. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置であって、
    符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段と、
    前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
    前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
    前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
    を備えることを特徴とする画像符号化装置。
11. 動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化装置であって、
    前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段と、
    前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段と、
    前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段と
    を備えることを特徴とする画像復号化装置。
12. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置のためのプログラムであって、コンピュータに、
    符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小ステップと、前記符号化制御ステップによって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小ステップと、前記第１の画像縮小ステップによって低解像度化された符号化対象ピクチャを、前記第２の画像縮小ステップによって低解像度化された前記参照ピクチャを参照して符号化する符号化ステップとを実行させるプログラム。
13. 動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化装置のためのプログラムであって、コンピュータに
    前記符号列に符号化されている復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップによって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理ステップと、前記復号化画像処理ステップによって生成された高解像度画像を出力する出力ステップとを実行させるプログラム。
14. 高解像度画像を入力とし、各ピクチャを高解像度または低解像度のいずれかで符号化する画像符号化装置を実装する集積回路であって、
    符号化対象ピクチャのピクチャタイプに応じて、前記符号化対象ピクチャを高解像度画像として符号化するか、低解像度画像として符号化するかを判定する符号化制御手段と、
    前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャを低解像度化する第１の画像縮小手段と、
    前記符号化制御手段によって低解像度画像として符号化すると判定された符号化対象ピクチャが、高解像度画像として符号化されたピクチャを参照ピクチャとする場合、高解像度画像として符号化された前記参照ピクチャを低解像度化する第２の画像縮小手段と、
    前記第１の画像縮小手段によって低解像度化された符号化対象ピクチャを、前記第２の画像縮小手段によって低解像度化された前記参照ピクチャを参照して符号化する符号化手段と
    を備えることを特徴とする集積回路。
15. 動画像中の各ピクチャが高解像度画像又は低解像度画像として符号化されている符号列を入力とし、前記符号列を復号化する画像復号化装置を実装する集積回路であって、
    前記符号列に符号化されている復号化対象ピクチャを復号化する復号化手段と、
    前記復号化手段によって復号化されたピクチャが低解像度画像である場合、前記低解像度画像を高解像度化して高解像度画像を生成する復号化画像処理手段と、
    前記復号化画像処理手段によって生成された高解像度画像を出力する出力手段と
    を備えることを特徴とする集積回路。

Images