JP4734168B2 - 画像復号化装置及び画像復号化方法 - Google Patents

Description

本発明は、メモリバンド幅を低減可能にした画像復号化装置及び画像復号化方法に関する。

近年、ＭＰＥＧ（Moving Picture Experts Group）及びＨ．２６４等の普及に伴って、画像処理はディジタル化されるようになってきた。これにより、高品位のＨＤ画像データの伝送も行われるようになってきている。一方で、携帯電話機等の携帯端末の普及から、比較的低い解像度の画像表示の必要性も高い。また、標準品位のＳＤ画像の表示用のディスプレイ装置も普及している。

このような縮小画像を生成する復号化装置を搭載した機器においては、処理速度も比較的低速なものが多い。このため、画像データの復号化処理時に必要なデータ転送速度を確保するために、メモリインターフェースのビット幅を大きくする必要がある。

このように従来の画像復号化装置においては、必要なメモリバンド幅が大きいという問題点があった。例えば、携帯電話機等において、外部メモリに画像データを記憶させる場合には、外部メモリのピン数が多くなり、メモリのパッケージサイズも大きくなってしまう。

このような理由から、高品位の符号化画像データを復号化する場合に、解像度を低くした画像（縮小画像）を生成する復号化装置も開発されている。例えば、特許文献１においては、復号化処理に用いる参照画像を簡易圧縮して保存する技術が開示されている。なお、この技術では、間引き処理によって全ての参照画像を得ており、差分復号化時における誤差が蓄積されて、画質劣化が生じるという欠点がある。
特開２０００−４４４０号公報

本発明は、必要なメモリバンド幅を低減させることができる画像復号化装置及び画像復号化方法を提供することを目的とする。

本発明の一態様の画像復号化装置は、符号化対象の画像と参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記符号化対象画像の復元画像又は前記予測誤差を得る逆変換処理手段と、前記予測誤差と前記参照画像との加算によって前記所定の画素数領域毎に復元画像を得る動き補償手段と、前記復元画像を記憶する記憶手段と、前記動き補償手段の加算処理のために、参照画像を取得するものであって、前記動き補償手段の処理対象の画像が前記所定の画素数領域の２倍以上の画素数の参照画素を用いる符号化モードによって符号化されている場合には、間引いた復元画像を前記記憶手段から読み出して補間処理によって参照画像を得、２倍未満の画素数の参照画素を用いる符号化モードによって符号化されている場合には、前記記憶手段から復元画像を読出すことによって参照画像を得る参照画像取得手段と、を具備する。

また、本発明の他の態様の画像復号化装置は、符号化対象の画像と所定の時間関係を有する参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記予測誤差を得る逆変換処理手段と、前記予測誤差と動き補償した前記参照画像との加算によって符号化処理前の画像を前記所定の画素数領域毎に復元する動き補償手段と、前記動き補償手段によって復元された画像のデータ量を削減した画像を生成するデータ量削減手段と、前記動き補償手段によって復元された画像を参照画像として記憶すると共に前記データ量を削減した画像を記憶する記憶手段と、前記動き補償手段の加算処理のために、前記記憶手段から前記参照画像を読み出すものであって、前記動き補償手段の処理対象の画像が前記所定の画素数領域の２倍以上の画素数の参照画像を用いる符号化モードによって符号化されている場合には、データ量が削減された参照画像を前記記憶手段から読み出して元のデータ量に戻すことによって参照画像を得る参照画像取得手段と、を具備したことを特徴とする。

本発明によれば、必要なメモリバンド幅を低減させることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る画像復号化装置を示すブロック図である。

図１において、ビデオ復号器１００の入力端子１１には、図示しない画像符号化回路によって符号化した画像データが入力される。画像符号化回路においては、映像信号をブロック単位でＤＣＴ処理して量子化し、更に所定の可変長符号表を用いて可変長符号化処理することにより、符号化画像データを得ている。また、画像符号化回路は、差分回路、逆量子化回路、逆ＤＣＴ回路、動き補償回路等を有しており、入力された映像信号と所定期間前後の参照画像との予測誤差を求め、求めた予測誤差をＤＣＴ処理、量子化処理及び可変長符号化処理することにより、入力された映像信号を動き補償予測符号化することもできるようになっている。

予測符号化方法としては、時間的に前方又は後方の参照画像を用いて動き補償して予測誤差を符号化する片方向予測符号化、前方及び後方の両方の参照画像の平均により動き補償して予測誤差を符号化する両方向予測符号化、及び前方の参照画像を２種類の位相（同位相ラインおよび逆位相ライン）で参照してそれらの平均により動き補償して予測誤差を符号化するデュアルプライム予測符号化等がある。

フレーム内符号化によって符号化されたフレーム（以下、Ｉピクチャという）はフレーム内情報のみによって符号化（フレーム内予測符号化という）されているので、単独の符号化データのみによって復号可能である。従って、ＭＰＥＧ規格においては、エラー伝播抑制等のために、Ｉピクチャを比較的短い周期で挿入するようになっている。ＭＰＥＧ
規格では、このＩピクチャを参照画像として用いた前方からの片方向予測符号化やＩピクチャと同様なフレーム内予測符号化をマクロブロック単位で使用して、前方予測符号化フレーム（以下、Ｐピクチャという）が得られる。なお、Ｐピクチャは前方にある他のＰピクチャを用いた片方向予測符号化によっても得られる。更にＭＰＥＧ２規格のＰピクチャは、図2の第9フレームの様に、表示順序で直前のピクチャタイプがＰピクチャ（またはＩピクチャ）の場合は、2種類の位相（同位相ラインおよび逆位相ライン）で参照するデュアルプライム予測符号化もマクロブロック単位で使用可能である。なお、ここでは、デュアルプライム予測符号化マクロブロックを含むＰピクチャをデュアルプライムピクチャという。また、前方及び後方のＩピクチャやＰピクチャを参照画像として用いて、前方や後方からの片方向予測符号化や、前方及び後方からの両方向予測符号化や、Ｉピクチャと同様なフレーム内予測符号化を、マクロブロック単位で使用して、双方向予測符号化フレーム（以下、Ｂピクチャという）が得られる。

なお、処理する映像信号は、輝度信号と色差信号とでサンプリングクロックが相違する。例えば、色差信号のサンプリングクロックが輝度信号のサンプリングクロックの１／４の周波数であるものとすると、輝度ブロックと色差ブロックの大きさの比は１：４となる。この場合には、輝度４ブロックと色差各１ブロックずつとの６ＤＣＴブロックによってマクロブロックを構成して符号化の単位とする。動きベクトルの検出もマクロブロック単位で行われる（ＭＰＥＧ２では、マクロブロックを偶数ラインと奇数ラインに分けた単位でも動きベクトル検出が行われる）。

入力端子１１には、動き補償予測符号化された画像データが入力される。この符号化画像データは、バッファ制御部１１０を介して復号再生部１２０に供給される。バッファ制御部１１０は、後述するメモリ制御部１４０を介してメモリ２００に符号化画像データを一時的に格納すると共に読み出して、復号再生部１２０に供給している。バッファ制御部１１０は、復号再生部１２０における復号化レートに応じたレートで符号化画像データを復号再生部１２０に供給する。

復号再生部１２０は、逆変換処理部１２１、動き補償部１２２及び画素補間部１２３を有している。逆変換処理部１２１は、可変長復号処理、逆ＤＣＴ処理及び逆量子化処理が可能である。逆変換処理部１２１は、入力された符号画像データを可変長復号化する。逆変換処理部１２１は、可変長復号化された符号化画像データを逆量子化処理して、符号化側の量子化処理前の変換係数に戻す。更に、逆変換処理部１２１は、変換係数を逆ＤＣＴ処理する。これにより、逆変換処理部１２１は、符号化側のＤＣＴ処理前に近似する画像データを得る。

逆変換処理部１２１の出力は動き補償部１２２に供給される。復号再生部１２０に入力された符号化画像データがフレーム内予測符号化（イントラ符号化）されたイントラマクロブロックである場合には、逆変換処理部１２１の出力は復元された画像データ（復元画像データ）である。復号再生部１２０に入力された符号化画像データが片方向予測符号化マクロブロックや両方向予測符号化マクロブロック（非イントラマクロブロック）である場合には、逆変換処理部１２１の出力は参照ブロックとの差分値である。この場合には、動き補償部１２２は、動きベクトルに基づいてメモリ２００に記憶された参照画像の一部を読み出して予測画素マクロブロックを生成し、逆変換処理部１２１の出力と予測画素マクロブロックとを加算することで、符号化前に近似する画像データを復元する。

動き補償部１２２からの復号処理された画像データ（復元画像データ）は、縮小画像生成部１３１に供給されると共にメモリ制御部１４０を介してメモリ２００に供給される。縮小画像生成部１３１は、入力された復元画像データから縮小画像の画像データ（縮小画像データ）を生成して出力する。縮小画像生成部１３１からの縮小画像データもメモリ制御部１４０を介してメモリ２００に供給される。参照画像取得手段を構成するメモリ制御部１４０は動き補償部１２２からの復元画像データ及び縮小画像生成部１３１からの縮小画像データのメモリ２００への書き込み及び読み出しを制御する。

メモリ２００は、バッファメモリ領域２１１、参照画像用のメモリ領域２２１〜２２４及び表示用のメモリ領域２３１〜２３３を有している。バッファメモリ領域２１１はバッファ制御部１１０からの符号化データを記憶する領域である。メモリ領域２２１〜２２４は、動き補償部１２２からの復元画像データを参照画像の画像データ（参照画像データ）として記憶する領域である。また、メモリ領域２３１〜２３３は、縮小画像生成部１３１からの縮小画像データを表示用に記憶する領域である。

本実施の形態においては、メモリ制御部１４０は、メモリ領域２２１〜２２４に参照画像データを記憶させる場合には、１フレームの復元画像を偶数列の画素と奇数列の画素とに分け、偶数列の画素の画素データをメモリ領域２２１又は２２３に格納し、奇数列の画素の画素データをメモリ領域２２２又は２２４に格納するようになっている。また、メモリ制御部１４０は、縮小画像生成部１３１からの縮小画像データについては、フレーム毎に各領域２３１〜２３３に格納するようになっている。

なお、動き補償部１２２が必要とする参照画像データ書き込み開始アドレスはマクロブロック単位であり、メモリ制御部１４０はメモリ２００への参照画像データの書き込みを効率良く行え、余分なメモリバンド幅の増加は無い。

一方、参照画像データ読み出し時には、動き補償予測復号化のために、動き補償部１２２が本来必要とする参照画像データの読み出し開始アドレスは１画素単位であり、メモリ制御部１４０のメモリ２００からの読み出し単位よりも小さい為、余分なメモリアクセスを生じてメモリバンド幅が比較的高くなる。例えば、フレーム動き補償タイプ動きベクトルとして水平及び垂直方向共にハーフペルに設定された場合には、参照画像ブロックとしてはマクロブロックに対して水平及び垂直方向に１画素ずつ加えたブロックが用いられる。例えば、復号処理するマクロブロックが１６×１６画素の場合には、１７×１７画素の参照画像ブロックの読み出しが行われる。更に、両方向予測符号化やデュアルプライム予測符号化が用いられたマクロブロックは、片方向予測符号化マクロブロックに比べて、参照画素数が多く、必要なメモリバンド幅が倍増する。

そこで本実施形態においては、動き補償部１２２は、参照画像データの読み出しに際して、参照画素数が多く読み出しレートが特に高くなる両方向予測符号化やデュアルプライム予測符号化が用いられたマクロブロックについてのみ、偶数列又は奇数列のいずれか一方のみの画素データを読み出して間引き参照画像として画素補間部１２３に出力するようになっている。なお、デュアルプライム予測符号化以外の片方向予測符号化マクロブロック（Ｂピクチャでの片方向予測符号化マクロブロックを含む）については、動き補償部１２２は、通常通り、全画素の参照画像データを読み出して参照画像として動き補償部１２２に出力する。

ここでデュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合には、動き補償部１２２は、動きベクトルに応じて、メモリ２００のメモリ領域２２１〜２２４に保存されたIまたはＰピクチャの復元画像データの読み出し位置（ブロック化位置）を決定する。メモリ制御部１４０は、決定されたブロック化位置のブロック内画素データを出力する。即ち、メモリ制御部１４０は、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックについては、マクロブロックに対応した画素数の参照画像ブロックを出力する。

一方、両方向予測符号化マクロブロック及びデュアルプライム予測符号化マクロブロックについては、2つのフレームからの参照画素ブロックや１つのフレームからの2種類の参照画素ブロックが必要であり、本来は、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合の2倍の参照画素を用いた復号化処理を行う必要がある。つまり、本来は、1つのマクロブロックに対して、マクロブロックの2倍以上の画素数の参照画素を用いる必要がある。

本実施の形態においては、動き補償部１２２は、両方向予測符号化マクロブロックに対する参照画像データとして、それぞれの参照フレームから偶数列又は奇数列のいずれか一方のみの画素データによる参照画像ブロック（以下、間引き参照画像ブロックという）をメモリ制御部１４０を介して読み出す。

参照画像取得手段を構成する画素補間部１２３は、間引き参照画像ブロックが与えられると、補間処理によって、偶数列又は奇数列の画素を補間し、間引き参照画像ブロックから通常の画素数の参照画像ブロックを作成する。画素補間部１２３は、補間して作成した参照画像ブロックを動き補償部１２２に供給するようになっている。動き補償部１２２は、供給された参照画像ブロックから生成した予測画素ブロックと、逆変換処理部１２１からの予測誤差とを加算することで、復元画像ブロックを生成する。

間引き参照画像ブロックは、通常の参照画像ブロックの約半分の画素数によって構成されており、本実施の形態においては、両方向予測符号化マクロブロック及びデュアルプライム予測符号化マクロブロックについても、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合と同様な参照画素数の読み出しで復号処理が可能となる。

次に、このように構成された実施の形態の動作について図２乃至図４を参照して説明する。図２は復号化処理及び表示のためのメモリ２００の各領域に対する書き込み及び読み出しを説明するための説明図である。図２では、水平方向に枠で区切ってフレーム単位の時間を表している。各枠内にはＩ，Ｐ，Ｂによって対象となるピクチャタイプを示している。なお、各ピクチャタイプに付した数字はフレーム番号を示している。また、図３は復号に用いる参照画像を説明するための説明図であり、図４はマクロブロック毎の復号処理を説明するためのフローチャートである。

入力端子１１には符号化画像データが入力される。入力された符号化画像データは、バッファ制御部１１０によってメモリ２００内のメモリ領域２１１に供給されて、一時的に保持される。バッファ制御部１１０は入力された符号化画像データを、所定の復号化処理レートで復号再生部１２０に出力する。復号再生部１２０の逆変換処理部１２１は、図４のステップＳ１０において、符号化画像データを可変長復号化し、逆量子化し、更に、逆ＤＣＴ処理して符号化側のＤＣＴ処理前のデータに戻す。

（ａ） 入力された符号化画像データがフレーム内符号化されたものである場合には、この符号化画像データに対する逆変換処理部１２１の出力は復元画像マクロブロックである。この場合には、ステップＳ１２〜Ｓ１６を省略して、動き補償部１２２は逆変換処理部１２１の出力を復元画像マクロブロックデータとしてそのまま出力する。

図３は動き補償予測復号化処理に用いる参照画像を示している。図３中のピクチャタイプを示すＩ，Ｂ，Ｐの符号の下方の実線及び破線は、夫々復元画像及び間引かれた復元画像を示している。また、図３中の四角印は、参照画像を用いた復号処理により復元（再生）されるマクロブロックを示し、矢印の始点によって復号処理に用いる参照画像を示している。図３に示すように、Ｉピクチャの復号処理には参照画像は用いられない。

動き補償部１２２からの復元画像マクロブロックデータは縮小画像生成部１３１に供給されると共に、ＩピクチャまたはＰピクチャの復号処理の場合にはメモリ制御部１４０を介してメモリ２００に供給される。メモリ制御部１４０は、動き補償部１２２からの復元画像マクロブロックデータを参照画像データとしてメモリ２００の領域２２１〜２２４に記憶させる（ステップＳ１８）。縮小画像生成部１３１は、復元画像マクロブロックデータから表示用の縮小画像マクロブロックデータを生成する（ステップＳ１９）。メモリ制御部１４０は、縮小画像生成部１３１からの縮小画像データについてもメモリ２００の領域２３１〜２３３に記憶させる。

表示制御部１５０は、符号化順と表示順との差を吸収するように、メモリ２００の各領域からの読み出しを制御する。符号化時においては、図２のピクチャタイプの添え字のフレーム番号に示すように、例えば、第２及び第５フレームの画像を用いた両方向予測符号化によって、第３及び第４フレームのＢピクチャの符号化画像データを作成し、第５及び第８フレームの画像を用いた両方向予測符号化によって、第６及び第７フレームのＢピクチャの符号化画像データを作成している。即ち、符号化順は、図２に示すように、第２，第０，第１，第５，第３，第４，…のフレーム順である。逆変換処理部１２１からはこのフレーム順で逆変換処理データが得られる。

従って、第２フレームのＩピクチャ（Ｉ２）の復元画像データの縮小画像は、Ｉピクチャ（Ｉ２）の後で復号される第0及び第1フレームのＢピクチャ（Ｂ０及びＢ１）に基づく縮小画像が表示された後に表示される。このため、Ｉピクチャ（Ｉ２）の縮小画像は、その各マクロブロックの復号時において、メモリ２００の領域２３２にも保持される（ステップＳ２０）。

本実施の形態においては、動き補償部１２２からの復元画像を参照画像として記憶させる場合には、間引き読み出しが容易となるように、偶数列のデータと奇数列のデータとに分けて異なる領域に格納する。即ち、メモリ制御部１４０は、復元画像データを偶数列の画素データと奇数列の画素データとに分け、異なる領域２２１，２２３又は領域２２２，２２４に格納する。例えば、第２フレームのＩピクチャ（Ｉ２）の復元画像データは、図２に示すように、領域２２１，２２２に記憶される。

（ｂ） 入力された符号化画像データがフレーム間予測符号化（片方向予測符号化または両方向予測符号化）されたものである場合には、この符号化画像データに対する逆変換処理部１２１の出力は予測誤差である。例えば、図２の第５フレームのＰピクチャ（Ｐ５）のデュアルプライム予測でない片方向予測誤差マクロブロックが動き補償部１２２に供給されるものとする。この場合には、動き補償部１２２は、ステップＳ１２を介してステップＳ１３に移行し、メモリ制御部１４０に動きベクトルに応じた読み出しアドレスを与えて、メモリ２００の領域２２１，２２２に記憶されている第２フレームのＩピクチャ（Ｉ２）の復元画像から参照画像ブロックを読み出す。メモリ制御部１４０は、マクロブロックに対応したサイズの参照画像ブロックを読み出して、動き補償部１２２に出力する。即ち、Ｐピクチャ（Ｐ５）のデュアルプライム予測でない片方向予測符号化マクロブロックの復号処理には、図３の無地の四角印に示すように、１マクロブロックの復号処理に対して約１マクロブロック分の参照画像データを読み出せば良い（なお、Ｂピクチャの片方向予測符号化マクロブロックも同様である）。

動き補償部１２２は、読み出された参照画像ブロックから生成した予測画素ブロックと逆変換処理部１２１からの予測誤差マクロブロックとを加算して、復元画像ブロックデータを得る（ステップＳ１６）。このＰピクチャに対する復元画像ブロックデータは、メモリ制御部１４０を介して、メモリ２００の領域２２３，２２４に格納される（なお、Ｂピクチャのマクロブロックの場合はメモリ２００の領域２２１〜２２４への格納は行われない）。また、このＰピクチャの復元画像ブロックデータは、縮小画像生成部１３１において縮小画像ブロックデータに変換された後、メモリ制御部１４０を介して、領域２３２に格納される。

次に、第３フレームのＢピクチャ（Ｂ３）の符号化データが復号される。ここで両方向予測符号化マクロブロックの場合には、逆変換処理部１２１の出力は予測誤差である。この場合には、動き補償部１２２は、Ｉピクチャ（Ｉ２）とＰピクチャ（Ｐ５）とを用いて復元画像を生成する。即ち、動き補償部１２２は、メモリ制御部１４０に動きベクトルに応じた読み出しアドレスを与えて、メモリ２００の領域２２１及び２２２に分割して記憶されている第２フレームのＩピクチャ（Ｉ２）の復元画像の内一方の領域（２２１又は２２２）の復号画像と領域２２３及び２２４に分割して記憶されている第５フレームのＰピクチャ（Ｐ５）の復元画像の内一方の領域（２２３又は２２４）の復号画像の両方から対応するブロック化位置の間引き参照画像ブロックを読み出す（ステップＳ１４）。

これらの間引き参照画像ブロックのデータは、画素補間部１２３に供給される。画素補間部１２３は、入力された間引き参照画像ブロックの偶数列又は奇数列を内挿フィルタ等で補間することでＩ，Ｐピクチャについての参照画像ブロックを得て、動き補償部１２２に出力する（ステップＳ１５）。動き補償部１２２は、Ｉピクチャ（Ｉ２）とＰピクチャ（Ｐ５）の参照画像ブロックが与えられて予測画素ブロックを生成し、逆変換処理部１２１からの予測誤差との加算によって、Ｂピクチャ（Ｂ３）の復元画像ブロックデータを得る（ステップＳ１６）。この様に本実施の形態においては、Ｂピクチャの両方向予測符号化マクロブロックの復号処理に対して、メモリ領域２２１又は２２２とメモリ領域２２３又は２２４とからの間引き参照画像ブロックを合わせて約１マクロブロック分の画素データを読み出せば良く、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合と同様な参照画素数の読み出しで復号処理が可能となる。

このＢピクチャ（Ｂ３）の復号処理時において、メモリ２００の領域２３１に記憶されているＩピクチャ（Ｉ２）の縮小画像データが読み出されて、表示制御部１５０に供給される。こうして、出力端子１２を介して図示しない表示部に縮小画像データが与えられて、画像表示が行われる。

また、Ｂピクチャの復元画像ブロックデータは、参照画像として用いられないので記憶する必要はなく、縮小画像生成部１３１に供給される。縮小画像生成部１３１は復元画像ブロックデータから縮小画像ブロックデータを生成する。この縮小画像ブロックデータは、メモリ制御部１４０を介して、メモリ２００の領域２３３に書き込まれる。Ｂピクチャ（Ｂ３）の縮小画像データは、次のＢピクチャ（Ｂ４）の復号化時に読み出されて、表示部において表示される。

以後同様の動作が繰り返されて、メモリ２００に対して図２示す書き込み及び読み出しが行われて、各ピクチャの縮小画像データが得られる。画像表示順序は、図２に示すように、元のフレーム順となる。

なお、本実施の形態においては、Ｂピクチャの両方向予測符号化マクロブロックだけでなく、Ｐピクチャのデュアルプライム予測符号化マクロブロックについても、動き補償部１２２は、メモリ２００の領域２２１又は領域２２２のいずれか一方（或いは、領域２２３又は領域２２４のいずれか一方）から、２種類の対応するブロック化位置の間引き参照画像ブロックを読み出す。画素補間部１２３は、間引き参照画像ブロックに対して、偶数列又は奇数列の画素を補間して、参照画像ブロックを生成して、動き補償部１２２に供給する（図３参照）。

従って、この場合においても、１マクロブロックの復号処理において２種類の間引き参照画像ブロックを合わせて約１マクロブロック分の画素データを読み出せば良く、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合と同様な参照画素数の読み出しで復号処理が可能となる。

この様に、本実施の形態では、両方向予測符号化マクロブロック及びデュアルプライム予測符号化マクロブロックについての参照画像の読み出し画素数を削減する事により、必要な最大メモリバンド幅を削減している。さらに、両方向予測符号化マクロブロックは、参照画像として使用されないＢピクチャにおいてのみ使用されるもので、これによる画質劣化は後続の復号画像の画質に影響を与えない。また、デュアルプライム予測符号化マクロブロックは、後続の復号処理において参照画像として使用されるが、１画面内で使用される割合が少ない為、後続の復号画像の画質への影響は微小である。従って本実施の形態ではデュアルプライム予測符号化マクロブロックを使用しない片方向予測符号化マクロブロックの場合と同様な少ないメモリバンド幅に削減しても、高画質な再生画像を得ることができる。

＜第２の実施の形態＞
図５乃至図７は本発明の第２の実施の形態に係り、図５は画像復号化装置を示すブロック図である。図６は図２に対応したものであり、復号化処理及び表示のためのメモリ２０１の各領域に対する書き込み及び読み出しを説明するための説明図である。また、図７はマクロブロック毎の復号処理を説明するためのフローチャートである。図５乃至図７において夫々図１，２，４と同一物には同一符号を付して説明を省略する。

本実施の形態は表示用の縮小画像を参照画像として利用可能にしたものである。本実施の形態は、参照画像取得手段としてのメモリ制御部１４１を採用したビデオ復号器１０１及びメモリ２０１を採用した点が第１の実施の形態と異なる。メモリ制御部１４１は、メモリ２０１に対するアクセス制御が図１のメモリ制御部１４０と異なるのみである。

メモリ制御部１４１は、メモリ２０１の各領域に対する書き込み及び読み出しを制御する。メモリ２０１は、バッファメモリ領域２１１、参照画像用のメモリ領域２２５，２２６並びに参照及び表示用のメモリ領域２４１〜２４４を有している。メモリ領域２２５，２２６は、動き補償部１２２からの復元画像データを参照画像データとして記憶する領域である。また、メモリ領域２４１〜２４４は、縮小画像生成部１３１からの縮小画像データを記憶する領域である。

本実施の形態においては、メモリ領域２４１〜２４４に格納される縮小画像データは、表示用だけでなく、参照画像としても利用されるようになっている。縮小画像生成部１３１からの縮小画像データは、例えば、復元画像からフィルタリング処理及び間引き処理を行って生成される。

動き補償部１２２が要求するメモリ領域２２５，２２６への参照画像データ書き込み開始アドレスは、マクロブロック単位であり、メモリ制御部１４１はメモリ２０１への参照画像データの書き込みを効率良く行え、余分なメモリバンド幅の増加は無い。また、領域２４１〜２４４への画像データの書き込み開始アドレスも、縮小マクロブロック単位（またはその整数倍の単位）であり、メモリ制御部１４１はメモリ２０１への参照画像データの書き込みを効率良く行え、余分なメモリバンド幅の増加は無い。

動き補償予測復号化のための参照画像の読み出しに際して、メモリ制御部１４１は、動き補償部１２２の制御により、読み出しレートが高くなりやすいＢピクチャの両方向予測符号化マクロブロック及びＰピクチャのデュアルプライム予測符号化マクロブロックの復号処理時には、領域２４１〜２４４に格納されている縮小画像（縮小参照画像）を画素補間部１２３に出力するようになっている。また、メモリ制御部１４１は、動き補償部１２２の制御により、デュアルプライム予測符号化マクロブロックを除く片方向予測符号化マクロブロックについては、通常通り、領域２２５，２２６から参照画像を読み出して動き補償部１２２に出力するようになっている。

参照画像取得手段としての画素補間部１２３は、内挿フィルタ処理等の補間処理によって、縮小参照画像ブロックから通常の画素数の参照画像ブロックを作成する。画素補間部１２３は、補間して作成した参照画像ブロックを動き補償部１２２に供給するようになっている。

縮小参照画像ブロックは、通常の参照画像ブロックよりもデータ量が小さく、メモリ制御部１４１は、縮小参照画像ブロックを通常の参照画像ブロックよりも低レートで読み出すことが可能である。

次に、このように構成された実施の形態の動作について図５及び図７を参照して説明する。

本実施の形態は参照画像として表示用の縮小画像を利用する点及び縮小画像を参照用及び表示用として用いるためのメモリ２０１のアクセス制御が第１の実施の形態の動作と異なる。

図５に示すように、参照画像用のメモリ領域２２５，２２６への書き込み及び読み出しは、偶数列と奇数列とに分けていない点を除いて、図１の領域２２１〜２２４への書き込み及び読み出しと同様である。

デュアルプライム予測符号化マクロブロックを除く片方向予測符号化マクロブロックについては、参照画像として、これらの領域２２５，２２６に書き込まれた参照画像データが用いられる。これらの参照画像データは、直接動き補償部１２２に与えられる。また、Ｂピクチャにおける両方向予測符号化マクロブロック及びデュアルプライムピクチャのデュアルプライム予測符号化マクロブロックについては、参照画像として、領域２４１〜２４４に格納されている圧縮画像データが用いられる。

参照用及び表示用メモリ領域２４１〜２４４に記憶された縮小画像データは、表示用としてだけでなく参照画像用としても用いられる。従って、縮小画像データは、表示用として読み出された後も、参照画像用として保持されておく必要があることがある。このため、本実施の形態においては、４フレーム分の縮小画像データを４つの領域２４１〜２４４に格納する。

例えば、第２フレームのＩピクチャ（Ｉ２）の復元画像データは、参照画像として領域２２５に格納されると共に、縮小画像生成部１３１によって縮小画像に変換され、領域２４３にも格納される。

第５フレームのＰピクチャ（Ｐ５）のデュアルプライム予測符号化マクロブロックでない片方向予測符号化マクロブロックの復号処理時には、ステップＳ１３において、動き補償部１２２は、動きベクトルに基づいてブロック化位置を決定し、メモリ制御部１４１を介して、メモリ２０１の領域２２５に記憶されている第２フレームのＩピクチャ（Ｉ２）の復元画像からマクロブロックサイズの参照画像ブロックを読み出す。この様にＰピクチャ（Ｐ５）のデュアルプライム予測符号化マクロブロックでない片方向予測符号化マクロブロックの１マクロブロック分の復号処理時には、図３の無地の四角印に示すように、１マクロブロック分の参照画像データを読み出せば良い（なお、Ｂピクチャの片方向予測符号化マクロブロックも同様である）。

図６に示すように、第５フレームのＰピクチャ（Ｐ５）の復号期間の次のフレーム期間において、第２フレームのＩピクチャ（Ｉ２）の縮小画像が表示用に読み出される。本実施の形態においては、このＩピクチャ（Ｉ２）の縮小画像は、第３フレームのＢピクチャ（Ｂ３）の両方向予測符号化マクロブロックの復号処理時には、その参照用と表示用に読み出され、更にその後、第４フレームのＢピクチャ（Ｂ４）の復号処理の参照用にも読み出される。

即ち、第３及び第４フレームのＢピクチャ（Ｂ３，Ｂ４）の両方向予測符号化マクロブロックの復号処理については、参照及び表示用メモリ領域２４３，２４４に格納されているＩ，Ｐピクチャ（Ｉ２，Ｐ５）の縮小参照画像ブロックが読み出される。即ち、動き補償部１２２は、動きベクトルに基づいて、Ｉ，Ｐピクチャ（Ｉ２，Ｐ５）の縮小画像のブロック化位置を決定し、比較的小さいデータ量の縮小参照画像ブロックを読み出して、画素補間部１２３に出力する（ステップＳ２４）。なお、Ｂピクチャの片方向予測符号化マクロブロックの復号処理については、メモリ２０１の領域２２５または２２６に記憶されている第２フレームのＩピクチャ（Ｉ２）または第５フレームのＰピクチャ（Ｐ５）の復元画像からマクロブロックサイズの参照画像ブロックを読み出す（ステップＳ１３）。

画素補間部１２３は、入力された縮小参照画像ブロックを補間することでＩ，Ｐピクチャについての参照画像ブロックを得て、動き補償部１２２に出力する（ステップＳ１５）。動き補償部１２２は、Ｉピクチャ（Ｉ２）とＰピクチャ（Ｐ５）の参照画像ブロックが与えられて、予測画素ブロックを生成し、逆変換処理部１２１からの予測誤差との加算によって、第３，第４フレームのＢピクチャ（Ｂ３，Ｂ４）の両方向予測符号化マクロブロックの復元画像データを得る（ステップＳ１６）。この様に本実施の形態においては、Ｂピクチャの両方向予測符号化マクロブロックの復号処理においても、メモリ領域２４３とメモリ領域２４４とからの間引き参照画像ブロックを合わせて約１マクロブロック分の画素データを読み出せば良く、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合と同様な参照画素数の読み出しで復号処理が可能となる。

以後同様の動作が繰り返されて、メモリ２０１に対して図６に示す書き込み及び読み出しが行われて、各ピクチャの縮小画像データが得られる。なお、本実施の形態においては、Ｂピクチャの両方向予測符号化マクロブロックだけでなく、デュアルプライムピクチャのデュアルプライム予測符号化マクロブロックについても、動き補償部１２２は、メモリ２０１の領域２４１〜２４４に格納された縮小参照画像ブロックを読み出す。従って、この場合においても、１マクロブロックの復号処理において２種類の間引き参照画像ブロックを合わせて約１マクロブロック分の画素データを読み出せば良く、デュアルプライム予測符号化以外の片方向予測符号化マクロブロックの場合と同様な参照画素数の読み出しで復号処理が可能となる。

このように、本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

＜第３の実施の形態＞
図８乃至図１０は本発明の第３の実施の形態に係り、図８は画像復号化装置を示すブロック図である。図９は図３に対応したものであり、復号処理に用いる参照画像を説明するための説明図である。また、図１０はマクロブロック毎の復号処理を説明するためのフローチャートである。図８乃至図１０において夫々図５，３，７と同一物には同一符号を付して説明を省略する。

本実施の形態は表示用の参照及び表示用メモリ領域２４１〜２４４に格納する画像データとして、縮小画像に代えて圧縮画像を用いると共に、この圧縮画像を参照画像として用いて、伸張処理することによって、参照画像を得るようにしたものである。本実施の形態におけるビデオ復号器１０２は、参照画像取得手段としての画像伸張部１２６を有する復号再生部１２５を採用すると共に、圧縮画像生成部１３２を採用し、更に画像伸張部１５２を付加した表示制御部１５１を採用した点が図５のビデオ復号器１０１と異なる。

圧縮画像生成部１３２は、復号再生部１２５から復元画像データが与えられ、復元画像データを圧縮処理して、圧縮画像データを生成する。圧縮画像生成部１３２としては、直交変換器及び量子化器を用いた簡易圧縮器を採用することができる。メモリ制御部１４１は、圧縮画像生成部１３２からの圧縮画像データをメモリ２０１の領域２４１〜２４４に格納するようになっている。本実施の形態においては、メモリ領域２４１〜２４４に格納される圧縮画像データは、表示用だけでなく、参照画像としても利用されるようになっている。

動き補償部１２２が要求するメモリ領域２２５，２２６への参照画像データ書き込み開始アドレスはマクロブロック単位であり、メモリ制御部１４１はメモリ２０１への参照画像データの書き込みを効率良く行え、余分なメモリバンド幅の増加は無い。

また、領域２４１〜２４４への画像データの書き込み開始アドレスも、縮小マクロブロック単位（またはその整数倍の単位）であり、メモリ制御部１４１はメモリ２０１への参照画像データの書き込みを効率良く行え、余分なメモリバンド幅の増加は無い。

本実施の形態においても、動き補償予測復号化のための参照画像の読み出しに際して、メモリ制御部１４１は、動き補償部１２２の制御により、読み出しレートが高くなりやすいＢピクチャの双方向予測符号化マクロブロック及びデュアルプライムピクチャのデュアルプライム予測符号化マクロブロック復号処理時には、領域２４１〜２４４に格納されている圧縮画像（圧縮参照画像）を画像伸張部１２６に出力するようになっている。また、メモリ制御部１４１は、動き補償部１２２の制御によりデュアルプライム予測符号化マクロブロックを除く片方向予測符号化マクロブロックについては、通常通り、領域２２５，２２６から参照画像を読み出して動き補償部１２２に出力するようになっている。

参照画像取得手段としての画像伸張部１２６は、圧縮画像生成部１３２の逆処理によって、圧縮参照画像ブロックから通常の参照画像ブロックを作成する。画像伸張部１２６は、作成した参照画像ブロックを動き補償部１２２に供給するようになっている。

圧縮参照画像ブロックは、通常の参照画像ブロックよりもデータ量が小さく、メモリ制御部１４１は、圧縮参照画像ブロックを通常の参照画像ブロックよりも低レートで読み出すことが可能である。

また、表示制御部１５１内の画像伸張部１５２も、圧縮画像生成部１３２の逆処理によって、圧縮画像から通常の表示画像を作成する（この伸張処理は、ライン単位の処理で良い）。表示制御部１５１は、伸張された復元画像データを出力端子１２に出力するようになっている。

次に、このように構成された実施の形態の動作について図９及び図１０を参照して説明する。

本実施の形態は参照用及び表示用として縮小画像でなく圧縮画像を用いる点が第２の実施の形態の動作と異なるのみである。図９に示すように、デュアルプライム予測符号化マクロブロックを除く片方向予測符号化マクロブロックについては、参照画像として、領域２２５，２２６に書き込まれた参照画像データが用いられる。これらの参照画像データは、直接動き補償部１２２に与えられる。また、Ｂピクチャの双方向予測符号化マクロブロック及びデュアルプライムピクチャのデュアルプライム予測符号化マクロブロックについては、参照画像として、領域２４１〜２４４に格納されている圧縮画像データが用いられる。

圧縮画像データは、ステップＳ３４において参照画像として読み出されて、画像伸張部１２６に与えられる。画像伸張部１２６はステップＳ３５において伸張処理を施して、参照画像を復元する。こうして得られた参照画像は、動き補償部１２２において予測画素ブロックを生成され、逆変換処理部１２１の出力と加算されて、復元画像が得られる。動き補償部１２２からの復元画像は、ステップＳ３６において、圧縮画像に変換されて、領域２４１〜２４４に書き込まれる。

表示時には、参照及び表示用メモリ領域２４１〜２４４から読み出された圧縮画像データは、表示制御部１５１の画像伸張部１５２に与えられて伸張処理される。表示制御部１５１は、伸張された復元画像データを出力端子１２に出力する。こうして、図示しない表示装置において、復元画像の表示が可能である。

このように本実施の形態においても、第２の実施の形態と同様の効果を得ることができる。

＜圧縮画像生成部＞
ところで、図８中の圧縮画像生成部１３２としては、符号化側における圧縮回路よりも簡単な構成のものを採用してもよい。例えば、圧縮画像生成部１３２としては、直交変換回路と非線形量子化回路とを組み合わせた回路を採用することができる。

図１１乃至図１４は図８中の圧縮画像生成部１３２の具体的な構成例に係り、図１１は直交変換回路としてのアダマール変換回路の一例を示している。また、図１２及び図１３は夫々アダマール変換回路中の量子化器Ｑ１，Ｑ２の一例を示している。また、図１４は量子化テーブルを示している。

図１１において、加算器Ａ１〜Ａ４には、夫々入力された画像データの各画素値ｘ０，ｘ２，ｘ１，ｘ３が夫々与えられる。また、画素値ｘ０〜ｘ３は、夫々加算器Ａ２，Ａ４，Ａ１，Ａ３にも与えられる。加算器Ａ１〜Ａ４の出力は夫々加算器Ａ５〜Ａ７に与えられる。

即ち、加算器Ａ５には、加算器Ａ１，Ａ３の出力が与えられ、加算器Ａ５は、加算結果を変換係数の直流成分ｆ０’（ｆ０＝ｘ０＋ｘ１＋ｘ２＋ｘ３＋２）として出力する。また、加算器Ａ６には、加算器Ａ２，Ａ４の出力が与えられ、加算器Ａ６は、加算器Ａ２の出力から加算器Ａ４の出力を減算することで、出力ｆ１’としてｆ１’＝ｘ０＋ｘ１−ｘ２−ｘ３を出力する。また、加算器Ａ７には、加算器Ａ２，Ａ４の出力が与えられ、加算器Ａ７は、出力ｆ２’としてｆ２’＝ｘ０−ｘ１−ｘ２＋ｘ３を出力する。

４画素を用いたアダマール変換回路では、出力ｆ３として、ｆ３＝ｘ０−ｘ１＋ｘ２−ｘ３も用いられる。図１１の回路では、最も高い周波数成分を含む変換係数ｆ３を出力として用いない。また、図１１の例では、入力される各画素値は８ビットであるものとする。従って、加算器Ａ５の出力の直流成分ｆ０’は１０ビットであるが、図１１の回路では、直流成分ｆ０’については、第０乃至第９ビット中の第２乃至第９ビットの上位８ビット（以下、８（［９：２］）と表記する）のみを直流成分ｆ０として出力する。即ち、直流成分ｆ０については、四捨五入を含む線形の量子化処理を施した出力となる。

また、加算器Ａ６，Ａ７の１０ビットの出力ｆ２’，ｆ３’については、夫々非線形の量子化器Ｑ１，Ｑ２によってビット数を５ビット又は３ビットに変換し、変換係数ｆ２，ｆ３として出力する。輝度信号と色差信号との切換信号ＹＣによって輝度信号が指定されている期間には、選択回路ＳＥ１は加算器Ａ５の出力を選択し、選択回路ＳＥ２は量子化器Ｑ１，Ｑ２の出力を選択する。選択回路ＳＥ２の出力は、第０から第７ビットの８ビットの出力Ｄｏｕｔ［７：０］となり、選択回路ＳＥ１の出力は第８から第１５ビットの８ビットの出力Ｄｏｕｔ［１５：８］となる。こうして、第０乃至第３１の３２ビットの入力画像データが１６ビットの変換係数に圧縮されて出力される。

なお、入力画像データが色差信号の場合には、色差信号Ｃｂ１，Ｃｂ２は加算器Ａ１において加算されて（Ｃｂ１＋Ｃｂ２＋１）が算出され、色差信号Ｃｒ１，Ｃｒ２は加算器Ａ３において加算されて（Ｃｂ１＋Ｃｂ２＋１）が算出される。加算器Ａ１の出力９ビット中の上位８ビットが色差信号の変換係数Ｃｂとして、選択回路ＳＥ１に供給される。また、加算器Ａ３の出力９ビット中の上位８ビットが色差信号の変換係数Ｃｒとして、選択回路ＳＥ２に供給される。これらの色差信号の変換係数は、四捨五入を含む平均値処理を施した出力となり、切換信号ＹＣによって色差信号が指定されている期間において、選択回路ＳＥ１，ＳＥ２によって選択されて、第０乃至第１５ビットの１６ビットの変換係数として出力される。

図１２は１０ビットの入力データを５ビットのデータに非線形量子化する量子化器Ｑ１の構成を示し、図１３は１０ビットの入力データを３ビットのデータに非線形量子化する量子化器Ｑ２の構成を示している。

図１２において１０ビットの変換係数Ｄｉｎ［９：０］は、絶対値回路ＡＢ１に与えられる。絶対値回路ＡＢ１は、排他的論理和回路ＥＸ１、加算器Ａ８、インバータＩＮ１及びノア回路ＮＲ１，ＮＲ２によって構成されている。

１０ビットの変換係数は、排他的論理和回路ＥＸ１に与えられる。排他的論理和回路ＥＸ１には、変換係数の正負を示す符号ビットＤｉｎ［９］も与えられており、両者の排他的論理和演算を行う。排他的論理和回路ＥＸ１の出力は加算器Ａ８に与えられて、符号ビットＤｉｎ［９］と加算される。加算器Ａ８の出力のうち上位８ビット８［９：２］は、１０ビットの変換係数の絶対値の上位８ビットを示している。加算器Ａ８からの変換係数の絶対値の上位８ビットはインバータＩＮ２を介して、加算器群ＡＡ１の各加算器に供給されると共に、ノア回路ＮＲ１に供給される。一方、符号ビットＤｉｎ［９］は、インバータＩＮ１を介してノア回路ＮＲ１の出力と共にノア回路ＮＲ２に入力され、変換係数の絶対値の上位８ビットが零の時は正となる様にノア回路ＮＲ２で補正された符号ビットがアンド回路ＡＮ１に供給される。

加算器群ＡＡ１を構成する１６個の加算器には、夫々比較値１，２，３，４，６，８，１１，１４，１８，２２，２８，３５，４９，５４，９１，１０１が与えられる。加算器群ＡＡ１の各加算器には、インバータＩＮ２から変換係数の絶対値の上位８ビットの反転信号が与えられており、各加算器は、変換係数の絶対値の上位８ビットが各比較値よりも小さい場合には、キャリー出力を発生する。

加算器群ＡＡ１の各加算器からのキャリー出力は、夫々インバータ群ＩＮＶ１の各インバータを介して出力される。インバータ群ＩＮＶ１の各インバータからの出力は、加算器Ａ９乃至Ａ１５によって加算されて、アンド回路ＡＮ２に供給される。

アンド回路ＡＮ１には、加算器群ＡＡ１の比較値１が与えられる加算器からのキャリー出力が反転されて与えられている。アンド回路ＡＮ１は変換係数の絶対値の上位８ビットが１以上の場合に、符号ビットを５ビット出力Ｄｏｕｔ中の第４ビットとして出力する。

また、この符号ビットはナンド回路ＮＡ１にも与えられる。ナンド回路ＮＡ１には、加算器群ＡＡ１の比較値１０１が与えられる加算器からのキャリー出力が反転されて与えられている。ナンド回路ＮＡ１は変換係数の絶対値が１０１以上になった場合には、アンド回路ＡＮ２に論理値０を与えるようになっている。アンド回路ＡＮ２は、ナンド回路ＮＡ１の出力が論理値１の場合には、加算器Ａ１５の出力を５ビットのＤｏｕｔ中の第０乃至第３の４ビットとして出力し、ナンド回路ＮＡ１の出力が論理値０の場合には、Ｄｏｕｔ中の第０乃至第３の４ビットとして００００を出力する。

図１４（ａ）は図１２の量子化器Ｑ１による量子化出力を示している。変換係数の入力範囲は、−１２８〜０〜１２７である。入力された変換係数の絶対値の上位８ビットが比較値１，２，３，４，６，８，１１，１４，１８，２２，２８，３５，４９，５４，９１と同じになる毎に、加算器群ＡＡ１の各加算器の後段のＩＮＶ１出力が１となる。このＩＮＶ１出力は加算器Ａ９〜Ａ１５によって加算される。加算器Ａ１５の出力は、入力変換係数を非線形に変換した係数となる。

例えば、入力変換係数の絶対値の上位８ビットが９の場合には、比較値１，２，３，４，６，８が入力される加算器の後段のＩＮＶ１出力が１となり、加算器Ａ１５の出力はＩＮＶ１出力が１となった個数である０１１０となる。こうして、図１４（ａ）に示す５ビットの量子化出力（ｉｎｄｅｘ）が得られる。なお、図１４のｉｎｄｅｘ中の最上位ビットは符号ビットである。

図１３は１０ビットの入力データを３ビットのデータに非線形量子化する量子化器Ｑ２の構成を示している。図１２は４個の加算器を備えた加算器群ＡＡ２を採用した例である。加算器群ＡＡ２の各加算器は、夫々比較値１，３，１１，２８と入力された変換係数の絶対値の上位８ビットの反転とを比較する。加算器群ＡＡ２の各加算器からのキャリー出力は、インバータ群ＩＮＶ２の各インバータを介して加算器Ａ１８に供給される。

図１４（ｂ）は図１３の量子化器Ｑ２による量子化出力を示している。変換係数の入力範囲は、−１２８〜０〜１２７である。入力された変換係数の絶対値の上位８ビットが比較値１，３，１１と同じになる毎に、加算器群ＡＡ２の各加算器の後段のＩＮＶ２出力が１となる。こうして、図１４（ｂ）に示す３ビットの量子化出力（ｉｎｄｅｘ）が得られる。

上述したように、量子化器Ｑ１，Ｑ２からの各５ビット，３ビットの量子化出力が、変換係数ｆ１，ｆ２として選択回路ＳＥ２に供給される。このように、図１１の圧縮画像生成部は、アダマール変換によって得た直流成分ｆ０’については、線形量子化によって８ビットのデータｆ０に変換し、アダマール変換によって得た変換係数ｆ１’，ｆ２’については、非線形量子化によって合わせて８ビットのデータに変換する。これにより、十分な圧縮率で画像を圧縮して参照画像として格納するようにしており、Ｂピクチャの両方向予測符号化マクロブロック又はデュアルプライムピクチャのデュアルプライム予測符号化マクロブロックの復号処理時の参照画像の読み出しレートを十分に低減可能である。

＜画像伸張部＞
図８中の画像伸張部１２６，１５２としては、圧縮画像生成部１３２に対応した構成を採用する。図１５乃至図１９は図１１の圧縮画像生成部に対応した画像伸張部の具体的な構成例に係り、図１５は画像伸張回路の一例を示している。また、図１６乃至図１８は夫々図１５中の逆量子化器ＩＱ１，ＩＱ２及びリミッタＬ１１〜Ｌ１４の一例を示している。また、図１９は逆量子化テーブルを示している。図１９（ａ）は逆量子化器ＩＱ１による逆量子化処理を示し、図１９（ｂ）は逆量子化器ＩＱ２による逆量子化処理を示している。

図１５において、逆量子化器ＩＱ１，ＩＱ２には、夫々図１１の出力Ｄｏｕｔの下位８ビット［７：０］中の上位５ビットと下位３ビットとがＤｉｎ［７：３］，Ｄｉｎ［２：０］として入力される。

図１６は逆量子化器ＩＱ１の構成を示している。逆量子化器ＩＱ１は、選択回路ＳＥ２１を有している。選択回路ＳＥ２１には、代表値として、１１０，１，２，３，４，６，９，１２，１５，１９，２４，３１，３９，５１，５８，９５が与えられる。選択回路ＳＥ２１は、５ビットに圧縮された変換係数のうちの絶対値を表す下位４ビットＤｉｎ［３：０］が与えられる。選択回路ＳＥ２１は、変換係数の絶対値によって、代表値を選択する。即ち、選択回路ＳＥ２１は、４ビットの０乃至１５の変換係数を７ビットの代表値に変換して出力する。なお、代表値１１０はアンド回路ＡＮ２１を介して選択回路ＳＥ２１に与えられている。アンド回路ＡＮ２１には符号ビットも与えられており、代表値１１０は、符号ビットが１、即ち、負の変換係数の場合にのみ選択され、符号ビットが零（即ち、正）の変換係数の場合は零となる。

選択回路ＳＥ２１からの代表値は、排他的論理和回路ＥＸ２に与えられる。排他的論理和回路ＥＸ２は、符号ビットとの排他的論理和演算を行い、演算結果を加算器Ａ２１に出力する。加算器Ａ２１は、排他的論理和回路ＥＸ２の出力と符号ビットとを加算する。加算器Ａ２１の出力は、入力された変換係数の絶対値を下位７ビットで表すデジタルデータとなる。加算器Ａ２１の出力は逆量子化した８ビットの変換係数のうちの下位７ビットＤｏｕｔ［６：０］であり、最上位の８ビット目の出力Ｄｏｕｔ［７］としては、符号ビットがそのまま用いられる。

図１９（ａ）に示すように、５ビットの入力データは、７ビット表現の代表値に変換される。

図１７は逆量子化器ＩＱ２の構成を示している。逆量子化器ＩＱ２は、選択回路ＳＥ２２を有している。選択回路ＳＥ２２には、代表値として、３５，１，４，１４が与えられる。選択回路ＳＥ２２は、３ビットに圧縮された変換係数のうちの絶対値を表す下位２ビットＤｉｎ［１：０］が与えられる。選択回路ＳＥ２２は、変換係数の絶対値によって、代表値を選択する。即ち、選択回路ＳＥ２２は、２ビットの０乃至３の変換係数を６ビットの代表値に変換して出力する。なお、代表値３５はアンド回路ＡＮ２１を介して選択回路ＳＥ２２に与えられている。

こうして、図１９（ｂ）に示すように、選択回路ＳＥ２２からは、３ビットの変換係数に対応した７ビットの代表値が出力される。加算器Ａ２１の出力は、入力された変換係数の絶対値を下位６ビットで表すデジタルデータＤｏｕｔ［５：０］となる。また、符号ビットは、上位２ビットＤｏｕｔ［７］，Ｄｏｕｔ［６］としてそのまま用いられる。

図１９（ｂ）に示すように、３ビットの入力データは、７ビット表現の代表値に変換される。

図１５において、直流成分ｆ０及び逆量子化器ＩＱ１の出力は、加算器Ａ３１，Ａ３２に与えられる。加算器Ａ３１は直流成分ｆ０と逆量子化器ＩＱ１からの変換係数ｆ１を加算し、加算器Ａ３２は直流成分ｆ０から変換係数ｆ１を減算する。

加算器Ａ３３は、加算器Ａ３１の出力と逆量子化器ＩＱ２の出力とを加算する。加算器Ａ３４は、加算器Ａ３１の出力から逆量子化器ＩＱ２の出力を減算する。加算器Ａ３５は、加算器Ａ３２の出力から逆量子化器ＩＱ２の出力を減算する。加算器Ａ３６は、加算器Ａ３２の出力と逆量子化器ＩＱ２の出力とを加算する。即ち、変換係数ｆ０〜ｆ２に対して逆アダマール変換が施されて、１０ビットの元の画素値ｘ０〜ｘ３が復元される。

加算器Ａ３３〜Ａ３６からの復元された画素値ｘ０〜ｘ３は、夫々リミッタＬ１１〜Ｌ１４に与えられる。図１８はリミッタＬ１１〜Ｌ１４の具体的な構成を示す回路図である。

リミッタＬ１１〜Ｌ１４はいずれも同一構成であり、図１８に示すように、インバータＩＮ３１及びノア回路ＮＲ３１〜ＮＲ３３を有している。１０ビットの各画素値のうち最上ビットＤｉｎ［９］は符号ビットである。画素値の下位８ビットＤｉｎ［７：０］はノア回路ＮＲ３２に与えられ、９ビット目Ｄｉｎ［８］はインバータＩＮ３１に与えられる。インバータＩＮ３１の出力及び符号ビットがノア回路ＮＲ３１に与えられ、ノア回路ＮＲ３１の出力はノア回路ＮＲ３２に与えられる。ノア回路ＮＲ３２の出力及び符号ビットがノア回路ＮＲ３３に与えられる。ノア回路ＮＲ３３の出力の８ビットがＤｏｕｔ［７：０］として出力される。

第９ビット目が０の場合には、インバータＩＮ３１の出力は１であり、ノア回路ＮＲ３１は必ず０を出力する。従って、ノア回路ＮＲ３２，ＮＲ３３はインバータとして機能し、入力された１０ビットの画素値のうちの上位８ビットがそのまま出力される。

第９ビット目が１の場合には、インバータＩＮ３１の出力は０であり、符号ビットが０のときには、ノア回路ＮＲ３１は１を出力する。従って、この場合には、ノア回路ＮＲ３２は０を出力し、ノア回路ＮＲ３３は１を出力する。こうして、９ビット目が１の場合には、上位８ビットが１の出力Ｄｏｕｔ［７：０］が出力される。なお、出力としては正の値のみを用いる。そこで、符号ビットをノア回路ＮＲ３２に与えて、符号ビットが１（負）の場合には、ノア回路ＮＲ３２の出力を０にするようになっている。

こうして、リミッタＬ１１〜Ｌ１４は、入力された画素値を８ビットで表現可能な最大値に制限して出力する。リミッタＬ１１〜Ｌ１４の出力は、夫々選択回路ＳＥ３１〜ＳＥ３４を介してＤｏｕｔ［３１：２４］、Ｄｏｕｔ［２３：１６］、Ｄｏｕｔ［１５：８］、Ｄｏｕｔ［７：０］として出力される。

なお、入力画素が色差信号の場合には、Ｄｉｎ［７：０］は色差信号Ｃｒであり、Ｄｉｎ［１５：８］は色差信号Ｃｂである。色差信号Ｃｒは選択回路ＳＥ３１，ＳＥ３３に与えられ、色差信号Ｃｂは選択回路ＳＥ３２，ＳＥ３４に与えられる。選択回路ＳＥ３１〜ＳＥ３４は、切換信号ＹＣによって色差信号であることが指示された場合には色差信号を選択し、輝度信号であることが指示された場合には輝度信号を選択する。

こうして、出力Ｄｏｕｔ［３１：２４］、Ｄｏｕｔ［２３：１６］、Ｄｏｕｔ［１５：８］、Ｄｏｕｔ［７：０］として３２ビットの輝度信号及び色差信号が得られる。

本発明は上記実施の形態に限定されるものではなく、種々の変形例が可能である。

本発明の第１の実施の形態に係る画像復号化装置を示すブロック図。 復号化処理及び表示のためのメモリ２００の各領域に対する書き込み及び読み出しを説明するための説明図。 復号に用いる参照画像を説明するための説明図。 マクロブロック毎の復号処理を説明するためのフローチャート。 本発明の第２の実施の形態に係る画像復号化装置を示すブロック図。 復号化処理及び表示のためのメモリ２０１の各領域に対する書き込み及び読み出しを説明するための説明図。 マクロブロック毎の復号処理を説明するためのフローチャート。 本発明の第３の実施の形態に係る画像復号化装置を示すブロック図。 復号に用いる参照画像を説明するための説明図。 マクロブロック毎の復号処理を説明するためのフローチャート。 周波数変換回路としてのアダマール変換回路の一例を示す回路図。 図１１のアダマール変換回路中の量子化器Ｑ１の一例を示す回路図。 図１１のアダマール変換回路中の量子化器Ｑ２の一例を示す回路図。 量子化テーブルを示す説明図。 画像伸張回路の一例を示す回路図。 図１５中の逆量子化器ＩＱ１の一例を示す回路図。 図１５中の逆量子化器ＩＱ２の一例を示す回路図。 図１５中のリミッタＬ１１〜Ｌ１４の一例を示す回路図。 逆量子化テーブルを示す説明図。

符号の説明

１２０、１２５…復号再生部、１２１…逆変換処理部、１２２…動き補償部、１２３…画素補間部、１２６…画像伸長部、１３１…縮小画像生成部、１３２…圧縮画像生成部、１４０〜１４１…メモリ制御部、２００〜２０１…メモリ、２２１〜２２６…参照画像用メモリ領域、２４１〜２４４…参照及び表示用メモリ領域。

Claims (5)

1. 符号化対象の画像と参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記符号化対象画像の復元画像又は前記予測誤差を得る逆変換処理手段と、
   前記予測誤差と前記参照画像との加算によって前記所定の画素数領域毎に復元画像を得る動き補償手段と、
   前記復元画像を記憶する記憶手段と、
   前記動き補償手段の加算処理のために、参照画像を取得するものであって、前記動き補償手段の処理対象の画像が前記所定の画素数領域の２倍以上の画素数の参照画素を用いる符号化モードによって符号化されている場合には、間引いた復元画像を前記記憶手段から読み出して補間処理によって参照画像を得、２倍未満の画素数の参照画素を用いる符号化モードによって符号化されている場合には、前記記憶手段から復元画像を読出すことによって参照画像を得る参照画像取得手段と、
   を具備したことを特徴とする画像復号化装置。
2. 符号化対象の画像と参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記符号化対象画像の復元画像又は前記予測誤差を得る逆変換処理手段と、
   前記予測誤差と前記参照画像との加算によって前記所定の画素数領域毎に復元画像を得る動き補償手段と、
   前記復元画像を圧縮した圧縮画像を生成するデータ量削減手段と、
   前記復元画像と前記圧縮画像とを記憶する記憶手段と、
   前記動き補償手段の加算処理のために、参照画像を取得するものであって、前記動き補償手段の処理対象の画像が前記所定の画素数領域の２倍以上の画素数を有する参照画素を用いる符号化モードによって符号化されている場合には、前記圧縮画像を前記記憶手段から読み出して伸張処理によって復元画像を復元し、参照画像を得、２倍未満の画素数の参照画素を用いる符号化モードによって符号化されている場合には、前記記憶手段から復元画像を読出すことによって参照画像を得る参照画像取得手段と、
   を具備した画像復号化装置。
3. 前記データ量削減手段は、前記動き補償手段によって復元された画像のデータ量を画像縮小処理又は画像圧縮処理によって削減することを特徴とする請求項２に記載の画像復号化装置。
4. 符号化対象の画像と参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記予測誤差を得る逆変換処理ステップと、
   前記予測誤差と前記参照画像との加算によって前記所定の画素数領域毎に復元画像を得る動き補償ステップと、
   前記復元画像を記憶する記憶ステップと、
   前記動き補償ステップの加算処理のために、前記動き補償ステップの処理対象の画像が前記所定の画素数領域の２倍以上の画素数の参照画像を用いる符号化モードによって符号化されている場合には、間引いた復元画像を読み出して補間処理によって参照画像を得、２倍未満の画素数の参照画素を用いる符号化モードによって符号化されている場合には、復元画像を読出すことによって参照画像を得る参照画像取得ステップと、
   を具備したことを特徴とする画像復号化方法。
5. 符号化対象の画像と参照画像との予測誤差を符号化する動き補償予測符号化処理を含む処理によって所定の画素数領域毎に符号化された符号化画像データが入力され、前記符号化の逆処理によって前記予測誤差を得る逆変換処理ステップと、
   前記予測誤差と前記参照画像との加算によって前記所定の画素数領域毎に復元画像を得る動き補償ステップと、
   前記復元画像を記憶する記憶ステップと、
   前記復元画像を圧縮した圧縮画像を生成して記憶するデータ量削減画像記憶ステップと、
   前記動き補償ステップの加算処理のために、前記動き補償ステップの処理対象の画像が前記所定の画素数領域の２倍以上の画素数の参照画像を用いる符号化モードによって符号化されている場合には、前記圧縮画像を読み出して伸張処理することで前記復元画像を復元し、参照画像を得、２倍未満の画素数の参照画素を用いる符号化モードによって符号化されている場合には、前記記憶手段から復元画像を読出すことによって参照画像を得る参照画像取得ステップと、
   を具備したことを特徴とする画像復号化方法。

Images