JP2872774B2

JP2872774B2 - 画像復号化方法

Info

Publication number: JP2872774B2
Application number: JP21666490A
Authority: JP
Inventors: 英範奥田; 茂樹正木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1990-08-16
Filing date: 1990-08-16
Publication date: 1999-03-24
Anticipated expiration: 2014-03-24
Also published as: US5144428A; JPH0498906A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、フレーム間差信号を直交変換する符号化手
段によって符号化された画像を復号化する画像復号化方
法に関するものである。

〔従来の技術〕

画像符号化方法として、画像のフレーム間差信号を直
交変換する方法がある。第６図は該画像符号化方法を実
施する装置を説明するための図である。図中、601は差
分器、602は直交変換器、603は量子化器、604は逆量子
化器、605は直交逆変換器、606は加算器、607はフレー
ムメモリ、608は符号器、609は有効・無効判定部、610,
611はスイッチである。

この画像符号化装置は、まず、差分器601において、
入力画像と前フレーム画像との差を取ってフレーム間差
信号を生成する。前フレームの画像はフレームメモリ60
7に記憶されている。有効・無効判定部609は、前記フレ
ーム間差信号の大きさを所定のアルゴリズムに基づいて
評価し、ブロック毎に有効ブロックであるか無効ブロッ
クであるかを判定する。そして、有効ブロックの場合は
スイッチ610,611を閉じ、無効ブロックの場合はスイッ
チ610,611を開放する。直交変換器602はフレーム間差信
号を直交変換して直交変換係数を生成する。

量子化器603は直交変換係数を量子化し、さらに符号
器608で符号語に変換する。この符号語はスイッチ610が
閉じられているときには伝送路に送出され、スイッチ61
0が開放されている時には廃棄される。

また、量子化直交変換係数は逆量子化器604で逆量子
化され、直交変換係数が復元される。そして、直交変換
係数を直交逆変換器605で直交逆変換してフレーム間差
信号を復元し、加算器606において、前記フレーム間差
信号とフレームメモリ607に記憶している前フレーム画
像との加算を行って現フレームの画像を再生する。そし
て、スイッチ611が閉じられている時には、画像はフレ
ームメモリ607に記憶される。

このような画像符号化方法を用いた場合には、伝送路
を介して復号化方法に入力されるブロック数、すなわ
ち、有効ブロック数は画像内容に応じて時間的に変動す
る。

第７図は、前記画像符号化方法によって符号化された
画像に対する従来の画像復号化方法を実施する装置の要
部の構成を説明するための図である。図中、701は復号
器、702は逆量子化器、703は直交逆変換器、704は加算
器、705はフレームメモリである。

復号器701は伝送路を介して受信した符号語を復号
し、逆量子化器702はそれを逆量子化して直交変換係数
を復元する。そして、直交変換係数を直交逆変換器703
で直交逆変換してフレーム間差信号を復元し、フレーム
間差信号とフレームメモリ705に記憶されている前フレ
ームの画像とを加算器704で加算して現フレームの画像
を再生する。そして、再生画像を次フレームの復号化の
ためにフレームメモリ705に記憶する。このように、こ
の画像復号化方法では、前記画像符号化方法と同様にフ
レーム間の差分情報の累積を画素値空間において行な
う。

また、第８図は、前記従来の画像復号化方法の他の実
施装置の要部構成を説明するための図であり、特願平２
−46661号の明細書に記載される“画像復号化方法”に
基づいている。図中、801は復号器、802は逆量子化器、
803は加算器、804は直交逆変換器、805は直交変換係数
メモリ、806は直交逆変換器制御部である。復号器801は
伝送路を介して受信した符号語を復号し、逆量子化器80
2はそれを逆量子化して直交変換係数を復元する。加算
器803は直交変換係数と直交変換係数メモリ805上の直交
変換係数累積値との加算を行う。加算後の直交変換係数
累積値は直交変換係数メモリ805に記憶される。

なお、直交変換係数メモリ805は、直交変換係数を１
フレーム分記憶するだけの容量を持つ。

直交逆変換器制御部805は、単位時間あたりの入力ブ
ロック数を監視し、入力ブロック数が所定の閾値よりも
小さい場合には直交逆変換器804を動作させて加算器803
における加算操作後の直交変換係数累積値を直交逆変換
して画像を再生する。一方、入力ブロック数が所定の閾
値よりも大きい場合には直交逆変換器804の動作を停止
させる。このように、この画像復号化方法では、フレー
ム間の差分情報は入力ブロック数の多少に関わらず直交
変換係数メモリ805上に常に累積されており、直交逆変
換器804の停止によって一時的な画質劣化は生ずるもの
の、直交逆変換再開時には再び画像を再生できる。

〔発明が解決しようとする課題〕

しかしながら、前記第７図に示す構成では、符号化方
法側の復号化ループと復号化方法側の復号化ループとが
同一の構成となっており、復号化ループの相違に起因す
る誤差が存在しない。ところが、この第７図の構成で
は、フレーム間の差分情報の累積を行なうためには受け
取った符号のすべてに対して直交逆変換を適用すること
が必要であり、単位時間あたりの入力ブロック数が変動
する場合においてもそのピーク値に見合った高速の直交
逆変換器を使用し、入力ブロック数が直交逆変換器の処
理能力を越えないようにしなければならない。このよう
に十分に高速な直交逆変換器を使用した場合には、入力
ブロック数が少ないときには、直交逆変換器の処理性能
を十分に利用していないことになり、非効率的である。

一方、前記第８図に示す構成では、単位時間あたりの
入力ブロック数が多い場合には、直交逆変換器が停止さ
れるので、前記第一の画像復号化方法よりも低速の直交
逆変換器を使用できる。ところが、符号化側における復
号化ループと異なる復号化ループを用いているため、復
号化ループの相違に起因する誤差が発生し、時間経過に
伴って該誤差が蓄積し、再生画像の画質が時間経過に伴
い単調に劣化していくという問題点があった。

本発明は、前記問題点を解決するためになされたもの
であり、本発明の目的は、第７図に示す従来の画像復号
化方法よりも低速な直交逆変換器を使用でき、かつ、第
８図に示す従来の画像復号化方法よりも再生画像品質の
時間的劣化が少ない画像復号化方法を提供することにあ
る。

本発明の前記ならびにその他の目的と新規な特徴は、
本明細書の記述及び添付図面によって明らかになるであ
ろう。

〔課題を解決するための手段〕

前記目的を達成するために、本発明では、フレーム間
差信号を直交変換する画像符号化手段から出力された符
号語を入力とし、該符号語をもとにフレーム間差信号の
直交変換係数を復元し、該直交変換係数をもとにフレー
ム間の差分情報を累積し、該累積情報をもとに画像を再
生する画像複号化方法において、直交変換係数を直交逆
変換してから画素値空間上でフレーム間の差分情報を累
積する第一の処理モードと、直交変換係数空間上でフレ
ーム間の差分情報を累積する第二の処理モードとを備
え、単位時間あたりの入力ブロック数を監視し、単位時
間あたりの入力ブロック数が所定の閾値以下の場合に
は、前記第一の処理モードを用いてフレーム間の差分情
報の累積を行い、単位時間あたりの入力ブロック数が所
定の閾値を越えた場合には、前記第二の処理モードを用
いてフレーム間の差分情報の累積を行うように制御する
ことを最も主要な特徴とする。

〔作用〕

前述の手段によれば、単位時間あたりの入力ブロック
数が少ない場合には画素値空間においてフレーム間の差
分情報の累積操作を行なうため符号化側との復号化ルー
プの相違による誤差が発生せず、画質の時間的劣化が起
こらない。一方、単位時間あたりの入力ブロック数が多
い場合には直交変換係数空間において、フレーム間の差
分情報の累積操作を行なうため、符号化側との復号化ル
ープの相違による誤差は発生するものの、直交逆変換を
行なわずしてフレーム間の差分情報の累積を行なうこと
ができ、直交逆変換器への負荷を軽減することができ
る。このようにして、本発明では、単位時間あたりの入
力ブロック数に応じて処理モードを切り替えることによ
り、直交逆変換器への負荷の軽減・画質の劣化の防止と
いう２つの要求を同時に満たすことができる。

〔発明の実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明
する。

第１図は、本発明の画像復号化方法の一実施例の概略
構成を示すブロック図である。

第１図において、101は直交変換係数復元部、102はバ
ッファ、103はカウンタ、104は直交変換係数累積部、10
5は直交逆変換部、106は画像累積部、107は状態管理
部、108は制御部、109,110はスイッチ、111は画像表示
装置である。

次に、本実施例の画像復号化方法を説明する。第１図
において、直交変換係数復元部101に符号語が順次入力
されて復号され、量子化直交変換係数が得られ、この量
子化直交変換係数が、逆量子化され、直交変換係数が得
られる。

この得られた直交変換係数は、バッファ102に一時的
に記憶され、スイッチ109,110を介して直交変換係数累
積部104あるいは直交逆変換部105で処理されるまで保持
される。

カウンタ103では、バッファ102に一時記憶されている
ブロック数がカウントされ、制御部108に送られる。

前記直交変換係数累積部104で、前記直交変換係数が
時間的に累積され、直交逆変換部105に送られる。直交
逆変換部105では、制御部108の指示に基づいて、バッフ
ァ102から取り出した直交変換係数、あるいは直交変換
係数累積部104から取り出した直交変換係数累積値が直
交逆変換され、フレーム間差信号が得られる。このフレ
ーム間差信号は、当該ブロックが画素値モードで処理さ
れた最後のフレームとの差分となっている。

前記得られたフレーム間差信号は、画像累積部106に
送られ、フレームメモリ上の画像に加算し新たな画像が
得られる。フレームメモリ上には最後に画素値モードで
処理されたフレームの画像が記憶されている。この時、
ブロック毎に処理モードが切り替えられるので、ブロッ
クによって異なるフレームの画像が記憶されている場合
も有り得る。

画像累積部106に記憶された同期信号に基づいて順次
読み出され、画像表示装置111に送出される。

そのため、直交変換係数モードで処理が行われたブロ
ックに関しては、最後に画素値モードで処理されたフレ
ームの画像がフリーズ出力される。

状態管理部107は、画像を構成するブロック数だけの
エントリを持つテーブルから構成され、それぞれのブロ
ックの前回の処理モードを管理する。値０に対応するブ
ロックの前回の処理が画素値モードであったことを示
し、値１に対応するブロックの前回の処理が直交変換係
数モードであったことを示す。

次に、本実施例の各部の詳細を説明する。

前記直交変換係数復元部101は、符号化側から受信し
た有効ブロックの符号語を直交変換係数に変換する。

直交変換係数復元部101の内部構成を第２図に示す。
図中、201は復号器、202は逆量子化器である。復号器20
1は符号語を順次復号し、量子化直交変換係数を得る。
逆量子化器202は該量子化直交変換係数を逆量子化し、
直交変換係数を得る。

前記バッファ102は、直交変換係数復元部101で復元さ
れた直交変換係数を一時的に記憶し、直交変換係数累積
部104あるいは直交逆変換部105で処理されるまで保持す
る。

バッファ102は、直交変換係数を最大Ｍブロック分ま
で蓄えるだけの記憶容量を有し、制御部108の要求に応
じてファストインファストアウト（First−In Fi
rst−Out）で直交変換係数を出力する。

前記カウンタ103は、バッファ102に一時記憶されてい
るブロック数をカウントする。すなわち、カウンタ103
の初期値を０として、１ブロック分の直交変換係数がバ
ッファ102に記憶される度毎にカウント値を一つ増し、
また、１ブロック分の直交変換係数が取り出される度毎
にカウント値を一つ減じる。

前記直交変換係数累積部104は、直交変換係数を時間
的に累積する手段であり、初期モードと継続モードの２
つのモードを有する。初期モードは画素値モードから直
交変換係数モードに遷移したときに適用するモードであ
り、継続モードはすでに直交変換係数モードで処理され
ていた場合に適用するモードである。

直交変換係数累積部104の内部構成を第３図に示す。
図中、301は加算器、302は直交変換係数メモリ、303,30
4はスイッチである。モード切り替えはスイッチ303,304
によって行う。直交変換係数メモリ302は画像を構成す
る全ブロック分の直交変換係数を記憶するだけの容量を
持つ。

［初期モード］スイッチ303,304を位置（接点）ａに入れ、入力され
た直交変換係数をメモリ302上の当該ブロックの領域に
上書きする。

［継続モード］スイッチ303,304を位置（接点）ｂに入れ、次に示す
処理を行う。入力された直交変換係数を加算器301に入
力する。また、メモリ302の当該ブロックの領域から直
交変換係数累積値を読み出し、加算器301に入力する。
加算器301では、上記直交変換係数と直交変換係数累積
値とを加算し、新たな直交変換係数累積値としてメモリ
302上の当該ブロックの領域に上書きする。

前記直交逆変換部105は、制御部108の指示に基づい
て、バッファ102から取り出した直交変換係数、あるい
は直交変換係数累積部104から取り出した直交変換係数
累積値を直交逆変換し、フレーム間差信号を得る。な
お、このフレーム間差信号は、当該ブロックが画素値モ
ードで処理された最後のフレームとの差分となってい
る。

画像累積部106は、直交逆変換部105で得たフレーム間
差信号をフレームメモリ上の画像に加算し新たな画像を
得る。フレームメモリ上には最後に画素値モードで処理
されたフレームの画像が記憶されているが、本発明では
ブロック毎に処理モードが切り替えられるので、ブロッ
クによって異なるフレームの画像が記憶されている場合
も有り得る。

前記画像累積部106の内部構成を第４図に示す。図
中、401は加算器、402はフレームメモリである。フレー
ム間差信号は加算器401に入力する。一方、フレームメ
モリ402上の当該ブロックの領域から最後に画素値モー
ドで処理された画像を読み出し、加算器401に入力す
る。加算器401は上記２つの信号を加算して新たな画像
を得る。この画像は新しい画像としてメモリ402の当該
ブロックの領域に書き込む。なお、フレームメモリ402
上の画像は、同期信号に基づいて順次読み出され、画像
表示装置に送出される。そのため、直交変換係数モード
で処理が行われたブロックに関しては、最後に画素値モ
ードで処理されたフレームの画像がフリーズ出力され
る。

前記状態管理部107は、画像を構成するブロック数だ
けのエントリを持つテーブルから構成され、それぞれの
ブロックの前回の処理モードを管理する。値０に対する
ブロックの前回の処理が画素値モードであったことを示
し、値１に対応するブロックの前回の処理が直交変換係
数モードであったことを示す。第５図は、状態管理部10
7のテーブルを具体的に説明するための図である。第５
図の場合、ブロック１の欄は値０が書かれているので、
ブロック１の前回の処理モードは画素値モードであり、
また、ブロック２の欄は値１が書かれているので、ブロ
ック２の前回の処理モードは直交変換係数モードであ
る。このように、状態管理部107のテーブルを参照する
ことによって、それぞれのブロックの前回の処理モード
が得られる。

前記制御部108は、カウンタ103のカウンタ値と所定の
閾値Mth（ただし、０＜Mth＜Ｍ）との大小関係、ならび
にバッファ102の先頭ブロックの前回の処理モードに応
じて、スイッチ109,110を用いて以下のように処理を切
り替える。

I.カウンタ値＜Mthの場合は、バッファ102の先頭のブロ
ックを取り出し、該ブロックの前回の処理モードを状態
管理部107から取得する。制御部108は、前記処理モード
によって次の２つのいずれかの処理を行う。なお、本実
施例における画素値モードでの処理とは、以下の２つの
処理を指す。

（ｉ）前回の処理モードが画素値モードの場合は、スイ
ッチ109,110をいずれも位置（接点）ａに入れ、次に示
す処理を行う。バッファ102から取り出したブロックの
直交変換係数を直交逆変換部105に供給して直交逆変換
を行い、画像累積部106で画像を再生する。そして、状
態管理部107の前記ブロックの欄に画素値モードで処理
を行ったことを示す値０を書く。

（ii）前回の処理モードが直交変換係数モードの場合
は、スイッチ109を位置（接点）ｂに、110を位置（接
点）ｃに入れ、次に示す処理を行う。バッファ102から
取り出したブロックの直交変換係数を直交変換係数累積
部104に供給し、継続モードで処理する。そして、直交
変換係数累積部104での処理が終了した後に、この直交
変換係数累積部104から当該ブロックの直交変換係数累
積値を読み出し、この直交変換係数累積値を直交逆変換
部105に供給して直交逆変換を行い、画像累積部106で画
像を再生する。そして、状態管理部107のブロックの欄
に画素値モードで処理を行ったことを示す値０を書く。

II.カウンタ値≧Mthの場合は、バッファ102の先頭のブ
ロックを取り出し、該ブロックの処理状態を状態管理部
107から取得する。制御部108は該処理状態によって次の
２つのいずれかの処理を行う。なお、本実施例における
直交変換係数モードでの処理とは、以下の２つの処理を
指す。

（iii）前回の処理モードが画素値モードの場合は、ス
イッチ109を位置（接点）ｂに、また、スイッチ110を位
置（接点）ｂに入れ、次に示す処理を行う。バッファ10
2から取り出したブロックの直交変換係数を直交変換係
数累積部104に供給し、前述した直交変換係数累積部104
を初期モードで動作させ、状態管理部107のブロックの
欄に直交変換係数モードで処理を行ったことを示す値１
を書く。

（iv）前回の処理モードが直交変換係数モードの場合
は、スイッチ109を位置（接点）ｂに、また、スイッチ1
10を位置（接点）ｂに入れ、次に示す処理を行う。バッ
ファ102から取り出したブロックの直交変換係数を直交
変換係数累積部104に供給し直交変換係数累積部104を継
続モードで動作させ、状態管理部107のブロックの欄に
直交変換係数モードで処理を行ったことを示す値１を書
く。

以上の説明からわかるように、本実施例によれば、単
位時間あたりの入力ブロック数が少ない場合には画素値
空間においてフレーム間の差分情報の累積操作を行なう
ため符号化側との復号化ループの相違による誤差が発生
せず、画質の時間的劣化が起こらない。一方、単位時間
あたりの入力ブロック数が多い場合には直交変換係数空
間において、フレーム間の差分情報の累積操作を行なう
ため、符号化側との復号化ループの相違による誤差は発
生するものの、直交逆変換を行なわずしてフレーム間の
差分情報の累積を行なうことができ、直交逆変換器への
負荷を軽減することができる。このようにして、本発明
では、単位時間あたりの入力ブロック数に応じて処理モ
ードを切り替えることにより、直交逆変換器への負荷の
軽減・画質の劣化の防止という２つの要求を同時に満た
すことができる。

以上、本実施例では一画像の復号化を例に取って説明
したが、複数画像の復号化に応用することも可能であ
る。また、第６図の画像符号化方法として無効ブロック
を復号化側に送らない方法を例に取って説明したが、無
効ブロックを復号化側に送る方法も考えられる。この場
合には、第１図の実施例の直交変換係数復元部101にお
いて、無効ブロックを廃棄する機能を持たせれば良い。

以上、本発明を実施例にもとづき具体的に説明した
が、本発明は、前記実施例に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、単位時間あ
たりの入力符号量に応じて処理モードを切り替えるの
で、平均的な入力ブロック数に見合った処理能力を持つ
直交逆変換器を効率的に利用し、かつ、時間的画質劣化
の少ない画像復号化方法が実現できる。

【図面の簡単な説明】

第１図は、本発明の画像復号化方法の一実施例の概略構
成を示すブロック図、第２図は、第１図の直交変換係数復元部の内部構成を説
明するための図、第３図は、第１図の直交変換係数累積部の内部構成を説
明するための図、第４図は、第１図の画像累積部の内部構成を説明するた
めの図、第５図は、第１図の状態管理部のテーブルを説明するた
めの図、第６図は、本発明の前提となる画像符号化方法を説明す
るための図、第７図は従来の画像復号化方法の一実施装置の概略構成
を説明するための図、第８図は、従来の画像復号化方法の他の実施装置の概略
を説明するための図である。図中、101……直交変換係数復元部、102……バッファ、
103……カウンタ、104……直交変換係数累積部、105…
…直交逆変換部、106……画像累積部、107……状態管理
部、108……制御部、109,110……スイッチ。

Claims

(57)【特許請求の範囲】

【請求項１】フレーム間差信号を直交変換する画像符号
化手段から出力された符号語を入力とし、該符号語をも
とにフレーム間差信号の直交変換係数を復元し、該直交
変換係数をもとにフレーム間の差分情報を累積し、該累
積情報をもとに画像を再生する画像復号化方法におい
て、直交変換係数を直交逆変換してから画素値空間上で
フレーム間の差分情報を累積する第一の処理モードと、
直交変換係数空間上でフレーム間の差分情報を累積する
第二の処理モードとを備え、単位時間あたりの入力ブロ
ック数を監視し、単位時間あたりの入力ブロック数が所
定の閾値以下の場合には、前記第一の処理モードを用い
てフレーム間の差分情報の累積を行い、単位時間あたり
の入力ブロック数が所定の閾値を越えた場合には、前記
第二の処理モードを用いてフレーム間の差分情報の累積
を行うように制御することを特徴とする画像復号化方
法。