JP3115089B2 - 符号化装置及び符号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、たとえば、入力信号
を離散ウェーブレット変換もしくはサブバンド分割し、
量子化、多重化を行う符号化装置に関するものである。

【０００２】

【従来の技術】ディジタル化された動画像信号を所定の
空間領域に対し、すなわち、水平方向及び垂直方向のそ
れぞれに対し、人間の持つ視覚特性にあわせて直交変換
を行う方式として、「ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯ
ＮＳ ＯＮ ＰＡＴＴＥＲＮＡＮＡＬＹＳＩＳ ＡＮＤ
ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯ
Ｌ．１１，ＮＯ．７，ＪＵＬＹ １９８９、 Ａ ＴＨ
ＥＯＲＹ ＦＯＲ ＭＵＬＴＩＲＥＳＯＬＵＴＩＯＮ
ＳＩＧＮＡＬ ＤＥＣＯＭＰＯＳＩＴＩＯＮ：ＴＨＥ
ＷＡＶＥＬＥＴ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ」に記
載のような離散ウェーブレット変換（以降ＤＷＴと記
す）が提案されている。その変換処理を行う方法を図９
を用いて説明する。図において、１００はディジタル化
された入力画像信号系列、１は画像信号系列１００を１
０個の周波数帯域に分割する変換部、２は量子化部、３
は多重化部、４はバッファメモリ、５は入力信号を４つ
の周波数帯域に分割する帯域分割フィルタである。

【０００３】次に動作について説明する。入力画像信号
１００は帯域分割フィルタ５により４つの帯域の信号１
０１（ＬＬ３）、１０２（ＬＨ３）、１０３（ＨＬ
３）、１０４（ＨＨ３）に分割される。そのうち最も低
域の信号１０１（ＬＬ３）は帯域分割フィルタ５により
さらに４つの帯域の信号１０５（ＬＬ２）、１０６（Ｌ
Ｈ２）、１０７（ＨＬ２）、１０８（ＨＨ２）に分割さ
れる。そのうち最も低域の信号１０５（ＬＬ２）は帯域
分割フィルタ５によりさらに４つの帯域の信号１０９
（ＬＬ１）、１１０（ＬＨ１）、１１１（ＨＬ１）、１
１２（ＨＨ１）に分割される。

【０００４】図１０は、帯域分割フィルタ５の詳細なブ
ロック図の一例である。図において、１１〜１３は信号
を低域と高域の２つの帯域に分割する２帯域分割フィル
タ、２１は一次元の低域通過フィルタ、２２は一次元の
高域通過フィルタ、２３は低域通過フィルタ１１及び高
域通過フィルタ１２により帯域制限された信号を２：１
に間引くサブサンプラである。入力信号２００は２帯域
分割フィルタ１１により水平方向に２つの帯域に分割さ
れる。この２帯域に分割された信号はさらに２帯域分割
フィルタ１２、１３により垂直方向に各々２つの帯域に
分割される。従って帯域分割フィルタ５からは、水平方
向・垂直方向共に低域のＬＬ信号２０１、水平方向に低
域で垂直方向に高域のＬＨ信号２０２、水平方向に高域
で垂直方向に低域のＨＬ信号２０３、水平方向・垂直方
向ともに高域のＨＨ信号２０４の４つの信号が出力され
る。

【０００５】一連の帯域分割処理の結果、入力画像信号
１００はＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１，ＬＨ２，Ｈ
Ｌ２，ＨＨ２，ＬＨ３、ＨＬ３，ＨＨ３の１０の帯域の
信号に分割される。図１１はこれを二次元周波数領域に
表したものである。図において、縦軸は垂直方向の周波
数を、横軸は水平方向の周波数を表す。図における領域
の面積の比は各々の帯域信号のデータ数の比に一致す
る。すなわち、ＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１のデー
タ数を１とおくとき、ＬＨ２，ＨＬ２，ＨＨ２のデータ
数は４、ＬＨ３，ＨＬ３，ＨＨ３のデータ数は１６とな
る。以上、ＤＷＴを施し変換係数を得る手段を述べた
が、サブバンド分割も帯域分割フィルタの特性は異なる
が、ほぼ同様な構成で実現することができる。

【０００６】次に図１２、図１３、図１４を用いて帯域
分割処理の具体例について説明する。図１２、図１３、
図１４とも同心円上に配列された黒と白の円を周期的に
配置した二次元空間の図面を用いて、図９、図１０で説
明したような帯域分割処理を施した場合の実際の例を示
した図であり、図１２においては、最初の帯域分割フィ
ルタを通して二次元空間の画像が４つの周波数帯域に分
割された場合を示している。図１２において左上はＬＬ
３を示しており、最も周波数の低い部分を示している。
次に左下はＬＨ３を示しており、右上はＨＬ３を示して
いる。また、右下はＨＨ３を示しており、４分割された
周波数帯域において最も周波数の高い領域を示してい
る。この図１２を見てわかるように、周波数帯域が低い
信号、すなわち、ＬＬ３の部分は他の３つの周波数帯域
に比べて最も入力された画像の状態を正確に現わしてい
ることがわかる。

【０００７】図１２の左下のＬＨ３の領域においては、
上記ＬＬ３の領域を補充するためのデータが示されてい
る領域であり、左上のＬＬ３に対して左下のＬＨ３のデ
ータを加えることにより、よりオリジナルな画像を復元
することが可能となる。同様に左上のＬＬ３と左下のＬ
Ｈ３の画像に合わせて右上のＨＬ３の画像を加えること
によりさらにオリジナルな画像を復元することが可能と
なる。同様に右下のＨＨ３を前記３つのデータに合わせ
ることによりさらによりオリジナルに近い画像を復元す
ることが可能となる。このように、低周波の成分は画像
に与える影響が大きく、高周波成分になるにつれ、画像
に与える影響が少なくなる。

【０００８】なお、図１２において、テレビ信号が持つ
性質と、この図１２を出力したビデオプリンタの性能の
ためにモアレと呼ばれる目玉状のものが現われたり、色
ムラが出たりする場合があるが、このモアレというのは
オリジナルな画像には無かったにもかかわらず、テレビ
信号やプリンタの性能のために出力されてしまうもので
あり、この発明とは関係しないために、以後このモアレ
については説明を省略する。

【０００９】次に、図１３に基づいて２番目の帯域分割
フィルタ５の動作について説明する。図１３における左
上の４つの領域に分割された部分は、図１２におけるＬ
Ｌ３の部分を第２の帯域分割フィルタ５によりさらに４
分割した場合の例を示したものである。先程述べたよう
に、この場合においても４分割された内の左上にあたり
低周波成分のデータＬＬ２は画像に与える影響が大き
く、そして、高周波成分になるにつれて画像に与える影
響が少なくなっている。

【００１０】次に図１４は図１３における左上のＬＬ２
をさらに第３の帯域分割フィルタ５により４分割した場
合の例を示している。この場合には、同様に左上の部分
ＬＬ１が低周波成分であり、画像に与える影響が大き
く、次第に高周波成分になるにつれ、画像に与える影響
は少なくなってくる。ただし、この場合には前述したよ
うに、モアレが頻繁に見られるため、図１４において
は、低周波成分が画像に与える影響が大きく、高周波成
分になるにつれて画像に与える影響が少なくなるという
事実が視覚的にとらえにくくなっている。

【００１１】

【発明が解決しようとする課題】上記文献においては、
実際に符号化装置・復号装置を実現するために必要な量
子化・多重化の方法について触れられていない。画質の
劣化は変換係数の量子化手法によるところが大きく、伝
送路等における誤りに対する耐性は多重化手法によると
ころが大きい。

【００１２】この発明は、上記のような問題点を解消す
るためになされたもので、画質の劣化が少ない量子化装
置を持った符号化装置及びその方法を得ることを目的と
する。また、この装置は、誤りに対する耐性の強い多重
化装置を持った符号化装置を得ることを目的とする。

【００１３】

【課題を解決するための手段】この発明の符号化装置
は、以下の要素を有することを特徴とする。 （ａ）画像信号を複数の周波数帯域に分割して変換係数
を出力する変換手段、 （ｂ）前記画像信号の空間領域上の各小領域に対応する
前記変換係数を前記複数の周波数帯域それぞれから抽出
してブロック化し、ブロック毎に量子化する量子化手
段。

【００１４】さらに、量子化手段によって量子化された
データを記憶するバッファメモリと、上記バッファメモ
リの残量に基づいて閾値を変化させ、量子化手段が変換
係数をブロック化した際、そのブロック化された変換係
数に対し前記閾値に基づいて閾値処理を行なう閾値処理
手段とを有することを特徴とする。

【００１５】さらに、量子化手段によりブロック化され
た変換係数をそのブロック毎に閾値処理をした際その閾
値を符号化ずみのブロックの閾値として記憶しておき、
符号化しようとしているブロックの変換係数について閾
値処理を行う場合には、記憶しておいた上記符号化しよ
うとしているブロックに隣接した符号化ずみのブロック
の閾値に基づいて新たな閾値を決定し、この新たな閾値
に基づいて上記符号化しようとしているブロックの変換
係数に対し閾値処理を行なう閾値処理手段、を有するこ
とを特徴とする。

【００１６】さらに、量子化手段によって量子化された
データを記憶するバッファメモリを有し、量子化手段
は、上記バッファメモリの残量に基づいて量子化の基準
を決定し、この量子化の基準に基づいてブロック化した
変換係数に対して量子化を行うことを特徴とする。

【００１７】量子化手段は、ブロック化した変換係数を
そのブロック毎に量子化した際その量子化の基準を符号
化ずみのブロックの量子化の基準として記憶しておき、
符号化しようとしているブロックの変換係数について量
子化を行う場合には、記憶しておいた上記符号化しよう
としているブロックに隣接した符号化ずみのブロックの
量子化の基準に基づいて新たな量子化の基準を決定し、
この新たな量子化の基準に基づいて上記符号化しようと
しているブロックの変換係数に対して量子化を行うこと
を特徴とする。

【００１８】さらに、量子化手段によってブロック毎に
量子化された変換係数をそのブロック化前の状態である
周波数領域の状態に戻すデブロック化手段と、上記デブ
ロック化手段により周波数領域に戻された変換係数を各
々の周波数領域ごとに多重化する多重化処理手段と備え
たことを特徴とする。

【００１９】さらに、入力された画像信号に対し、符号
化データから復号化された前フレームもしくは数フレー
ム前の復号画像信号を用いて動き補償予測信号を得る動
き補償予測手段と、入力された画像信号と上記動き補償
予測信号との差分信号を得て変換手段への画像信号とす
るフレーム間差分手段とを備えたことを特徴とする。

【００２０】

【００２１】

【作用】第１の発明における符号化装置は、変換手段が
画像信号などの所定の空間領域における入力信号を入力
し、これを低周波領域から高周波領域の複数の周波数帯
域に対応する変換係数に変換する。そして、この変換手
段により変換された変換係数を量子化するに当り、ブロ
ック化手段は、複数の周波数領域にまたがって変換され
た、たとえば、画像信号の左上の部分に対応する複数の
変換係数を抽出してひとつのブロックを構成する。ブロ
ック化手段は、この処理を画像信号の他の部分に対して
順次繰り返して行なう。このように、第１の発明は入力
された空間領域の一部分に対応する複数の変換係数をひ
とつのブロックとして抽出してくることに特徴があり、
量子化手段は、このブロック化手段により抽出された変
換係数に対して所定の量子化を行なうことにより、所定
の空間領域における最適な量子化を行うことが可能にな
る。すなわち、変換手段は入力信号を周波数領域に分割
し、ブロック化手段はこの周波数領域に分割された変換
係数を同一の部分空間のデータとして再び、一つの所に
抽出してくる。したがって、量子化手段は周波数領域と
空間領域の双方をパラメータとして、量子化することが
可能になり、この周波数領域と空間領域の双方を考慮す
ることにより、画像の劣化の少ない復号画像を得ること
が可能になる。

【００２２】第２の発明における符号化装置は、閾値処
理手段がバッファメモリの残量に基づいて閾値を変化さ
せる所に特徴がある。たとえば、バッファメモリの残量
が少ない場合には符号化するデータ量を少なくしなけれ
ばならないために、この閾値処理手段はバッファメモリ
の残量が少ない場合には閾値を高めに設定する。反対に
バッファメモリの残量が大きい場合は、より正確な復号
画像を得るために符号化データの量が多くてもかまわな
い場合であるため、閾値を低く設定する。

【００２３】第３の発明における符号化装置は、閾値処
理手段が閾値を決定するために隣接する空間領域の閾値
処理で使用した閾値を参考にして、現在処理しようとし
ている空間領域の閾値を決定する所に特徴がある。すな
わち、隣接する空間において、画像が極端に変化するこ
とを避けるためには隣接する空間で用いた閾値と同様の
閾値を用いるようにすることが大切であり、過去におい
て使用した隣接する空間領域の閾値を記憶し、これを参
照するようにしたものである。特に、画像に与える影響
が大きい低周波成分に対する閾値はその変化を最小にと
どめ、画像に与える影響が小さい高周波成分に関して
は、その閾値を大胆に変更することにより、生成される
データ量の削減を図ることが可能になる。

【００２４】第４の発明における符号化装置は、量子化
手段がバッファメモリの残量に基づいて量子化の基準を
変化させるものであり、バッファメモリの現在の残量が
少ない場合には量子化の基準をアップさせることによ
り、量子化されたデータ量が少なくなる。また、バッフ
ァメモリの残量が大きい場合には量子化の基準を下げる
ことにより量子化されるデータの量を増やし、より画像
の劣化の少ない復号画像を得ることが可能になる。

【００２５】第５の発明における符号化装置は、量子化
手段が先に使用した隣接する空間領域で使用した量子化
の基準を参照して現在処理しようとしているデータの量
子化の基準を決定するものである。この場合も第３の発
明で述べたように、隣接する空間領域での画像の極端な
変化を防ぐために隣接する空間領域での量子化の基準を
極端に変化させないようにするものである。また、同じ
く第３の発明で述べたように画像に与える影響が大きい
低周波成分に対する量子化の基準をなるべく変化させな
いようにし、画像に与える影響が小さい高周波成分に対
しては大胆にその量子化基準を変更することにより、量
子化されるデータ量を削減することが可能となる。

【００２６】第６の発明における符号化装置は、第１の
発明においてブロック化された変換係数を再びデブロッ
クすることが特徴であり、第１の発明においてブロック
化され、量子化された変換係数はそのまま多重化されて
出力することが可能であるが、この第６の発明に示すよ
うに再び周波数領域別にまとめ直すことにより、出力す
べきデータは周波数領域別にまとめられる。したがっ
て、画像に与える影響が大きい低周波成分と画像に与え
る影響が小さい高周波成分それぞれに応じた出力形式、
あるいは、それぞれに応じた伝送形式をとることが可能
となり、各々の周波数領域毎に最適な多重化を行なうこ
とが可能となる。

【００２７】第７の発明における符号化装置は、第１の
発明における符号化装置が差分信号に基づいて動作でき
るように動き補償予測手段とフレーム間差分手段を備え
たものであり、変換手段に入力される入力信号がこの動
き補償予測手段とフレーム間差分手段により生成された
入力画像信号との差分信号が入力される点に特徴があ
る。

【００２８】第８の発明に係る符号化方法は、変換工程
により所定の空間領域の信号を入力して複数の周波数領
域の信号を出力する。この変換工程により変換された信
号は抽出工程により同一の部分空間に対応する信号だけ
が抽出される。そして、量子化工程においては、この抽
出工程により抽出された同一の部分空間に対応する異な
る周波数領域の信号に対してそれぞれの周波数領域に対
応した量子化を行なうことが可能となる。

【００２９】

【実施例】実施例１．以下、第１の発明の一実施例を図
を用いて説明する。図１は図９に示した画像符号化装置
の量子化部２の詳細を示すブロック図である。図におい
て、３１はブロック化部、３２は閾値特性選択部、３３
は閾値処理部、３４は量子化特性選択部、３５は係数量
子化部、３６は閾値記憶部、３７は量子化特性記憶部で
ある。閾値処理部３３、閾値特性選択部３２、閾値記憶
部３６によりこの発明の閾値処理手段の一例を構成して
いる。また、係数量子化部３５、量子化特性選択部３
４、量子化特性記憶部３７によりこの発明の量子化手段
の一例を構成している。

【００３０】次に動作について説明する。図９のように
入力画像信号１００は１０個の帯域に分割される（変換
工程）。分割されたＤＷＴ係数３００（図９における１
０２、１０３、１０４、１０６、１０７、１０８、１０
９、１１０、１１１、１１２にあたる）は、ブロック化
部１において二次元空間上で対応する係数ごとにブロッ
キング処理される（抽出工程）。

【００３１】これを図２を用いて説明する。例えば、一
つのブロックに対してＬＬ１に属する左上の最初のデー
タを１つ与えるとき、このＬＬ１の左上の最初のデータ
に対応する空間領域に対応してＬＨ１，ＨＬ１，ＨＨ１
もそれぞれ１つのデータが、ＬＨ２，ＨＬ２，ＨＨ２は
４つのデータが、ＬＨ３，ＨＬ３，ＨＨ３は１６個のデ
ータが同じブロックに属することになり、合計６４個の
データが割り当てられる。

【００３２】図２において左上のＬＬ１は、たとえば、
１６ビットのデータから構成されており、この１６ビッ
トのデータは、たとえば、図１１においてＬＬ１のデー
タが全部で８０個のデータから構成されている場合の最
初の１６ビットのデータをブロック化部１が抽出してき
て、１６ビットのデータＬＬ１としてブロック内に配置
した場合を示している。次に、ブロック化部１は、この
図１１のＬＨ１、ＨＬ１、ＨＨ１の８０個で構成される
データの中から先程選択した最初のＬＬ１のデータに対
応するデータを選択してきて、図２におけるＬＨ１、Ｈ
Ｌ１、ＨＨ１の場所にそれぞれ１６ビットのデータとし
て配置することになる。このようにして、まず６４ビッ
トのデータがブロック化部１により抽出される。

【００３３】次に、ブロック化部１は、これらの４個の
データに対応した空間を図１１におけるＬＨ２、ＨＬ
２、ＨＨ２より抽出し、これを図２のＬＨ２、ＨＬ２、
ＨＨ２に配置することになる。この場合には、１６ビッ
トのデータに対して、１６ビットのデータ４個が対応し
ているため、ＬＨ２、ＨＬ２、ＨＨ２はそれぞれ６４ビ
ットデータが配置されることになる。同様にブロック化
部１はＬＨ３、ＨＬ３、ＨＨ３からも最初のＬＬ１の１
６ビットデータに対応する空間領域のデータを抽出し、
図２のＬＨ３、ＨＬ３、ＨＨ３に２５６ビットのデータ
として配置することになる。このようにして、最初のブ
ロッキング処理が完成することになる。

【００３４】このデータは各々のブロック単位に、あら
かじめ設定された順序に従ってブロック化部３から係数
３０１として出力される。一般に、ＬＬ１のような低周
波成分は画像に与える影響が大きく、ＨＨ３のような高
周波成分になるにつれ画像に与える影響が少ない。そこ
で、出力される順序として、画質に与える影響の大きい
係数から小さい方へと走査していく方法が考えられる。
出力する順序の一例を図３に示す。

【００３５】図３は図２に示した１つのブロックをどの
ような順番で閾値処理部３３に出力するかを示した図で
あり、図３において、数字は出力する順番を示してい
る。たとえば、図２におけるＬＬ１は、図３において１
の値を持っているために、ブロック化部１から最初に出
力されるデータは図２におけるＬＬ１であることにな
る。同様にして、図２におけるＬＨ１のデータは、図３
において、２の値を持っているため、２番目に出力さ
れ、図２におけるＬＨ１は３番目に出力され、ＨＨ１は
４番目に出力されることになる。また、図２において、
ＬＨ２にある６４ビットのデータは図３にあるような順
番で５、６、７、８の順で出力されることになる。以
下、同様にして、図２の８９６ビットのデータは図３に
従う１から６４の順番に従って、出力されることにな
る。

【００３６】以上は、第１のブロックについてブロッキ
ング処理およびその出力処理を図３を用いて説明したも
のであるが、ブロック化部はこの第１のブロック処理を
第２のブロックについても同様の処理をすることにな
る。たとえば、前例では、ＬＬ１の左上の最初のデータ
１６ビットを第１のブロックとして処理した訳であるか
ら、次にはＬＬ１の第２のデータを処理することにな
り、これが第２のブロックとなる。以下同様に図１１に
おけるＬＬ１のデータが８０個存在する場合には、第１
から第８０のブロックまで処理し、第８０のブロックを
処理し終わった時点で１画面の画像の処理が終了するこ
とになる。

【００３７】閾値処理部３３は係数３０１に対し、閾値
特性選択部３２で設定された閾値３０４を用いて閾値処
理を行う。閾値３０４より小さい係数３０１に対しては
０が出力され、閾値３０４より大きい係数３０１に対し
ては入力値と同じ値が出力される。

【００３８】係数量子化部３５は、閾値処理を施された
係数３０２の量子化を行い量子化インデックス３０３を
出力する（量子化工程）。量子化は、量子化特性選択部
３４において決定されたステップサイズと重み付け関数
３０５を用いて量子化する。例えば、入力された係数を
図４に示すような重み付け関数でわり算した後、ステッ
プサイズでわり算し、その商を量子化インデックス３０
３として出力する。出力された量子化インデックス３０
３は、多重化部３において多重化され、バッファメモリ
４に一時的に蓄えられる。

【００３９】以上のように、この実施例では、ディジタ
ル化された画像信号を離散ウェーブレット変換もしくは
サブバンド分割を用いて符号化する画像符号化装置にお
いて、入力信号を離散ウェーブレット変換もしくはサブ
バンド分割する変換手段と、変換係数の量子化を行う量
子化手段と、量子化された変換係数の符号化データに対
し多重化を行う多重化手段と、多重化された符号化デー
タ系列を一時的に蓄えるバッファメモリとを備え、上記
量子化手段に、二次元空間上同じ空間領域に属する複数
の変換係数を一つのブロックにまとめるブロック化手段
を備えた場合を説明した。

【００４０】実施例２．以下、第２、第３の発明の一実
施例を、同じく図１を用いて説明する。閾値特性選択部
３２は、閾値記憶部３６に記憶されている閾値３１０
と、バッファメモリのバッファ残量を示す信号３０８を
参照して閾値を決定する。図５は閾値記憶部３６が値を
記憶する場合に用いる隣接する空間領域を説明するため
の図であり、たとえば、現在閾値処理をしようとしてい
るブロックがブロックＸである場合において、閾値記憶
部３６はその隣接する空間領域としてすでに処理を施し
たブロックＡ、Ｂ、Ｃ、Ｗの閾値を閾値記憶部に記憶し
ており、これらの閾値を参照してブロックＸの閾値を決
定することになる。そして、ブロックＸが終了し、次の
ブロックＹを処理する場合には、その隣接する空間領域
としては、Ｂ、Ｃ、Ｄ、Ｘがその空間領域に当たるた
め、これらのブロックＢ、Ｃ、Ｄ、Ｘに用いた閾値を参
照してブロックＹの閾値を決定することになる。したが
って、閾値記憶部３６には、１行分と１ブロックの閾値
を記憶しておく領域があれば良いことになる。たとえ
ば、１行分が１０ブロックからなる場合には、過去に処
理をした１１ブロック分の閾値を記憶しておけば、隣接
する空間領域の閾値を後で参照することが可能になる。
また、もし、隣接する空間の定義を上と左のみとしてし
まった場合には、たとえば、ブロックＸを処理する場合
の隣接する空間はＢとＷのみになるため、この場合の閾
値記憶部のサイズは、１行分のブロックを処理した閾値
を覚えておけば良いことになる。たとえば、１行が１０
ブロックからなる場合においては、１０ブロックの空間
領域を処理した１０個の閾値を覚えておけば良いことに
なる。

【００４１】次に、この閾値特性選択部３２が、閾値記
憶部に記憶されている閾値を参照して現在処理をしよう
とするブロックの閾値を決定する理由について説明す
る。図５に示したように、現在処理しようとしているブ
ロックＸを閾値処理する場合に隣接するブロックＢやＷ
と極端に異なる復号を行う訳にはいかないために、隣接
するブロックＢやＷで用いた閾値と似た値を使用するこ
とが望ましい。このために、隣接する空間領域で使用し
た閾値を記憶しておき、現在処理するブロックＸが隣接
する空間領域で使用した閾値と大きく違わないようにす
るため閾値を記憶している。

【００４２】次にバッファメモリ４のバッファ残量を示
す信号３０８を参照して閾値を決定する理由について説
明する。バッファメモリ４は多重化部３により多重化さ
れたデータを一時蓄えるために使用するものであり、こ
のバッファメモリを介して、図示していない信号回線に
符号化されたデータが伝送されていくものである。した
がって、多重化部により処理された符号化データがバッ
ファメモリに逐次蓄えられていくと同時にバッファメモ
リからは先に蓄積されたデータが回線を通じて出力され
ていくことになる。従って、バッファメモリの残量が少
ない場合には多重化部により蓄積されるデータによって
バッファメモリのオーバーフローが生じる結果となる。
このオーバーフローをなくすためには、生成される符号
化データの量を少なくすることを考える必要がある。し
たがって、その１つの方法として、ブロック化部により
ブロック化されたデータを閾値処理する場合に、バッフ
ァメモリの残量が少ない場合には、閾値の値を大きくし
て、データ量を抑制する訳である。逆に、バッファメモ
リの残量が多い場合には、バッファメモリのオーバーフ
ローが生じる危険が少なく符号化データの量を削減する
必要がないために、この閾値の値を小さくして、符号化
データ量を抑圧することなく、その符号化データを復号
した時によりオリジナルな画像に近い画質が得れるよう
な閾値設定をすることが可能になる。

【００４３】また、この閾値特性選択部３２において決
定される閾値は各ブロック内に一定ではなく、低周波あ
るいは高周波によって閾値を変更する。すなわち、ブロ
ック化部３１から得られる係数列の順序番号により、処
理対象となる係数が低周波成分に属するものか高周波成
分に属するものであるかを判定し、それに応じて閾値を
決定する。また、隣接するブロックとの間で大きな隔た
りのないように調整する。すなわち低周波成分の係数は
画質に与える影響が大きいので、画質が損なわれないよ
うにするために、閾値は常に小さく、かつ隣接するブロ
ックとの閾値の差分も小さくとるようにする。一方、高
周波成分の係数は画質に与える影響はあまり大きくない
ので、バッファ残量が少ないときには、情報の発生量を
少なくするために閾値を大きくし、出力される係数の多
くが０になるようにする。

【００４４】以上のように、この実施例では、上記ブロ
ック化された変換係数の絶対値が、選択された閾値より
小さいときには零に置き換える閾値処理手段と、上記閾
値を選択するに際し、隣接するブロックで採用された閾
値の値とバッファメモリのバッファ残量をもとに、低周
波数成分に対しては隣接するブロックで選択された閾値
との変化を常に小さくし、高周波数成分に対しては隣接
するブロックで選択された閾値との変化が大きくなるこ
とを可能とする閾値特性選択手段とを備えることを特徴
とする画像符号化装置を説明した。

【００４５】このように、この実施例に係る画像符号化
装置は、量子化部において閾値処理を行う際に、変換係
数の周波数領域と空間領域の双方をパラメータにして閾
値を決定するように構成することを特徴とする。

【００４６】実施例３．以下、第４、第５の発明の一実
施例を同じく図１を用いて説明する。量子化特性選択部
３４は、量子化特性記憶部３７に記憶されている重み付
け関数３１２、バッファメモリのバッファ残量を示す信
号３０８を参照して、ステップサイズと重み付け関数３
０５を決定する。ステップサイズの変動が隣接するブロ
ック間で大きいと、ブロック歪の発生原因となる。そこ
で、ステップサイズの変動は小さく抑える。また、低周
波成分は画質に与える影響が大きいので、重み付け関数
の選択は低周波成分に属する係数の量子化は常に一定の
精度を保ち、高周波成分に属する係数の量子化の精度を
変化させて情報量の制御を行う。両者の組み合わせによ
り、バッファメモリのバッファ残量の変動が小さいうち
は重み付け関数の選択により情報量の制御を行い、バッ
ファ残量の変動が大きくなったときにステップサイズの
変更を行うようにする。

【００４７】なお、図４は、重み付け関数の一例を示し
ているが、量子化特性記憶部３７は図４に示したような
重み付け関数の表を一つだけ記憶する場合ばかりでな
く、複数記憶しておく場合でもかまわない。また、図４
に示すように、表形式で記憶するばかりでなく、重み付
けを計算する関数式で重み付けを記憶しておいてもかま
わない。また、これらのこの関数式が複数ある場合でも
かまわない。重み付け関数が複数ある場合には前述した
ように低周波成分に用いる重み付け関数あるいは高周波
成分に用いる重み付け関数などのように使い分けをする
ことが可能になる。

【００４８】また、上記実施例では、ステップサイズと
重み付け関数の両方を用いることにより量子化する場合
を示しているが、ステップサイズを大きくするというこ
とと重み付けによる重み付けを大きくするということは
同じ意味であり、ステップサイズと重み付け関数の両方
を用いて量子化する場合に限らず、ステップサイズのみ
あるいは重み付け関数のみを用いて量子化するような場
合であってもかまわない。

【００４９】以上のように、この実施例では、量子化手
段において、選択された重み付け関数とステップサイズ
を用いて、変換係数に各々の周波数領域に対応した重み
付け処理を行い、選択されたステップサイズに対応する
量子化器を用いて量子化を行う係数量子化手段と、上記
重み付け関数とステップサイズの選択に際し、隣接する
ブロックで採用された重み付け関数とステップサイズ、
及びバッファメモリのバッファ残量をもとに、低周波数
成分に対しては隣接するブロックの重み付け量との変化
を小さくし、高周波数成分に対しては隣接するブロック
の重み付け量との変化が大きくなることを可能とし、隣
接するブロックで選択されたステップサイズとの変化は
小さくする量子化特性選択手段とを備えたことを特徴と
する画像符号化装置を説明した。

【００５０】このように、この実施例に係る画像符号化
装置は、量子化部において量子化を行う際に、変換係数
の周波数領域と空間領域の双方をパラメータとしてステ
ップサイズと重み付け関数を決定するように構成するこ
とを特徴とする。

【００５１】実施例４．以下、第６の発明の一実施例を
説明する。この実施例に係る画像符号化装置は、多重化
部において多重化を行う際に、変換係数の周波数領域を
パラメータとして多重化を行うように構成することを特
徴とする。図６は図１、あるいは、図９に示した画像符
号化装置の多重化部３の詳細を示す図である。図におい
て、４１はデブロック化部、４２は多重化処理部であ
る。

【００５２】次に動作について説明する。量子化部２か
ら出力された量子化インデックス１１３（３０３）は、
デブロック化部４１において、同じ周波数領域に属する
係数ごとに係数の順序を並べかえる。すなわち量子化部
２におけるブロック化部３１と逆の操作を行う。たとえ
ば、図２に示したような一つのブロックを受け取る度に
デブロック化部４１は、図１１に示したような１０個の
周波数帯域にそれぞれのブロック毎に分割する。たとえ
ば、８０個のブロックを入力することにより、元通り図
１１のような８０個のデータからなるＬＬ１、あるい
は、３２０個のデータからなるＬＨ２を再び構成するこ
とになる。ただし、量子化された値を用いて図１１のよ
うなデータが再び形成されることになる。

【００５３】多重化処理部４２はそれぞれの係数の周波
数領域ごとに多重化処理を行う。ＬＬ１のような低周波
数領域に属する係数は画像に及ぼす影響が大きいので、
伝送路上での誤りを受けないよう、品質の高い伝送路を
用いたり、強い誤り訂正符号化をかけておく等の処理を
加える。一方、ＨＨ３のような高周波数領域に属する係
数は、画像に及ぼす影響が比較的小さいので、特別強い
処理は施さない。このように、デブロック化部により、
ブロック化部３１と逆の操作を行うことにより、画像に
及ぼす影響が大きい低周波領域の符号化データを特に保
護して伝送することが可能になり、また、画像に及ぼす
影響の小さい高周波領域に符号化データをそれ相応の保
護を与えて伝送することができるために、効率の良い伝
送が可能となる。

【００５４】実施例５．以下、第７の発明の一実施例を
図７を用いて説明する。この実施例に係る画像符号化装
置は、入力画像信号と動き補償予測信号との差分信号に
対しＤＷＴを施し、前述した量子化部と多重化部を持つ
ことを特徴とする。図において、５１は逆量子化部、５
２は逆変換部、５３はフレームメモリ、５４は差分器、
５５は加算器、５６は動き補償予測部である。量子化部
以降の多重化部、バッファメモリ等は省略してある。

【００５５】次に動作について説明する。差分器５４に
おいて、入力画像信号１は後述する動き補償予測信号５
０１との差分がとられ、差分信号５０２が出力される。
差分信号５０２は変換部１においてＤＷＴを施され、さ
らに量子化部２において量子化される。量子化部２より
出力された量子化インデックス１１３は逆量子化部５１
において逆量子化され、逆変換部５２において変換部１
とは逆の手続きにより逆変換され復号信号５０４をえ
る。この復号信号５０４と動き補償予測信号５０１とを
加算し、復号画像信号５０５を得て、フレームメモリ５
３に記憶する。動き補償予測部５６はフレームメモリ５
３から復号画像信号５０６を読みだし、入力画像信号１
００と動き補償予測を行い、動き補償予測信号５０１を
得る。上記量子化部２において、実施例１記載の閾値処
理や、実施例２記載の量子化処理を行う。

【００５６】実施例６．上記実施例では１フレーム前の
復号画像信号５０５を用いて動き補償予測を行っている
が、数フレーム前の復号画像信号を用いたり、あるいは
符号化対象画像より数フレーム後の復号画像信号を用い
たり、あるいはこれらの複数フレームの信号を用いたり
してもよい。また、符号化対象の画像信号がインターレ
ース画像であれば、フレーム単位の処理のみではなく、
画像信号を構成するフィールド単位の処理を行っても良
い。

【００５７】実施例７．以下この発明の他の実施例につ
いて図８を用いて説明する。この実施例に係る画像符号
化装置は、離散コサイン変換部においてＤＷＴ係数の低
周波数成分に対し離散コサイン変換を行い、上記実施例
による量子化部と多重化部を持つように構成することを
特徴とする。図において、６１は変換部、６２はＤＣＴ
部である。

【００５８】次に動作について説明する。入力画像信号
１００は、帯域分割フィルタ５により帯域分割されるの
は従来例に述べたものと同じである。帯域分割された変
換係数１０５はＤＣＴ部６２において２×２のブロック
単位にＤＣＴされる。得られる４つのＤＣＴ係数６０１
は実施例１に述べた量子化部２の中のブロッキング部に
おいて、図２におけるＬＬ１，ＬＨ１，ＨＬ１，ＨＨ１
に相当する位置にブロッキングされ、以下実施例１記載
の閾値処理、実施例２記載の量子化処理、実施例３記載
の多重化処理を行う。

【００５９】以上のように、この実施例では、ディジタ
ル化された画像信号を離散ウェーブレット変換もしくは
サブバンド分割を用いて符号化する画像符号化装置にお
いて、入力信号を離散ウェーブレット変換もしくはサブ
バンド分割する変換手段と、変換係数の低周波数成分に
対し、離散コサイン変換を施す離散コサイン変換手段を
備えた場合を説明した。

【００６０】このように、変換の最終段において、帯域
分割フィルタ処理の代わりにＤＣＴを行うことにより、
符号化効率がさらに高められる。また、従来のＤＣＴを
行う画像符号化装置との互換性が保たれる。

【００６１】実施例８． 上記実施例７においては２回の帯域分割フィルタ処理と
２×２のブロックサイズのＤＣＴを１回行ったが、帯域
分割処理を１回にし、変換係数１０１（ＬＬ３）に対し
て４×４のブロックサイズのＤＣＴを行うことも可能で
ある。

【００６２】実施例９．上記実施例においては、ブロッ
クの大きさを８×８として説明するために、変換部１に
おいては３回の帯域分割フィルタ処理によって１０個の
帯域に信号を分割したが、これとは異なるブロックサイ
ズを用いることももちろん可能である。変換部６２に対
しても同じことがいえる。

【００６３】

【発明の効果】この発明は、以上説明したように構成さ
れているので、以下に記載されるような効果を奏する。

【００６４】第１の発明によれば、変換部において周波
数領域に変換された変換係数をブロック化部において、
同一空間部分における変換係数を抽出するようにしたの
でその後の量子化処理において、周波数領域と空間領域
の双方をパラメータにして量子化を決定することが可能
になる。

【００６５】第２の発明によれば、バッファメモリのサ
イズにより閾値を決定しているので、バッファメモリの
オーバーフローのない符号化を実現することができる。

【００６６】第３の発明によれば、変換係数の周波数領
域と、隣接するブロック間での関係という空間領域の双
方をパラメータとして閾値を決定しているので、画質の
劣化なく高能率な符号化を実現できる。

【００６７】第４の発明によれば、バッファメモリの残
量により、量子化の基準を変更するようにしているの
で、バッファメモリのオーバーフローすることがない符
号化を実現することができる。

【００６８】第５の発明によれば、変換係数の周波数領
域と、隣あったブロック間での関係という空間領域の双
方をパラメータとしてステップサイズや重み付け関数等
の量子化の基準を決定しているので、画質の劣化なく高
能率な符号化を実現できる。

【００６９】第６の発明によれば、変換係数の周波数領
域単位に多重化が行えるので、伝送路の誤りに対して耐
性を高めることができる。

【００７０】第７の発明によれば、フレーム間符号化後
の信号を用いて変換処理を行い、上記量子化、多重化を
施すことにより符号化効率がさらに高められる。

【００７１】第８の発明によれば、変換工程により周波
数領域に分割したデータを再び抽出工程により同一の空
間領域部分に対して抽出してくるため、周波数領域と空
間領域の双方をパラメータとして量子化することが可能
となる。

【図面の簡単な説明】

【図１】この発明の実施例１、２、３を示す量子化部の
ブロック図である。

【図２】この発明の変換係数のブロッキング処理を示す
図である。

【図３】この発明の変換係数の出力の際の操作順序を示
す図である。

【図４】この発明の重み付け関数の一例を示す図であ
る。

【図５】この発明の閾値記憶部を説明する図である。

【図６】この発明の実施例４を示す多重化部のブロック
図である

【図７】この発明の実施例５を示すブロック図である。

【図８】この発明の実施例７を示すブロック図である。

【図９】従来の離散ウェーブレット変換を行う画像符号
化装置を示すブロック図である。

【図１０】従来の帯域分割フィルタ部の詳細を示すブロ
ック図である。

【図１１】帯域分割を施した画像信号の周波数分布を示
す図である。

【図１２】離散ウェーブレット変換の一実施例を示す図
である。

【図１３】離散ウェーブレット変換の一実施例を示す図
である。

【図１４】離散ウェーブレット変換の一実施例を示す図
である。

【符号の説明】

１ 変換部 ２ 量子化部 ３ 多重化部 ４ バッファメモリ ５ 帯域分割フィルタ ３１ ブロック化部 ３２ 閾値特性選択部 ３３ 閾値処理部 ３４ 量子化特性選択部 ３５ 係数量子化部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−56490（ＪＰ，Ａ) 特開 平３−209988（ＪＰ，Ａ) 如澤裕尚、外１名，”非等分割サブバ ンド／ウエーブレット変換符号化におけ る動き補償フレーム間予測の周波数領域 実現”，テレビジョン学会技術報告，平 成３年11月22日，第15巻，第70号，ｐ. 17−22 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/30 G06T 9/00 H03M 7/30 H04N 1/41

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 （ａ）画像信号を複数の周波数帯域に分
   割して変換係数を出力する変換手段と、 （ｂ）前記画像信号の空間領域上の各小領域に対応する
   前記変換係数を前記複数の周波数帯域それぞれから抽出
   してブロック化し、ブロック毎に量子化する量子化手段
   と、 （ｃ）量子化手段によりブロック化された変換係数をそ
   のブロック毎に閾値と比較し、変換係数の値が閾値より
   小さい場合には、０を出力し、変換係数の値が閾値より
   大きい場合には変換係数をそのまま出力する閾値処理を
   行うとともに、閾値処理をした際その閾値を符号化ずみ
   のブロックの閾値として記憶しておき、符号化しようと
   しているブロックの変換係数について閾値処理を行う場
   合には、記憶しておいた上記符号化しようとしているブ
   ロックに隣接した符号化ずみのブロックの閾値に基づい
   て新たな閾値を決定し、この新たな閾値に基づいて上記
   符号化しようとしているブロックの変換係数に対し閾値
   処理を行う閾値処理手段とを有することを特徴とする符
   号化装置。
2. 【請求項２】 さらに、 量子化手段によって量子化されたデータを記憶するバッ
   ファメモリを有し、 量子化手段は、上記バッファメモリの残量に基づいて量
   子化の基準を決定し、この量子化の基準に基づいてブロ
   ック化した変換係数に対して量子化を行うことを特徴と
   する請求項１記載の符号化装置。
3. 【請求項３】 （ａ）画像信号を複数の周波数帯域に分
   割して変換係数を出力する変換手段と、 （ｂ）前記画像信号の空間領域上の各小領域に対応する
   前記変換係数を前記複数の周波数帯域それぞれから抽出
   してブロック化し、ブロック毎に量子化する量子化手段
   とを備え、 量子化手段は、ブロック化した変換係数をそのブロック
   毎に量子化した際その量子化の基準を符号化ずみのブロ
   ックの量子化の基準として記憶しておき、符号化しよう
   としているブロックの変換係数について量子化を行う場
   合には、記憶しておいた上記符号化しようとしているブ
   ロックに隣接した符号化ずみのブロック の量子化の基準
   に基づいて新たな量子化の基準を決定し、この新たな量
   子化の基準に基づいて上記符号化しようとしているブロ
   ックの変換係数に対して量子化を行うことを特徴とする
   符号化装置。
4. 【請求項４】 （ａ）画像信号を複数の周波数帯域に分
   割して変換係数を出力する変換手段と、 （ｂ）前記画像信号の空間領域上の各小領域に対応する
   前記変換係数を前記複数の周波数帯域それぞれから抽出
   してブロック化し、ブロック毎に量子化する量子化手段
   と、 （ｃ）量子化手段によってブロック毎に量子化された変
   換係数をそのブロック化前の状態である周波数領域の状
   態に戻すデブロック化手段と、 （ｄ）上記デブロック化手段により周波数領域に戻され
   た変換係数を各々の周波数領域ごとに多重化する多重化
   処理手段と、 を備えたことを特徴とする符号化装置。
5. 【請求項５】 さらに、 入力された画像信号に対し、符号化データから復号化さ
   れた前フレームもしくは数フレーム前の復号画像信号を
   用いて動き補償予測信号を得る動き補償予測手段と、 入力された画像信号と上記動き補償予測信号との差分信
   号を得て変換手段への画像信号とするフレーム間差分手
   段と、 を備えたことを特徴とする請求項１〜請求項４のいずれ
   かに記載の符号化装置。
6. 【請求項６】 画像信号の空間領域上の各小領域に対応
   してブロック化された上記画像信号の変換係数を上記ブ
   ロック毎に量子化する符号化方法であって、 前記ブロック化された変換係数をそのブロック毎に閾値
   と比較し、変換係数の値が閾値より小さい場合には、０
   を出力し、変換係数の値が閾値より大きい場合には変換
   係数をそのまま出力する閾値処理を行うとともに、閾値
   処理をした際その閾値を符号化ずみのブロックの閾値と
   して記憶しておき、符号化しようとしているブロックの
   変換係数について閾値処理を行う場合には、記憶してお
   いた上記符号化しようとしているブロックに隣接した符
   号化ずみのブロックの閾値に基づいて新たな閾値を決定
   し、この新たな閾値に基づいて上記符号化しようとして
   い るブロックの変換係数に対し閾値処理を行う、 ことを特徴とする符号化方法。
7. 【請求項７】 画像信号の空間領域上の各小領域に対応
   してブロック化された上記画像信号の変換係数を上記ブ
   ロック毎に量子化する符号化方法であって、 前記ブロック化した変換係数をそのブロック毎に量子化
   した際その量子化の基準を符号化ずみのブロックの量子
   化の基準として記憶しておき、符号化しようとしている
   ブロックの変換係数について量子化処理を行う場合に
   は、記憶しておいた上記符号化しようとしているブロッ
   クに隣接した符号化ずみのブロックの量子化の基準に基
   づいて新たな量子化の基準を決定し、この新たな量子化
   の基準に基づいて上記符号化しようとしているブロック
   の変換係数に対して量子化処理を行う 、ことを特徴とする符号化方法。