JPH06311499A - 画像信号復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】簡単な回路により、画像中にぼけ等を生じさせ
ずに高速に歪みを除去する。 【構成】ブロック毎の直交変換と、量子化と、可変長符
号化によって圧縮された画像データを復号化する画像信
号復号化装置に於いて、上記復号化して得られた画像デ
ータに対して歪み除去を行う歪み除去処理回路１６と、
直交変換によって得られた直交変換係数と、ブロック毎
の動きベクトルとブロックタイプ情報のうち少なくとも
１つに基づいて、歪み除去処理回路１６の歪み除去特性
をブロック毎に変化させる判定手段１８とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は画像信号復号化装置に
関し、特に高圧縮符号化された後、伝送若しくは記録さ
れた画像を復号する画像信号復号化装置に関するもので
ある。

【０００２】

【従来の技術】ＣＣＤに代表される固体撮像装置等によ
り撮像された動画像信号を、磁気ディスク、或いは磁気
テープ等の記憶装置にデジタルデータとして記録する場
合、そのデータ量は膨大なものとなる。このため、限ら
れた記憶容量の範囲で記録しようとするには、得られた
画像信号のデータに対し、何らかの高能率の圧縮を行う
ことが必要となる。

【０００３】動画像の圧縮方式としては、ＩＳＯで提案
されているようなフレーム間相関を利用して高圧縮を達
成する方法が一般的である。この方法について図５を用
いて簡単に説明する。

【０００４】図５は、フレーム間相関を利用した従来の
動画像圧縮方式を示すブロック図である。同図に於い
て、差分回路１によって動き補償フレーム間予測画像が
引かれた予測誤差信号が、ＤＣＴ（離散コサイン変換）
回路２でブロック毎にＤＣＴされた後、量子化回路３で
量子化される。更に、この量子化結果は、符号化回路４
で可変長符号が割当てられて記録される。また、上記量
子化結果は、逆量子化回路５及び逆ＤＣＴ回路６によっ
て復号化され、加算回路７によって上記動き補償フレー
ム間予測画像と加算される。そして、動き補償用可変遅
延機能を持つ画像メモリを内蔵した動き補償予測回路８
で動きベクトルを求め、次のフレームの動き補償フレー
ム間予測画像を作成するようにしている。

【０００５】この一連の処理を繰返して全てのフレーム
を圧縮していくが、常に差分を符号化するのではなく、
入力画像そのものを符号化することもあり、これをＩピ
クチャと称している。また、予測誤差画像には以下の２
種類のものがある。

【０００６】その一つは、Ｐピクチャと称され、今から
符号化しようとしている画像と、時間的に前に位置し、
既に符号化されたＩピクチャまたはＰピクチャの画像と
の差分をとるものである。実際には、動き補償された予
測画像との差を符号化するか差分をとらずに符号化す
る、いわゆるイントラ符号化の効率の良い方を選択して
いる。

【０００７】もう一つは、Ｂピクチャと称され、時間的
に前方、後方、若しくは前方と後方から作成された補間
画像との３種類の差分の符号化とイントラ符号化の中
で、一番効率の良いものを選択するものである。この予
測方式はブロック単位で切換えることができるようにな
っていて、ブロックタイプとして、選択情報を符号に付
加している。

【０００８】また、動き補償を行い、画像間の差分をと
り時間軸方向の冗長度を落とした後の信号には、空間方
向の冗長度を落とすために、ＤＣＴと可変長符号が使用
されている。ＤＣＴのような直交変換を利用した符号化
方法は、静止画像の圧縮にも広く用いられており、この
方式について図６を参照して、以下に説明する。

【０００９】図６は、ＤＣＴを利用した符号化方法によ
る静止画像の圧縮の動作を説明するもので、初めに、既
に時間軸方向の冗長度を落とした信号ｆが入力されると
（１０１）、その入力画像データｆが所定の大きさのブ
ロックに分割されてｆ_b を得（１０２）、分割されたブ
ロック毎に直交変換として２次元のＤＣＴが行われてＦ
に変換される（１０３）。次に、各周波数成分に応じた
線形量子化が行われ（１０４）、この量子化された値Ｆ
_Q に対して可変長符号化としてハフマン符号化が行われ
る（１０５）。その結果が、圧縮データＣとして伝送ま
たは記録される。このとき、上記線形量子化の量子化幅
は、各周波数成分に対する視覚特性を考慮にいれた相対
的な量子化特性を表す量子化マトリックスが用意され、
この量子化マトリックスを定数倍することで量子化幅が
決定されている。

【００１０】一方、圧縮データから画像データが再生さ
れるとき、可変長符号（Ｃ）がデコード（復号）される
ことで変換係数の量子化値ＦＱが得られる（１０６）。
しかしながら、この値から量子化前の真値Ｆを得ること
は不可能であり、逆量子化によって得られる結果は、誤
差を含んだＦ′になる（１０７）。したがって、この値
（Ｆ′）に対してＩＤＣＴ（逆離散コサイン変換）が行
われ（１０８）、その結果の値ｆｂ′が逆ブロック化さ
れて（１０９）、得られる画像データｆ′も誤差を含ん
だものになる。

【００１１】よって、画像再生装置にて再生出力される
（１１０）再生画像ｆ′は、画質が劣化してしまう。す
なわち、逆量子化によって得られる結果の値（Ｆ′）の
誤差が、いわゆる量子化誤差として再生画像（ｆ′）の
画質劣化の原因となっている。

【００１２】より具体的に説明すると、先ず、入力画像
データが所定の大きさのブロック（例えば、８×８の画
素より成るブロック）に分割され、この分割されたブロ
ック毎に直交変換として２次元のＤＣＴが行われ、８×
８のマトリクス上に順次格納される。

【００１３】画像データは、２次元平面で眺めてみる
と、濃淡情報の分布に基く周波数情報である空間周波数
を有している。したがって、上記ＤＣＴを行うことによ
り、画像データは、直流成分（ＤＣ）と交流成分（Ａ
Ｃ）に変換され、８×８のマトリクス上には原点位置
（０，０位置）に直流成分（ＤＣ）の値を示すデータが
格納される。そして、０，７位置には横軸方向の交流成
分（ＡＣ）の最大周波数値を示すデータが、７，０位置
には縦軸方向の交流成分（ＡＣ）の最大周波数値を示す
データが、更に７，７位置には斜方向の交流成分（Ａ
Ｃ）の最大周波数値を示すデータが、それぞれ格納され
る。また、中間位置では、それぞれの座標位置により関
係付けられる方向に於ける周波数データが、原点側よ
り、順次高い周波数のものが出現する形で格納されるこ
とになる。

【００１４】次に、このマトリクスに於ける各座標位置
の格納データを、各周波数成分毎の量子化幅で割ること
により、各周波数成分に応じた線形量子化が行われ、こ
の量子化された値に対し可変長符号化としてハフマン符
号化が行われる。このとき、直流成分（ＤＣ）に関して
は、近傍ブロックの直流成分との差分値をハフマン符号
化する。交流成分（ＡＣ）に関しては、ジグザグスキャ
ンと称される低い周波数成分から高い周波数成分へのス
キャンが行われ、無効（値が「０」）の成分の連続する
個数（零のラン数）と、それに続く有効な成分の値の２
次元のハフマン符号化が行われてデータとされる。

【００１５】

【発明が解決しようとする課題】この方法に於いて、圧
縮率は上記量子化の量子化幅を変化させることによって
制御されるのが一般的であり、圧縮率が高くなるほど、
量子化幅は大きくなる。したがって、量子化誤差が大き
くなり、再生画像の画質劣化が目立つようになる。

【００１６】この変換係数の量子化誤差は、再生画像に
於いてブロック境界部分に不連続が発生する、いわゆる
ブロック歪みや、エッジ近傍の平坦部分に靄状のものが
見えるモスキートノイズとして現われる傾向にある。こ
れらの歪みは視覚的に目立つために、例えＳ／Ｎが良好
であっても、主観的な印象は悪くなってしまう。

【００１７】そこで、復号器によって再生された画像
に、歪み除去処理として低域通過型瀘波器（ローパスフ
ィルタ）をかける方法が考え出された。このフィルタ
は、比較的良好に歪みを除去することができるが、画像
中にエッジ等が含まれている場合は、それがぼけてしま
い、逆にぼけを減らすために通過する低域の度合いを緩
くすると、ブロック歪みを完全に除去することができな
くなるといった不具合があった。

【００１８】また、この不具合を解消するため、画像中
のエッジの有無や歪みを検出し、その結果によってフィ
ルタを作用させるかどうかを切換えるようにして、歪み
の存在する部分にだけフィルタをかける方法もある。

【００１９】しかしながら、従来例で示したような歪み
除去方法では、依然として画像にぼけを生じる欠点があ
るうえに、ブロック歪み量等を計算する必要があるた
め、処理時間を長く必要とし、故に回路の大きさと消費
電力は、非常に大きなものとなってしまっていた。した
がって、小型化や高速性を重要視する製品、特に動画像
を扱うものに、上述した方式を応用することは困難であ
った。

【００２０】本発明の画像信号復号化装置はこのような
課題に着目してなされたものであり、その目的とすると
ころは、簡単な回路により、画像中にぼけ等を生じさせ
ずに高速に歪みを除去することのできる画像信号復号化
装置を提供することにある。

【００２１】

【課題を解決するための手段及び作用】上記の目的を達
成するために、本発明は、ブロック毎の直交変換と、量
子化と、可変長符号化によって圧縮された画像データを
復号化する画像信号復号化装置に於いて、上記復号化し
て得られた画像データに対して歪み除去を行う歪み除去
処理手段と、上記直交変換によって得られた直交変換係
数と、ブロック毎の動きベクトルとブロックタイプ情報
のうち少なくとも１つに基づいて、前記歪み除去処理手
段の歪み除去特性をブロック毎に変化させる判定手段と
を具備する。

【００２２】

【実施例】図１は本発明の第一実施例に係る歪み除去処
理としてのモスキートノイズ除去のためのシグマフィル
タを示している。図中のｘを現在処理を行おうとしてい
る注目画素、ａ₁ 〜ａ₂₄を注目画素の周囲の画素とする
と、新しいｘの値ｘ′は下式のように表される。

【００２３】

【数１】

【００２４】ここでθは閾値であって、ノイズ除去の特
性を変化させるパラメータである。一般的に、このθの
値を大きくしていくと、モスキートノイズ除去効果は上
がり、画像内のザラついたような信号は除去される。逆
にθを小さくすると、このフィルタの効果も小さくなっ
ていき、θ＝０では全くフィルタをかけないことと等し
くなる。

【００２５】本実施例において、ｂ₁ 〜ｂ₂₄の値は１／
２４としているが、これは歪除去特性に合わせて適当な
値が選ばれるもので、実験的には、Σｂ_K ＝１を満足す
る値にすることが望ましい。更に、θは画素値の最大値
の１／１０程度にすることが望ましい。例えば８ビット
データの画像であれば、θの値は２０〜３０程度にする
と歪除去が良好に行える。

【００２６】次にこのシグマフィルタを適応的にかける
例について説明する。前述したように、このフィルタは
θの値を変化させることでその特性を変化させることが
できる。つまり、モスキートノイズの目立ち易さを前述
したように動き情報から判断し、その結果に基づいてフ
ィルタの特性を変化させることでモスキートノイズを低
減できる。

【００２７】更に、画像内でのブロック毎のモスキート
ノイズの目立ち易さを求め、それを利用してθの値を変
化させる方法について以下に説明する。まず、後述する
図３において、ＤＣＴ係数をブロック毎に判定回路１８
に入力し、各ＡＣ係数の絶対値和を求めるようにする。
そして、その結果の空間周波数面でのパワーからそのブ
ロックでの絵柄の複雑度が推定できるので、複雑度の高
いブロックにはθの値を大きくしたフィルタリングを行
うようにする。

【００２８】更にこの方法に於いて、ＤＣＴ係数の絶対
値和を求める時に、全てのＡＣ成分の係数を用いるので
はなく、絵柄の複雑度に強く影響を与える係数のみを用
いるようにすることで、計算時間を短縮することができ
るだけでなく、モスキートノイズの目立ち易さを正確に
判断することができるようになる。

【００２９】図２は８×８のブロックのＤＣＴ係数の配
置を示しており、左上隅がＤＣ成分になっている。本実
施例では、図中のハッチングされている部分のＤＣＴ係
数の絶対値和を求め、この値が大きい時にθを大きく
し、小さい時はθを小さくするようにする。こうするこ
とで、動画像だけでなく静止画に於いても適応的に、モ
スキートノイズ除去フィルタをかけることができるよう
になる。

【００３０】以下に、図３を参照して、歪み除去処理を
行なう本発明の第２実施例について説明する。同図にお
いて１１は可変長符号復号回路であり、画像のブロック
毎の符号データが復号化され、逆量子化回路１２、逆Ｄ
ＣＴ回路１３を介してフレーム間差分信号に戻され、歪
み除去処理回路１６にて、歪み除去が行われた後、加算
回路１４に出力される。この加算回路１４の出力は、動
き補償予測回路１５を経て自身に加算されると共に、画
像出力部１７に再生画像として供給される。

【００３１】つまり、本実施例において、歪み除去処理
は、フレーム間相関を用いた信号に対してその動き補償
を行う前、すなわち、ＤＣＴ係数として記録されていた
信号を復号した画像に対して行うことが特徴である。

【００３２】例えば、ｎ番目のフレームとの差分信号を
とった（ｎ＋１）番目のフレームの信号は、圧縮されて
記録されている信号もフレーム間差分の信号であり、こ
れを復号しても元の画像にはならない。しかし、このフ
レーム間差分信号の復号信号にも、圧縮による歪みが表
されており、これを、ｎ番目のフレームの再生信号に加
えることにより、その歪みが蓄積されていってしまう。

【００３３】そこで、フレーム間の差分信号を得る段階
で歪みを除去してしまい、その後に、前フレームと足し
合わせるような構成にしてある。このような構成によ
り、フレーム間差分信号に対するＤＣＴ係数を歪み除去
特性の決定に用いているので、最も効率良く歪み除去す
ることができる。この構成に於いては、歪み除去処理
を、動き補償済の前フレーム信号と加算されたいわゆる
再生画像に対してかけるのではなく、フレーム間差分信
号にかけた後、その信号を前フレーム信号と加算するよ
うにしている。

【００３４】ただし、歪み除去処理後の画像をフレーム
毎に加えていくので、フレーム間差分を用いたフレーム
が続くと、符号化時の動き補償予測画像と復号化時の動
き補償予測画像との差が大きくなってしまい、却って誤
差が目立つようになってしまう。そこで、図３に示すよ
うな復号化装置に適した符号化装置の例を図４を用いて
説明する。

【００３５】同図は、図５に示す従来の動画像圧縮方式
に於ける局部復号器に、図３に示す復号方式を用いた例
である。同図に於いて、差分回路１によって動き補償フ
レーム間予測画像が引かれた予測誤差信号が、ＤＣＴ回
路２、量子化回路３、符号化回路４にて符号化される。
一方、量子化結果は、逆量子化回路５、逆ＤＣＴ回路６
によって復号され、歪み除去処理回路９に供給される。
この時の歪み除去処理は、判定回路１０に於て前述の復
号化装置の時と同じ方法でその特性が決定される。そし
て、歪み除去処理結果は、加算回路７によって上記動き
補償フレーム間予測画像と加算される。

【００３６】そして、動き補償用可変遅延機能を持つ画
像メモリを内蔵した動き補償予測回路８で動きベクトル
を求め、次のフレームの動き補償フレーム間予測画像を
作成するようにしている。

【００３７】図３及び図４では省略したが、本装置を用
いる画像圧縮方式はフレーム内圧縮が一定フレーム間隔
毎に挿入されているが、その時は動き補償予測回路８か
らの信号を使用しない。つまり、動き補償予測回路内８
のメモリはリセットされている。

【００３８】

【発明の効果】以上詳述したように、本発明によれば、
簡単な回路により、画像中にぼけ等を生じさせずに高速
に歪みを除去することができる。

【図面の簡単な説明】

【図１】本発明の第一実施例に係るモスキートノイズ除
去のためのシグマフィルタを示す図である。

【図２】８×８のブロックのＤＣＴ係数の配置を示す図
である。

【図３】本発明の第２実施例に係る歪み除去処理を実現
するための回路構成図である。

【図４】図３に示す復号化装置に適した符号化装置の構
成を示す図である。

【図５】フレーム間相関を利用した従来の動画像圧縮方
式を示すブロック図である。

【図６】ＤＣＴを利用した符号化方法による静止画像の
圧縮の動作を説明するための図である。

【符号の説明】

１１…可変長符号復号回路、１２…逆量子化回路、１３
…逆ＤＣＴ回路、１４…加算回路、１５…動き補償予測
回路、１６…歪み除去処理回路、１７…画像出力部、１
８…判定回路。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ブロック毎の直交変換と、量子化と、可
   変長符号化によって圧縮された画像データを復号化する
   画像信号復号化装置に於いて、 上記復号化して得られた画像データに対して歪み除去を
   行う歪み除去処理手段と、 上記直交変換によって得られた直交変換係数と、ブロッ
   ク毎の動きベクトルとブロックタイプ情報のうち少なく
   とも１つに基づいて、前記歪み除去処理手段の歪み除去
   特性をブロック毎に変化させる判定手段と、 を具備したことを特徴とする画像信号復号化装置。